Overfitting dalam 1 gambar
Overfitting terjadi ketika model mempelajari data training-nya terlalu rinci, termasuk noise-nya, sehingga hasilnya lebih buruk pada data yang belum pernah dilihatnya. Satu slider di atas 12 titik berisik menunjukkan saat itu terjadi.
2 menit baca · Lensa ML
- Titik biru adalah 12 titik training dari kurva y = 0.5x² − 2x + 5, ditambah noise: error acak kecil pada setiap titik. Wajik merah muda adalah titik uji dari kurva yang sama, yang tidak pernah dipakai model saat training. Garis kuning adalah polinomial, jumlah pangkat x yang masing-masing punya koefisien sendiri, dan slider mengatur derajatnya, pangkat x tertinggi yang boleh dipakai. Derajat lebih tinggi berarti koefisien lebih banyak, jadi garisnya bisa lebih menekuk. Error di sini adalah mean squared error (MSE), rata-rata kuadrat selisih antara titik dan garis.
- Pada derajat 1, hasilnya garis lurus. Garis ini melewatkan lengkungan, jadi kedua error tinggi: 10,91 pada titik training dan 16,47 pada titik uji. Itulah underfitting, model yang terlalu sederhana untuk polanya. Pada derajat 2, bentuk yang sama dengan kurva sebenarnya, training error turun ke 0,37 dan test error ke 0,32, test error terendah pada slider.
- Terus naikkan derajatnya. Training error terus turun dan menunjukkan 0,00 pada derajat 9. Garisnya kini meliuk melewati setiap titik training, dan menyimpang paling jauh di tepi kanan, tempat tidak ada titik training yang menahannya. Test error naik ke 5,56 pada derajat 9 dan 28,77 pada derajat 10. Slider di penjelasan interaktifnya maju satu langkah lagi: pada derajat 11, garisnya punya 12 koefisien untuk 12 titik, cukup untuk melewati setiap titik dengan tepat.
Intinya
Training error yang rendah saja tidak membuktikan apa-apa. Sisihkan sebagian data yang tidak pernah dipakai model saat training, dan pilih pengaturan dengan error terendah pada data itu. Kalau selisih kedua error melebar, coba tambah data, regularization (penalti untuk weight yang besar), atau model yang lebih sederhana.
Pelajari lebih dalam · interaktif
Overfitting dan Underfitting
Geser kompleksitas model dan lihat test error naik saat kurva mengejar setiap titik.
Buka penjelasan interaktif