Kenapa loss memantul saat learning rate terlalu tinggi

Learning rate menentukan besar langkah model setiap kali memperbarui parameternya. Kalau terlalu tinggi, training loss, angka yang mengukur seberapa salah model itu, berhenti turun dan malah memantul. Network sungguhan bahkan bisa mencapai NaN (not a number, nilai yang dikembalikan komputer ketika angka meluap dan perhitungannya rusak).

1. 1
   Kurva ini adalah loss untuk tiap nilai satu parameter, θ. Gradient descent mulai dari titik kuning, θ = 2.2, dan mengambil 12 langkah. Setiap langkah menggeser θ berlawanan dengan kemiringan, yang disebut gradient, sebesar gradient dikali learning rate α. Di sekitar α = 0.1, langkah-langkah biru menuruni dinding kanan dan berhenti sebelum dasar. Dari sekitar 0,2 sampai 0,45, langkahnya mencapai dasar, dengan loss −0,145.
2. 2
   Setelah sekitar 0,5, lompatan yang melewati dasar berhenti mengecil. Dasar lembah ini sempit: kelengkungannya h, seberapa tajam ia menekuk, sekitar 4,1, dan gradient descent hanya menetap di sana kalau α di bawah 2/h, sekitar 0,49. Di atas itu, θ berayun bolak-balik melintasi dasar di θ = −0.29, dalam jarak sekitar 0,4 darinya sampai α = 0.6, dan tidak pernah berhenti.
3. 3
   Dorong α mendekati 0,95, dan langkah pertama melempar θ jauh ke atas dinding kiri. Jalurnya memantul, tetapi tidak pernah terlempar keluar. Jauh dari dasar, kurva θ² + 0.3 sin 3θ menekuk dengan kelengkungan rata-rata sekitar 2, jadi batasnya di sana adalah 2/2 = 1, nilai maksimum slider. Dasar yang sempit melempar θ keluar, dan dindingnya menariknya kembali. Hanya pada rentang sempit di sekitar α = 0.92 θ tertahan di pola itu, memantul dari dinding ke dinding dan berakhir di dekat loss awalnya, 4,93. Pada mangkuk biasa dengan α di atas 2/h, setiap ayunan membesar sampai angkanya meluap.

Bites lainnya

Dalam 1 gambar

Overfitting dalam 1 gambar

2 menit baca

Perbandingan

Adam vs SGD: dua cara menuruni bukit yang sama

2 menit baca