Kenapa gradient menghilang di network dalam, dalam 1 gambar
Neural network belajar dengan menggeser weight, angka yang menghubungkan layer-nya, untuk menurunkan loss, ukuran seberapa salah network itu. Gradient memberi tahu setiap weight ke mana dan seberapa jauh harus bergerak. Pada network yang dalam, sinyal itu bisa menyusut nyaris tak tersisa sebelum mencapai layer awal, sehingga layer itu hampir tidak belajar.
- Klip ini menunjukkan sebuah network: 2 input, hidden layer berisi masing-masing 3 unit, dan 1 output. Setiap unit meneruskan weighted sum dari input-nya melalui sigmoid, fungsi berbentuk S dengan output antara 0 dan 1. Backpropagation, metode yang menghitung gradient, mulai dari output dengan gradient 1,000 dan meneruskannya mundur layer demi layer. Batang menunjukkan rata-rata ukuran gradient di tiap layer, dengan input di kiri.
- Dengan 1 hidden layer, rata-rata gradient yang sampai ke input adalah 0,0154. Setiap tambahan layer memangkasnya lagi: 9,1 × 10⁻⁴ dengan 2 hidden layer, 1,1 × 10⁻⁴ dengan 3, 5,7 × 10⁻⁵ dengan 4, dan 3,9 × 10⁻⁶, sekitar 4 per sejuta, dengan 5. Pada 5 hidden layer, input menerima gradient sekitar 260.000 kali lebih kecil daripada output, sedangkan hidden layer terakhir masih menerima 0,088.
- Setiap langkah mundur mengalikan gradient dengan weight layer dan kemiringan sigmoid di tiap unit. Kemiringan itu paling besar 0,25, di tengah huruf S, dan weight di sini berada antara −0,8 dan 0,8. Di sini, tiap langkah mundur hanya menyisakan sekitar 6% sampai 32% dari rata-rata gradient. Hasil kali banyak angka di bawah 1 menyusut cepat, dan setiap tambahan layer menambah satu faktor lagi, jadi layer awal mendapat pembaruan yang jauh lebih kecil daripada layer akhir.
Intinya
Network dalam bisa dilatih dengan baik sekarang berkat perbaikan yang menyasar hasil kali ini. ReLU, yang kemiringannya tepat 1 untuk input positif, meneruskan gradient melalui unit aktif tanpa mengecilkannya di aktivasi. Weight initialization yang cermat dan normalization layer menjaga gradient dalam rentang yang wajar, dan residual connection menambahkan jalan pintas melewati tiap blok. Untuk memeriksa model, catat ukuran gradient tiap layer dan perhatikan layer awal yang tertinggal jauh.
Vanishing dan Exploding Gradient
Geser jumlah hidden layer dan lihat gradient input menyusut saat network makin dalam.
Buka penjelasan interaktif
