Apa itu neural network?
Neural network adalah fungsi yang tersusun dari beberapa layer berisi unit sederhana bernama neuron. Setiap neuron menghitung weighted sum dari input-nya, lalu meneruskannya ke activation function. Dengan menumpuk layer, network bisa merepresentasikan hubungan yang rumit. Setelah itu, training menyesuaikan weight sampai output network cocok dengan sekumpulan contoh.
Network di sini cukup kecil untuk diikuti dengan tangan: 3 input, dua hidden layer yang masing-masing berisi 4 neuron, dan 2 output (Kucing dan Anjing), dengan aktivasi sigmoid di setiap neuron. Network di balik pengenalan gambar dan model bahasa bekerja dengan prinsip yang sama, tetapi memakai jutaan hingga miliaran weight.
Ide utama
- Neuron menghitung weighted sum dari input-nya, lalu menerapkan activation function.
- Layer berisi neuron membangun feature dari kombinasi feature sebelumnya.
- Tanpa aktivasi non-linear, tumpukan layer berapa pun setara dengan satu layer.
- Forward pass mengubah input menjadi prediksi, dan hanya itu yang dijalankan model yang sudah dilatih.
- Training berulang: buat prediksi, ukur loss, jalankan backpropagation, perbarui weight.
- Belajar berarti menemukan weight yang cocok untuk banyak contoh, bukan satu contoh saja.
Pertanyaan umum
Apa bedanya weight dan bias?
Weight mengalikan satu input ke neuron. Bias adalah satu angka tambahan yang dijumlahkan ke hasil neuron, sehingga neuron bisa aktif walaupun semua input-nya nol, dan decision boundary-nya bergeser dari titik asal. Keduanya dipelajari saat training.
Berapa layer yang dibutuhkan neural network?
Secara teori, satu hidden layer dengan neuron yang cukup bisa mendekati fungsi kontinu apa pun pada rentang input yang terbatas (teorema universal approximation). Dalam praktiknya, network yang lebih dalam mempelajari fungsi yang sama dengan neuron yang jauh lebih sedikit. Itu sebabnya network modern punya banyak layer.
Kenapa disebut neural network?
Ide awalnya terinspirasi secara longgar dari neuron biologis, yang menyala ketika gabungan sinyal masuknya melewati threshold. Neuron buatan jauh lebih sederhana daripada yang asli, dan network modern dirancang agar mudah dilatih di komputer, bukan untuk meniru otak.
Activation function apa yang dipakai selain sigmoid?
Hidden layer pada network modern umumnya memakai ReLU atau kerabat dekatnya seperti GELU, yang membuat gradient tidak cepat mengecil di network yang dalam. Sigmoid masih umum untuk output berupa probabilitas ya atau tidak.
Penjelasan terkait
- Forward Propagation · Cara data mengalir melewati network
- Perceptron · Neural network paling sederhana: satu neuron, satu decision boundary
- Activation Function · Kenapa network butuh sifat non-linear untuk belajar
- Backpropagation · Cara network belajar dari kesalahannya
- Gradient Descent · Optimasi dengan mengikuti kemiringan ke bawah
- Loss Function · Cara network mengukur kesalahannya
Referensi
- Rosenblatt (1958), "The perceptron: A probabilistic model for information storage and organization in the brain", Psychological Review
- Rumelhart, Hinton & Williams (1986), "Learning representations by back-propagating errors", Nature
- Hornik, Stinchcombe & White (1989), "Multilayer feedforward networks are universal approximators", Neural Networks
- Nielsen, "Neural Networks and Deep Learning", chapter 1
- Goodfellow, Bengio & Courville (2016), "Deep Learning", chapter 6: Deep Feedforward Networks
Terakhir diperbarui