Tahap 3 · Jalur · 7 penjelasan
Training Deep Network
Optimizer, schedule, inisialisasi, normalisasi, dan cara menjaga training tetap stabil
- 1
Optimizer
SGD, momentum, dan Adam: gradient descent yang lebih cerdas
- 2
Learning Rate Scheduling
Step decay, cosine annealing, warmup, dan cyclical LR
- 3
Inisialisasi Weight
Xavier, He, dan kenapa weight acak itu penting
- 4
Batch Normalization
Kenapa normalisasi aktivasi mempercepat training deep network
- 5
Vanishing dan Exploding Gradient
Kenapa deep network sulit dilatih dan cara mengatasinya
- 6
Overfitting dan Underfitting
Bias-variance tradeoff dan generalisasi
- 7
Regularization
Dropout, L1, dan L2 agar model tetap jujur