Mixed precision, distributed training, scaling law, dan distillation
Training 16-bit tanpa kehilangan gradient kecil
Membagi training ke banyak GPU
Cara loss turun seiring ukuran model, data, dan komputasi
Melatih model kecil dengan output model besar