MoE vs dense: tambah expert, bukan komputasi per token

Transformer dense menjalankan semua parameter, yaitu angka yang dipelajarinya, untuk setiap token. Model mixture-of-experts (MoE) mengganti setiap blok feed-forward dengan beberapa salinan yang disebut expert, ditambah router kecil yang mengirim setiap token hanya ke beberapa expert. Dengan begitu, ukuran total model terpisah dari komputasi yang dibutuhkan tiap token.

1. 1
   Klip dimulai dari model dense 7B: 32 layer dan 6,74 miliar parameter, dengan 135 juta di blok feed-forward tiap layer. Pada E = 1 ada satu blok dan tidak ada router, jadi total dan parameter aktif sama-sama 6,74B. Setiap expert di sini adalah salinan penuh blok itu, sebuah pengandaian pada bentuk 7B, bukan model yang pernah dirilis.
2. 2
   Router adalah linear layer dari 4.096 angka milik token ke satu skor per expert, diikuti softmax, dan ia memilih 2 expert teratas untuk setiap token. Pada E = 2 keduanya selalu terpakai, jadi 11,1B parameter aktif. Sejak itu, jumlah yang aktif tetap 11,1B berapa pun jumlah expert-nya, karena tiap token tetap mengunjungi 2. Router hanya menambah 4.096 × E parameter per layer.
3. 3
   Total parameter bertambah dengan setiap expert: 37,0B pada E = 8, 145B pada E = 33, dan 279B pada E = 64, atau 25 kali jumlah yang aktif. Komputasi per token, sekitar 2 operasi per parameter aktif, tetap sekitar 22 miliar. Model yang sudah dirilis mengikuti pola yang sama: Mixtral 8x7B punya 47B parameter dengan 13B aktif per token, dan DeepSeek-V3 punya 671B dengan 37B aktif.