Tahap 5 · Jalur · 8 penjelasan
Cara LLM Di-serve
Sampling, KV cache, quantization, MoE, dan teknik inference cepat
- 1
Sampling: Temperature, Top-k, dan Top-p
Cara model bahasa memilih token berikutnya
- 2
KV Cache
Kenapa LLM menyimpan key dan value di cache, dan berapa biayanya
- 3
Quantization
Mengecilkan weight model menjadi 8 dan 4 bit
- 4
Mixture of Experts
Mengirim tiap token ke beberapa expert dalam model yang jauh lebih besar
- 5
Speculative Decoding
Membuat draft token dengan murah dan memverifikasinya dalam satu pass
- 6
FlashAttention
Attention eksak dengan lalu lintas memori GPU yang jauh lebih sedikit
- 7
Continuous Batching
Melayani banyak request sekaligus tanpa slot menganggur
- 8
Structured Outputs
Memaksa JSON valid dengan constrained decoding berbasis grammar