Tahap 4 · Jalur · 6 penjelasan
Cara Kerja LLM
Dari attention sampai transformer decoder-only, arsitektur di balik GPT
- 1
Cara Kerja Self-Attention
Query, key, dan value, inti dari self-attention
- 2
Multi-Head Attention
Attention head paralel yang mempelajari pola berbeda
- 3
Positional Encoding
Cara transformer mengetahui urutan kata
- 4
Cross-Attention
Attention antar-sequence dan antar-modalitas
- 5
Arsitektur Transformer
Panduan visual untuk paper "Attention Is All You Need"
- 6
Decoder-Only Transformer
Arsitektur di balik GPT dan LLM modern