1Cara Kerja Self-Attention2Multi-Head Attention 3Positional Encoding 4Cross-Attention 5Arsitektur Transformer6Decoder-Only Transformer

Lensa ML

Arsitektur Transformer

Q: Apa fungsi feed-forward layer?

Setelah attention mencampur informasi antarposisi, setiap blok menerapkan network kecil dua layer yang sama ke setiap posisi secara terpisah: perluas dari 512 ke 2.048 dimensi, terapkan ReLU, lalu proyeksikan kembali ke 512. Di setiap blok encoder, feed-forward layer ini memuat sekitar dua pertiga weight.

Q: Berapa jumlah parameter Transformer asli?

Model dasar dalam paper punya sekitar 65 juta parameter, dan model besarnya sekitar 213 juta. Large language model modern memakai komponen yang sama pada skala jauh lebih besar, dengan miliaran parameter.

Q: Apakah GPT termasuk Transformer?

Ya. GPT hanya menyimpan separuh decoder: blok masked self-attention dan feed-forward, tanpa cross-attention, yang dilatih untuk memprediksi token berikutnya. BERT hanya menyimpan separuh encoder dan dilatih untuk mengisi kata yang di-mask.

Q: Kenapa attention bernilai O(n²)?

Setiap token menghitung skor terhadap semua token lain, jadi sequence dengan n token butuh matriks skor n × n di setiap head dan layer. Karena itulah konteks panjang mahal, dan karena itu pula ada varian attention yang lebih efisien.

Langkah 1 dari 6: Kenapa Recurrence Diganti?

Masalah yang mendorong paper ini

Panjang sequence4

Panjang seq

Langkah RNN

Langkah attention

Panjang jalur

3 vs 1

Sequence pendek masih aman untuk RNN. Self-attention tetap menghubungkan setiap token ke semua token lain dalam satu hop.

Geser panjang sequence dari 2 sampai 12. Jalur RNN bertambah panjang di setiap token, sedangkan attention tetap satu hop. Masalah yang lebih mendasar adalah memori: RNN harus memampatkan semua yang sudah dibacanya ke satu hidden state berukuran tetap, dan gradient melemah saat merambat mundur melewati banyak langkah. Attention sudah dipakai bersama RNN sejak 2014 (Bahdanau dkk.). Perubahan dari paper ini: RNN dibuang dan hanya attention yang dipertahankan. Itu sebabnya Transformer cocok dilatih di GPU, dan juga sebabnya context window yang lebih panjang jadi mahal.

Langkah 2 dari 6: Arsitekturnya

Encoder-decoder stack

Komponen

Semua

Encoder

N=6

Decoder

N=6

d_model

512

Transformer (Vaswani dkk., 2017) adalah encoder-decoder yang dibangun dari attention dan feed-forward layer, tanpa recurrence atau convolution. Klik sebuah komponen untuk menjelajahinya.

Klik setiap blok secara berurutan, dari embedding di bawah sampai output head di atas, untuk mengikuti satu kalimat melewati model. Kedua stack punya tugas berbeda: yang kiri membangun representasi input, yang kanan mengubah representasi itu menjadi output, satu token setiap kali. Model-model berikutnya sering hanya menyimpan satu sisi. BERT hanya memakai encoder stack dan digunakan untuk memahami teks; GPT hanya memakai decoder stack dan digunakan untuk membuat teks. T5 menyimpan keduanya, seperti aslinya.

Langkah 3 dari 6: Scaled Dot-Product Attention

Cara token menentukan fokusnya

Query

The

Memperhatikan

cat

Weight

45%

√d_k

8.0

"The" memberi 45% attention ke "cat". Setiap token membuat vector Query ("apa yang aku cari?") dan vector Key ("apa isiku?"). Dot product Q·K mengukur relevansi, lalu dibagi √d_k, dan softmax mengubah skornya menjadi weight.

Klik setiap kata untuk menjadikannya query dan lihat baris weight-nya berubah. Setiap baris selalu berjumlah 100%, jadi sebuah kata hanya bisa fokus pada satu token dengan mengurangi perhatian ke token lain. Q, K, dan V adalah tiga proyeksi yang dipelajari dari word embedding yang sama, jadi model sendiri yang menentukan lewat training apa yang dianggap cocok. Berbeda dengan weight tetap pada dense layer, attention weight dihitung ulang untuk setiap kalimat input. Setiap layer di LLM modern menjalankan operasi yang sama ini.

Langkah 4 dari 6: Multi-Head Attention

Kenapa beberapa head melihat lebih banyak daripada satu

Query

The

Head 1

sat

Head 2

down

Ditampilkan

2 dari 8

Saat "The" menjadi query, Head 1 fokus ke "sat", sedangkan Head 2 fokus ke "down". Setiap head memproyeksikan Q, K, V ke subspace-nya sendiri (d_k=64), jadi masing-masing bisa mencocokkan feature yang berbeda.

Klik kata-kata itu dan bandingkan ke mana Head 1 dan Head 2 melihat. Demo ini menampilkan 2 dari 8 head. Tidak ada yang memberi tahu head apa yang harus dilacak: spesialisasinya muncul dari training. Saat peneliti memeriksa model yang sudah dilatih, mereka menemukan head yang mengikuti token sebelumnya, head yang menghubungkan kata ganti ke kata benda yang dirujuknya, dan head yang melacak struktur kalimat. LLM yang lebih baru sering membiarkan beberapa head berbagi key dan value yang sama (grouped-query attention), sehingga memori lebih hemat dengan penurunan kualitas yang kecil.

Langkah 5 dari 6: Posisi Tanpa Recurrence

Cara model mengetahui urutan kata

Posisi

Kata

The

Terdekat

cat

Terjauh

mat

Posisi 0 ("The"): setiap batang di atas dihitung dengan memasukkan pos=0 ke sin dan cos pada frekuensi berbeda. Dimensi berfrekuensi rendah (sin0, cos0) berubah lambat antarposisi, sedangkan yang berfrekuensi tinggi (sin3, cos3) berubah cepat. Bersama-sama, semuanya membentuk "alamat" unik yang dijumlahkan ke word embedding.

Klik kata yang berbeda dan lihat batang kemiripan menurun seiring jarak. Posisi harus ditambahkan karena attention memperlakukan input-nya sebagai himpunan: acak urutan kata, dan output tiap kata tidak berubah, hanya urutannya. Encoding ini dijumlahkan ke word embedding, bukan disambung di belakangnya, sehingga lebar model tetap 512. Model-model berikutnya beralih ke skema lain. GPT-2 mempelajari satu vector posisi untuk tiap slot, dan model seperti Llama memakai rotary embedding (RoPE), yang memutar query dan key dengan sudut yang bergantung pada posisi.

Langkah 6 dari 6: Pipeline Lengkap

Prediksi dari awal sampai akhir dan hasil paper

Temperature1.0

Temperature

1.0

Prediksi

Keyakinan

26%

Keacakan

Normal

Temperature 1,0 adalah pengaturan seimbang. Di setiap langkah, cross-attention menyelaraskan kata Prancis saat ini dengan kata Inggris yang diterjemahkannya: "chat" dengan "cat", "assis" dengan "sat".

Geser temperature dari 0,1 sampai 3,0 dan lihat probabilitas menyebar ke lebih banyak kata. Training dan pembuatan teks bekerja secara berbeda. Saat training, decoder diberi kata-kata sebelumnya yang benar (teacher forcing), sehingga semua posisi dilatih secara paralel. Saat pembuatan teks, decoder harus menghasilkan satu kata setiap kali dan memasukkannya kembali. Untuk terjemahan, paper ini memakai beam search dengan beam 4, bukan sampling. Model besarnya mencapai 28,4 BLEU untuk Inggris→Jerman dan 41,8 untuk Inggris→Prancis. Chatbot membuat teks dengan putaran yang sama, satu token setiap kali.

Apa itu arsitektur Transformer?

Transformer adalah arsitektur neural network yang memproses seluruh sequence sekaligus, dengan attention yang membuat setiap token bisa langsung melihat semua token lain. Arsitektur ini diperkenalkan dalam paper 2017 "Attention Is All You Need" (Vaswani dkk.) untuk terjemahan mesin, dan menjadi dasar hampir semua model bahasa modern, termasuk GPT, BERT, dan T5.

Sebelum Transformer, model sequence umumnya recurrent (RNN dan LSTM): model membaca satu token setiap kali dan memampatkan semua yang sudah dibaca ke dalam satu hidden state. Transformer membuang recurrence sepenuhnya. Akibatnya, training bisa berjalan sangat paralel di GPU, dan informasi antara dua kata yang berjauhan cukup menempuh satu langkah, bukan banyak langkah.

Ide utama

Self-attention membuat setiap token bisa langsung membaca semua token lain, secara paralel.
Attention(Q, K, V) = softmax(QKᵀ / √d_k) · V: skor dari query dan key, lalu weighted sum dari value.
Beberapa head mempelajari hubungan yang berbeda dengan biaya kira-kira satu head.
Positional encoding mengembalikan urutan kata, karena attention sendiri mengabaikannya.
Residual connection dan layer normalization membuat stack yang dalam bisa dilatih.
Model encoder-only (BERT) dan decoder-only (GPT) sama-sama dibangun dari blok ini.

Pertanyaan umum

Apa fungsi feed-forward layer?

Setelah attention mencampur informasi antarposisi, setiap blok menerapkan network kecil dua layer yang sama ke setiap posisi secara terpisah: perluas dari 512 ke 2.048 dimensi, terapkan ReLU, lalu proyeksikan kembali ke 512. Di setiap blok encoder, feed-forward layer ini memuat sekitar dua pertiga weight.

Berapa jumlah parameter Transformer asli?

Model dasar dalam paper punya sekitar 65 juta parameter, dan model besarnya sekitar 213 juta. Large language model modern memakai komponen yang sama pada skala jauh lebih besar, dengan miliaran parameter.

Apakah GPT termasuk Transformer?

Ya. GPT hanya menyimpan separuh decoder: blok masked self-attention dan feed-forward, tanpa cross-attention, yang dilatih untuk memprediksi token berikutnya. BERT hanya menyimpan separuh encoder dan dilatih untuk mengisi kata yang di-mask.

Kenapa attention bernilai O(n²)?

Setiap token menghitung skor terhadap semua token lain, jadi sequence dengan n token butuh matriks skor n × n di setiap head dan layer. Karena itulah konteks panjang mahal, dan karena itu pula ada varian attention yang lebih efisien.

Penjelasan terkait

Cara Kerja Self-Attention · Query, key, dan value, inti dari self-attention
Multi-Head Attention · Attention head paralel yang mempelajari pola berbeda
Positional Encoding · Cara transformer mengetahui urutan kata
Cross-Attention · Attention antar-sequence dan antar-modalitas
Decoder-Only Transformer · Arsitektur di balik GPT dan LLM modern
BERT dan Masked Language Modeling · Sembunyikan satu kata, prediksi dari dua sisi: cara BERT mempelajari representasi bidirectional yang dalam

Referensi

Terakhir diperbarui 2 November 2026