Spotlight
Ketuk kata yang perlu dilihat it. Ketuk lagi untuk memperterang sorotan, dan ketukan keempat mematikannya.
Jaringan attention, langsung
Setiap kata mengirim vector-nya ke it. Makin tebal garisnya, makin besar attention weight kata itu. it mencampur yang masuk menjadi context vector (tengah), lalu koneksi tetap menilai tiap jawaban dari situ.
Model membaca: Hewan itu tidak menyeberang jalan karena ??? terlalu lelah.
Gelap sekali di sini. Tanpa kata untuk dibaca, aku hanya bisa menebak 50/50.
Cara bermain
Ketuk sebuah kata untuk menyorotnya. Makin banyak sorotan pada sebuah kata, makin besar bagiannya, dan jawabannya langsung bergerak saat kamu mengetuk. Menangkan setiap babak dengan membawa jawaban yang benar sampai 80%, dan pakai sorotan sesedikit mungkin untuk meraih tiga bintang.
Yang diajarkan tiap babak
- Apa arti it? Kata ganti tidak punya arti sendiri di sini, jadi harus membaca dari kata lain.
- Ubah satu kata: sorotan yang tepat ikut berubah, jadi attention harus bergantung pada kalimatnya.
- Bank yang mana? Attention memisahkan arti satu kata dengan petunjuk dari tempat yang jauh.
- Dua pertanyaan sekaligus: weight satu head harus berjumlah 100%, jadi head kedua membuat model bisa mengerjakan dua hal dengan baik.
Yang asli dan yang disederhanakan
Softmax, jumlah berbobot, dan dot product adalah hitungan attention yang sebenarnya. Ada tiga penyederhanaan. Vector kata berisi sembilan angka buatan tangan, bukan hasil belajar. Kamu yang memilih skor sorotan, sedangkan model sungguhan menghitungnya dari query vector dan key vector yang dipelajari. Di sini setiap head juga menjawab pertanyaannya sendiri, sedangkan model sungguhan menggabungkan keluaran semua head lebih dulu.
context = Σ weight × word vector
Kalimat dalam game ini tetap berbahasa Inggris, karena permainan katanya bergantung pada bahasa Inggris.
Untuk penjelasan lengkapnya, baca Attention Mechanisms.
Pertanyaan umum
Apa itu attention dalam machine learning?
Attention memungkinkan sebuah kata mengumpulkan informasi dari kata lain. Setiap kata mendapat skor, softmax mengubah skor menjadi weight yang totalnya 100%, dan jumlah berbobot dari vector kata menjadi konteks.
Apa itu self-attention?
Self-attention adalah attention ketika kata-kata melihat kata lain dalam kalimat yang sama. Dengan cara ini transformer mengetahui rujukan kata seperti it.
Kenapa weight pada attention berbagi satu anggaran?
Softmax membuat semua weight berjumlah 100%, jadi memberi satu kata lebih banyak perhatian menyisakan lebih sedikit untuk kata lain. Karena itu satu head kesulitan mengerjakan dua tugas.
Kenapa memakai lebih dari satu attention head?
Setiap head punya weight sendiri, sehingga bisa mencari hal yang berbeda. Satu head bisa melacak rujukan kata ganti, sementara head lain melacak kata negatif.