Temperature dalam 1 gambar: dari yakin ke menyebar
Classifier dan model bahasa mengubah skornya menjadi probabilitas dengan softmax, fungsi yang memetakan deretan angka apa pun ke nilai antara 0 dan 1 yang berjumlah 1. Temperature adalah satu angka tambahan yang mengatur seberapa yakin hasilnya terdengar, tanpa mengubah jawaban mana yang berada di peringkat pertama.
- Di kiri ada tiga skor mentah, yang disebut logit, tetap di 2,0, 1,0, dan −0,5. Softmax memangkatkan e dengan tiap skor lalu membaginya dengan totalnya, jadi skor lebih besar mendapat porsi lebih besar. Temperature T lebih dulu membagi setiap logit: P(i) = e^(zᵢ/T) / Σⱼ e^(zⱼ/T). Pada T = 1 tidak ada yang berubah, dan kelas teratas mendapat 69,0%.
- Geser T turun ke 0,1. Membagi dengan angka kecil merenggangkan jarak: 2,0 dan 1,0 menjadi 20 dan 10. Setiap tambahan satu poin jarak mengalikan rasio dua probabilitas dengan e, sekitar 2,72, jadi jarak 10 membuat kelas teratas sekitar 22.000 kali lebih mungkin daripada yang berikutnya. Sisi kanan runtuh menjadi satu batang 100,0%. Entropy, ukuran dalam bit tentang seberapa menyebar probabilitasnya, turun ke 0,001.
- Geser T naik ke 5. Membagi dengan 5 memampatkan logit menjadi 0,4, 0,2, dan −0,1, jadi eksponensialnya berdekatan dan batangnya nyaris rata di 41,2%, 33,8%, dan 25,0%. Entropy naik ke 1,556 bit, dekat dengan maksimum untuk tiga kelas, log₂ 3 ≈ 1.585, yang hanya tercapai oleh pembagian yang benar-benar rata. Urutannya tidak pernah berubah: logit tertinggi selalu punya batang tertinggi pada setiap temperature.
Intinya
Saat model bahasa memilih token berikutnya, yaitu sebuah kata atau potongan kata, ia mengambil sampel dari probabilitas ini. Temperature rendah membuatnya hampir selalu memilih token teratas, cocok untuk tugas yang mementingkan jawaban konsisten. Temperature lebih tinggi menyebarkan pilihan ke lebih banyak token untuk teks yang lebih beragam. Di bawah 1 menajamkan, di atas 1 meratakan, dan peringkatnya tetap.
Softmax, Logit, dan Temperature
Geser temperature dan lihat batangnya berubah dari satu puncak menjadi nyaris datar.
Buka penjelasan interaktif