ENID
Lensa ML

Cara Kerja Probabilitas

Langkah 1 dari 6: Apa Itu Probabilitas?

Lempar koin dan lihat keacakan membentuk pola

jumlah percobaanrasio gambar0.5
Jumlah percobaan10
Gambar
4
Angka
6
Rasio gambar
0.400

Dengan sedikit lemparan, rasionya naik turun tajam. Pada sampel kecil, keacakan masih mendominasi.

Naikkan jumlah percobaan dan lihat rasio sisi gambar menjadi stabil. Dua cara membaca probabilitas bertemu di sini. Pandangan frekuentis mendefinisikan P(gambar) = 0.5 sebagai proporsi gambar dalam jangka panjang. Pandangan Bayesian memperlakukan 0,5 sebagai tingkat keyakinan sebelum koin dilempar. Keduanya mengikuti aturan yang sama. Error tipikal rasio ini menyusut kira-kira seperti 1/√n, jadi menambah lemparan menjadi empat kali lipat hanya memangkas error menjadi separuhnya. Itu sebabnya estimasi yang presisi butuh data jauh lebih banyak daripada estimasi kasar.

Langkah 2 dari 6: Kurva Lonceng

Ubah bentuk distribusi normal lewat rata-rata dan simpangan baku

xP(x)μ=0.0
Rata-rata (μ)0.00
Simpangan baku (σ)1.00
Rata-rata (μ)
0.0
Simpangan baku (σ)
1.00
Puncak P(μ)
0.399
P(x > μ)
0.50

Kurva lonceng simetris terhadap μ. Sekitar 68% nilai berada dalam jarak ±1σ dari rata-rata.

Geser μ dan σ satu per satu. μ memindahkan kurva tanpa mengubah bentuknya. σ melebarkan kurva dan menurunkan puncaknya, karena total luas di bawah kurva harus tetap 1. Tinggi kurva adalah densitas, bukan probabilitas, jadi kurva yang sangat sempit bisa memuncak di atas 1. Hanya luas yang merupakan probabilitas. Distribusi normal sering muncul karena jumlah dari banyak efek kecil yang independen cenderung mengarah ke distribusi ini (teorema limit pusat). Dalam ML, distribusi normal dipakai untuk menginisialisasi weight dan memodelkan noise.

Langkah 3 dari 6: Seragam dan Bernoulli

Dua distribusi dasar yang menjadi bahan penyusun

xP(x)0.4000.601
P(X=1) = p0.60
E[X]
0.600
Var[X]
0.240

Di sekitar p = 0.5, kedua hasil sama mungkinnya dan varians mencapai nilai terbesar.

Beralih antara kedua distribusi dan geser tiap parameter. Variabel Bernoulli punya rata-rata p dan varians p(1 − p). Variabel seragam pada [0, b] punya rata-rata b/2 dan varians b²/12. Keduanya bahan penyusun dasar. Jumlahkan n percobaan Bernoulli yang independen dan kamu mendapat distribusi binomial, dan binary classifier dengan output sigmoid sebenarnya memprediksi p dari distribusi Bernoulli. Komputer biasanya membangkitkan sampel dari distribusi lain dengan mentransformasi bilangan acak seragam.

Langkah 4 dari 6: Gabungan dan Bersyarat

Saat dua kejadian saling berkaitan: teorema Bayes dalam diagram Venn

ΩABA∩BP(B|A) = 0.6001
P(A)0.50
P(B|A)0.60
P(A∩B)
0.300
P(A∪B)
0.650
P(A|B)
0.667

P(A∩B) = P(A)·P(B|A) adalah aturan perkalian. Teorema Bayes membaliknya untuk mendapatkan P(A|B) = P(A∩B)/P(B).

Geser P(A) dan P(B|A), lalu lihat irisannya berubah. Urutan penting dalam probabilitas bersyarat: P(B|A) dan P(A|B) bisa sangat berbeda. Sebuah tes bisa mendeteksi penyakit 99% dari seluruh kasus, P(positif | penyakit), tetapi sebagian besar hasil positif tetap alarm palsu jika penyakitnya langka, sehingga P(penyakit | positif) rendah. Mencampuradukkan keduanya disebut base-rate fallacy. A dan B independen tepat ketika P(B|A) = P(B): mengetahui A terjadi tidak memberi tahu apa pun tentang B.

Langkah 5 dari 6: Expected Value

Rata-rata tertimbang probabilitas yang merangkum suatu distribusi

x1=2p(x1)=0.3x2=5p(x2)=0.25x3=8p(x3)=0.25x4=12p(x4)=0.2E[X]=6.3
Nilai hasil 1 (x1)2.00
Nilai hasil 2 (x2)5.00
Nilai hasil 3 (x3)8.00
Nilai hasil 4 (x4)12.00
x1·p1 = 2×0.3
0.60
x2·p2 = 5×0.25
1.25
x3·p3 = 8×0.25
2.00
x4·p4 = 12×0.2
2.40
E[X] = Σ xᵢ·pᵢ
6.25

E[X] adalah rata-rata tertimbang probabilitas. Satu angka ini paling baik merangkum di mana hasil cenderung jatuh.

Ubah nilai tiap hasil dan lihat E[X] bergeser ke nilai yang lebih besar. Expected value tidak harus berupa nilai yang bisa diambil X: dadu seimbang punya E[X] = 3.5. Ekspektasi bersifat linear, jadi E[aX + bY] = aE[X] + bE[Y] meskipun X dan Y saling bergantung. Melatih model berarti meminimalkan expected loss pada distribusi data. Karena distribusi itu tidak diketahui, rata-rata loss pada data training dipakai sebagai penggantinya.

Langkah 6 dari 6: Kenapa Ini Penting untuk ML

Makin banyak data, makin baik estimasinya. Inilah dasar proses belajar

sampelrata-rataμ=5
Ukuran dataset (n)20
Rata-rata sampel
4.661
Rata-rata sebenarnya
5.0
Error |x̄−μ|
0.339

Saat dataset membesar, rata-rata sampel bergerak mendekati rata-rata sebenarnya.

Perbesar ukuran dataset n dan lihat error |x̄ − μ| mengecil. Stochastic gradient descent memakai ide yang sama dalam skala lebih kecil: setiap langkah memperkirakan gradient sebenarnya dari satu mini-batch, dan batch yang lebih besar memberi estimasi dengan noise lebih kecil, dengan noise yang lagi-lagi menyusut seperti 1/√(ukuran batch). Jaminan ini mengasumsikan sampel independen dan diambil dari distribusi yang sama. Kalau data test berasal dari distribusi yang berbeda dengan data training, menambah data training tidak menutup kesenjangannya.

Apa itu probabilitas dan distribusi probabilitas?

Probabilitas mengukur seberapa mungkin suatu kejadian terjadi, pada skala 0 (mustahil) sampai 1 (pasti). Distribusi probabilitas memberi probabilitas pada setiap kemungkinan hasil dari variabel acak. Untuk variabel diskret, seperti lemparan koin, distribusi memberi satu probabilitas untuk tiap hasil. Untuk variabel kontinu, seperti tinggi badan, distribusi berupa kurva densitas, dan probabilitasnya adalah luas di bawah kurva itu.

Machine learning dibangun di atas gagasan ini. Data training diperlakukan sebagai sampel dari distribusi yang tidak diketahui, classifier menghasilkan distribusi atas kelas-kelas, dan loss function yang paling umum adalah log-probabilitas negatif.

Ide utama

  • Probabilitas berkisar dari 0 sampai 1, dan probabilitas semua hasil berjumlah 1.
  • Untuk variabel kontinu, probabilitas adalah luas di bawah kurva densitas.
  • μ menentukan posisi distribusi normal, dan σ menentukan lebarnya.
  • P(B|A) dan P(A|B) adalah besaran yang berbeda, dan teorema Bayes mengubah yang satu menjadi yang lain.
  • Expected value adalah rata-rata tertimbang probabilitas, dan sifatnya linear.
  • Rata-rata sampel mendekati rata-rata sebenarnya seiring n membesar, dengan error yang menyusut seperti 1/√n.

Pertanyaan umum

Apa itu variabel acak?

Variabel acak memberi angka pada setiap hasil dari proses acak. Pada lemparan koin, X bisa bernilai 1 untuk sisi gambar dan 0 untuk sisi angka. Dengan bekerja memakai angka, bukan hasil, kamu bisa menghitung rata-rata, varians, dan distribusi.

Apa bedanya probabilitas dan likelihood?

Probabilitas menetapkan parameter model, lalu bertanya seberapa mungkin berbagai hasil muncul. Likelihood menetapkan data yang teramati, lalu bertanya seberapa baik berbagai nilai parameter menjelaskan data itu. Likelihood bukan distribusi atas parameter dan tidak harus berjumlah 1. Maximum likelihood estimation memilih parameter yang membuat data teramati paling mungkin muncul.

Kenapa model ML memakai log-probabilitas?

Probabilitas seluruh dataset adalah hasil kali banyak angka kecil, yang cepat mengalami underflow menjadi nol di komputer. Mengambil log mengubah hasil kali menjadi jumlah, dan karena log adalah fungsi naik, parameter yang memaksimalkan log-likelihood juga memaksimalkan likelihood. Cross-entropy loss adalah log-probabilitas negatif dari jawaban yang benar.

Distribusi apa yang paling sering muncul dalam machine learning?

Distribusi Bernoulli dan kategorikal menggambarkan output klasifikasi. Distribusi normal memodelkan noise regresi, inisialisasi weight, dan latent space pada VAE. Distribusi seragam dipakai untuk inisialisasi dan random sampling, sedangkan distribusi Poisson memodelkan data cacah.

Penjelasan terkait

Referensi

  1. Blitzstein & Hwang, "Introduction to Probability" (free online edition)
  2. Goodfellow, Bengio & Courville (2016), "Deep Learning", chapter 3: Probability and Information Theory
  3. Bishop (2006), "Pattern Recognition and Machine Learning", chapters 1–2

Terakhir diperbarui