1Probabilitas dan Distribusi 2Dasar-Dasar Statistik 3Teorema Bayes 4Uji Hipotesis 5Sampling dan Monte Carlo 6Estimasi MLE dan MAP7Entropy dan Cross-Entropy8KL Divergence

Lensa ML

Cara Kerja Teorema Bayes

Q: Apa itu conjugate prior?

Conjugate prior adalah prior yang menghasilkan posterior dari keluarga distribusi yang sama, sehingga pembaruan cukup dengan mengubah beberapa angka. Contoh standarnya prior Beta(a, b) pada probabilitas sisi gambar sebuah koin: setelah k gambar dalam n lemparan, posterior-nya Beta(a + k, b + n − k). Pasangan conjugate memungkinkan pembaruan Bayesian yang eksak tanpa integrasi numerik.

Q: Bagaimana teorema Bayes dipakai dalam machine learning?

Naive Bayes classifier menerapkannya langsung untuk memilih kelas dari jumlah kata atau feature lain. Estimasi MAP memaksimalkan likelihood × prior atas parameter model, dan prior Gaussian pada weight menghasilkan L2 regularization. Bayesian neural network dan Bayesian optimization menyimpan posterior penuh atas parameter atau atas fungsi yang tidak diketahui, lalu memakainya untuk mengukur ketidakpastian.

Langkah 1 dari 6: Keyakinan Prior

Apa yang kamu yakini sebelum melihat bukti

Prior P(H)

P(H)

0.50

P(¬H)

0.50

Prior yang seimbang berarti kamu belum yakin. Di sekitar 0,5, bukti yang sama menggeser probabilitas paling jauh secara absolut.

Geser slider Prior P(H) dari 0 ke 1. Kedua batang selalu berjumlah 1 karena H dan ¬H mencakup semua kemungkinan. Atur prior tepat di 0 atau 1, dan tidak ada bukti yang bisa mengubahnya, karena aturan Bayes mengalikan dengan prior. Statistikawan menyebut ini aturan Cromwell: sisakan sedikit probabilitas untuk apa pun yang belum kamu yakini mustahil. Dalam ML, prior bisa berasal dari frekuensi kelas pada data training, dari pengetahuan domain, atau dari output model sebelumnya.

Langkah 2 dari 6: Likelihood

Seberapa mungkin bukti muncul di bawah tiap hipotesis?

P(E|H): likelihood jika hipotesis benar

P(E|¬H): likelihood jika hipotesis salah

P(E|H)

0.80

P(E|¬H)

0.20

Likelihood ratio

4.00

Bukti ini lebih dari 3 kali lebih mungkin di bawah H daripada di bawah ¬H. Melihatnya akan menaikkan keyakinan pada H secara tajam.

Geser P(E|H) dan P(E|¬H) secara terpisah. Berbeda dengan batang prior, kedua angka ini tidak harus berjumlah 1. Masing-masing adalah probabilitas bukti yang sama di bawah hipotesis yang berbeda, jadi keduanya bisa tinggi sekaligus. Pembaruan hanya bergantung pada rasio keduanya, yang tampil di kartu ketiga. Aturan Bayes dalam bentuk odds berbunyi posterior odds = prior odds × likelihood ratio, jadi rasio 4 mengalikan odds H dengan 4, berapa pun prior-nya. Tes diagnostik melaporkan angka ini sebagai positive likelihood ratio, LR+.

Langkah 3 dari 6: Pembaruan

Rumus Bayes menggabungkan prior dan likelihood

Teorema Bayes

P(H|E) = P(E|H) × P(H) / P(E)

P(E|H) = 0.90P(H) = 0.30P(E|¬H) = 0.20P(¬H) = 0.70

P(H|E) =0.90 × 0.300.90 × 0.30 + 0.20 × 0.70

= 0.270 / 0.410 = 0.659

Prior P(H): 0.30

P(E|H)×P(H)

0.270

P(E) = total bukti

0.410

P(H|E)

0.659

Bukti menaikkan keyakinan dari 0,30 ke 0,659. Pembaruannya besar karena bukti ini jauh lebih cocok dengan H daripada ¬H.

Geser slider Prior P(H) sementara P(E|H) tetap di 0,90 dan P(E|¬H) di 0,20. Pada prior bawaan 0,30, pembilangnya 0.9 × 0.3 = 0.27 dan P(E) adalah 0.27 + 0.2 × 0.7 = 0.41, jadi posterior-nya 0.27 / 0.41 ≈ 0.659. Penyebutnya adalah hukum probabilitas total: E bisa terjadi bersama H atau tanpa H. Tugasnya hanya membuat posterior berjumlah 1. Dengan banyak hipotesis, menghitung P(E) berarti menjumlahkan atau mengintegralkan atas semuanya, dan di situlah bagian mahal dari Bayesian inference.

Langkah 4 dari 6: Bayes Secara Visual

Diagram area membuat hitungannya mudah dipahami

P(H|E) = P(E|H)·P(H) / [P(E|H)·P(H) + P(E|¬H)·P(¬H)]

Prior P(H): 0.40

P(E|H): 0.75

P(E|¬H): 0.15

P(H|E)

0.769

Besar pembaruan

36.9%

Tidak ada area berwarna yang mendominasi. Setelah bukti ini, H masih belum pasti: belum terkonfirmasi, tetapi juga belum tersingkir.

Geser ketiga slider dan perhatikan persegi panjangnya. Prior membagi lebarnya menjadi dua kolom, dan tiap kolom terisi setinggi likelihood-nya, sehingga area oranye adalah P(E|H)·P(H) dan area ungu adalah P(E|¬H)·P(¬H). Mengamati E membuang semua yang tidak berwarna, dan posterior adalah porsi oranye dari yang tersisa. Samakan P(E|H) dengan P(E|¬H), dan kedua kolom terisi setinggi yang sama. Porsi oranye lalu sama dengan prior: bukti yang diprediksi sama baiknya oleh kedua hipotesis tidak mengubah apa pun.

Langkah 5 dari 6: Pembaruan Berurutan

Masukkan bukti satu per satu, dan posterior terus terakumulasi

Prior Awal: 0.10

Bukti berikutnya: Tes +

P(E|H)0.85

P(E|¬H)0.25

Keyakinan saat ini

0.100

Bukti dilihat

0 / 5

P(E|H) terakhir

—

P(E|¬H) terakhir

—

Tekan Putar atau Langkah untuk memasukkan bukti satu per satu. Setiap posterior menjadi prior untuk pembaruan berikutnya.

Tekan Langkah untuk menerapkan kelima bukti satu per satu, atau Putar untuk menjalankan semuanya. Dari prior bawaan 0,10, keyakinan berakhir di dekat 0,97, karena kelima likelihood ratio (3,4; 2; 9; 1,2; dan 4) mengalikan prior odds sekitar 294 kali. Urutan bukti tidak mengubah jawaban akhir. Merangkai pembaruan seperti ini mengasumsikan setiap bukti independen jika H diketahui. Menghitung bukti yang berkorelasi dua kali membuat hasilnya terlalu percaya diri. Kalman filter dan online learning memakai putaran yang sama: posterior menjadi prior.

Langkah 6 dari 6: Bayes dalam ML

Klasifikasi Naive Bayes dalam praktik

Nilai feature: 5.0

P(Kucing|x)

42.5%

P(Anjing|x)

57.5%

Keputusan

Anjing

Di area tumpang tindih, kedua kelas masuk akal. Decision boundary berada di titik kedua posterior berpotongan di 50%, dekat x = 4.8.

Geser slider Nilai feature dari −1 ke 13. Nilai feature kucing mengikuti kurva normal dengan rata-rata 3 dan σ = 1.5, nilai anjing mengikuti kurva dengan rata-rata 7 dan σ = 2, dan prior-nya 0,45 dan 0,55. Pada x = 5, tepat di tengah kedua rata-rata, P(Kucing|x) hanya sekitar 43%: 5 berjarak 1,33 simpangan baku kucing dari rata-rata kucing, tetapi hanya 1 simpangan baku anjing dari rata-rata anjing. Karena variansnya berbeda, decision boundary-nya berbentuk kuadratik, dengan titik potong kedua di dekat x = −9, di luar rentang slider.

Apa itu teorema Bayes?

Teorema Bayes adalah aturan untuk memperbarui probabilitas suatu hipotesis setelah melihat bukti. Rumusnya P(H|E) = P(E|H) × P(H) / P(E): posterior sama dengan likelihood bukti di bawah hipotesis, dikali prior, dibagi probabilitas bukti secara keseluruhan. Rumus ini diturunkan dalam satu baris dari definisi probabilitas bersyarat.

Dalam machine learning, teorema Bayes menjadi dasar Naive Bayes classifier untuk penyaringan spam dan klasifikasi teks, estimasi MAP yang memakai prior pada weight sebagai regularizer, dan Bayesian optimization untuk pencarian hyperparameter. Classifier yang menghasilkan probabilitas kelas terkalibrasi sebenarnya sedang memperkirakan posterior P(kelas | input) yang dijelaskan teorema ini.

Ide utama

Posterior sebanding dengan likelihood × prior. P(E) hanya menskalakannya agar probabilitasnya berjumlah 1.
Prior yang tepat 0 atau 1 tidak bisa digeser oleh bukti apa pun.
Likelihood ratio P(E|H) / P(E|¬H) mengukur seberapa kuat bukti mendukung H dibanding ¬H.
Dalam bentuk odds, posterior odds = prior odds × likelihood ratio.
Pembaruan bisa dirangkai: setiap posterior menjadi prior untuk bukti berikutnya.
Naive Bayes classifier memilih kelas dengan likelihood × prior terbesar.

Pertanyaan umum

Bagaimana teorema Bayes diturunkan?

Tulis probabilitas gabungan H dan E dengan dua cara: P(H dan E) = P(H|E) × P(E) = P(E|H) × P(H). Membagi kedua ruas dengan P(E) menghasilkan teorema Bayes. Tidak ada yang dibutuhkan selain definisi probabilitas bersyarat.

Apa itu conjugate prior?

Conjugate prior adalah prior yang menghasilkan posterior dari keluarga distribusi yang sama, sehingga pembaruan cukup dengan mengubah beberapa angka. Contoh standarnya prior Beta(a, b) pada probabilitas sisi gambar sebuah koin: setelah k gambar dalam n lemparan, posterior-nya Beta(a + k, b + n − k). Pasangan conjugate memungkinkan pembaruan Bayesian yang eksak tanpa integrasi numerik.

Bagaimana teorema Bayes dipakai dalam machine learning?

Naive Bayes classifier menerapkannya langsung untuk memilih kelas dari jumlah kata atau feature lain. Estimasi MAP memaksimalkan likelihood × prior atas parameter model, dan prior Gaussian pada weight menghasilkan L2 regularization. Bayesian neural network dan Bayesian optimization menyimpan posterior penuh atas parameter atau atas fungsi yang tidak diketahui, lalu memakainya untuk mengukur ketidakpastian.

Siapa yang menemukan teorema Bayes?

Thomas Bayes, seorang pendeta Inggris, merumuskan kasus khususnya. Richard Price menyunting catatannya dan menerbitkannya pada 1763, dua tahun setelah Bayes meninggal. Pierre-Simon Laplace mencapai hasil yang sama secara independen pada 1774 dan mengembangkannya menjadi bentuk umum yang dipakai sekarang.

Penjelasan terkait

Probabilitas dan Distribusi · Lemparan koin, kurva lonceng, dan matematika ketidakpastian
Naive Bayes Classifier · Klasifikasi probabilistik dengan aturan Bayes
Estimasi MLE dan MAP · Maximum likelihood dan maximum a posteriori: alasan training bisa berhasil
Dasar-Dasar Statistik · Rata-rata, varians, simpangan baku, dan Teorema Limit Pusat
Uji Hipotesis · Mengambil keputusan berdasarkan data dengan hipotesis nol, p-value, dan tingkat signifikansi
Entropy dan Cross-Entropy · Mengukur kejutan, ketidakpastian, dan kualitas prediksi

Referensi

Terakhir diperbarui 2 November 2026