ENID
Lensa ML

Uji Hipotesis

Langkah 1 dari 6: Nol vs Alternatif

Dua penjelasan yang bersaing untuk data yang sama

Ukuran efek sebenarnya (μ₁)1.50
H₀: μ=0H₁: μ=1.5
Ukuran efek
1.50
Rata-rata H₀
0.00
Rata-rata H₁
1.50
Keterpisahan
Sedang

Kedua distribusi mulai terpisah. H₀ menyatakan data berasal dari μ=0; H₁ menyatakan μ=1.5. Daerah tumpang tindih yang diarsir adalah tempat kedua hipotesis sama-sama bisa menghasilkan data itu.

Geser Ukuran efek sebenarnya (μ₁) dari 0 sampai 3,5. Kedua kurva punya σ = 1, jadi efeknya diukur dalam satuan simpangan baku, skala yang sama dengan Cohen's d. Cohen menyebut d = 0.2 kecil, 0.5 sedang, dan 0.8 besar. Uji tidak pernah membuktikan H₁. Uji hanya bertanya apakah data akan mengejutkan di bawah H₀, karena itu H₀ adalah klaim sederhana dan spesifik (μ = 0), sedangkan H₁ mencakup semua kemungkinan lain. Di ML, H₀ biasanya berbunyi "model baru tidak lebih baik daripada baseline", dengan keduanya dievaluasi pada test set yang sama.

Langkah 2 dari 6: Statistik Uji

Mengukur seberapa ekstrem data teramati di bawah H₀

Rata-rata sampel teramati1.20
z = 1.20Distribusi nol (H₀)
Statistik z
1.20
p-value
0.2301
Luas ekor
23.01%

z = 1.20. Ekor merah muda menunjukkan probabilitas, dengan asumsi H₀ benar, untuk mendapat nilai yang setidaknya sejauh ini dari 0 ke arah mana pun: p = 0.230.

Geser Rata-rata sampel teramati dari −3 sampai 3. Di sini σ = 1 dan n = 1, jadi z sama dengan nilai teramati. Secara umum, statistik z adalah z = (x̄ − μ₀)/(σ/√n), yaitu jarak dari nilai nol yang diukur dalam satuan standard error. Ketika σ tidak diketahui dan diestimasi dari sampel, rasio yang sama mengikuti distribusi t dengan derajat kebebasan n − 1. Uji lain memakai statistik lain, seperti χ² untuk jumlah dalam tabel atau F untuk membandingkan rata-rata beberapa kelompok, tetapi masing-masing dibandingkan dengan distribusinya di bawah H₀.

Langkah 3 dari 6: P-Value

Probabilitas melihat data seekstrem ini jika H₀ benar

Nilai teramati1.80
p = 0.0719
Teramati
1.80
p-value
0.0719
-log₁₀(p)
1.14

p = 0.072. Ekornya menyempit, tetapi di bawah H₀ data seekstrem ini masih muncul 7,2% dari seluruh percobaan. Ini petunjuk, belum kesimpulan.

Geser Nilai teramati dari 0 sampai 3,5. Pada nilai bawaan 1,8, p-value dua sisi adalah 0,072. P-value adalah P(data setidaknya seekstrem ini | H₀). Nilai ini bukan probabilitas bahwa H₀ benar, dan 1 − p bukan probabilitas bahwa efeknya nyata; keduanya membutuhkan prior, seperti pada teorema Bayes. Uji satu sisi hanya menghitung satu sisi dan membagi dua p, tetapi arahnya harus dipilih sebelum melihat data. Ketika H₀ benar, p-value berdistribusi seragam antara 0 dan 1.

Langkah 4 dari 6: Tingkat Signifikansi α

Threshold untuk menolak H₀, yang kamu pilih sebelum melihat data

Tingkat signifikansi α0.05
z=2.1z* = ±1.96Tolak H₀
α
0.050
z kritis
±1.96
p-value
0.0357
Keputusan
Tolak

Pada α = 0.050, nilai kritisnya ±1.96. Nilai teramati z = 2.1 jatuh di daerah penolakan merah muda (p = 0.0357 < α), jadi H₀ ditolak.

Geser Tingkat signifikansi α dari 0,01 sampai 0,10 sementara z teramati tetap 2,1, dengan p = 0.036. Nilai kritis adalah z yang membuat tiap ekor memuat α/2: 1,96 untuk α = 0.05 dan 2,58 untuk α = 0.01. Menolak ketika p < α dan menolak ketika |z| > z_crit adalah aturan yang sama. Konvensi 0,05 berasal dari Ronald Fisher pada 1920-an. Bidang yang menjalankan banyak uji memakai tingkat yang lebih ketat: fisika partikel mensyaratkan 5σ, sekitar p = 3 × 10⁻⁷, sebelum mengumumkan penemuan.

Langkah 5 dari 6: Error Tipe I dan Tipe II

False positive vs false negative: keduanya tidak bisa diminimalkan sekaligus

Tingkat signifikansi α0.05
Ukuran efek sebenarnya1.50
Tipe I (α)Tipe II (β)H₀H₁
Tipe I (α)
0.050
Tipe II (β)
0.677
Power (1−β)
0.323

Power rendah (32%). Distribusi alternatif (ungu) banyak tumpang tindih dengan daerah penerimaan. β = 0.68: uji ini lebih sering melewatkan efeknya. Efek yang lebih besar atau α yang lebih tinggi menaikkan power.

Geser Tingkat signifikansi α dan Ukuran efek sebenarnya. Error Tipe I menolak H₀ ketika H₀ benar, dengan probabilitas α. Error Tipe II melewatkan efek yang nyata, dengan probabilitas β, dan power adalah 1 − β. Pada nilai bawaan (α = 0.05, efek 1,5), power hanya sekitar 32%, karena satu pengamatan bukan bukti yang kuat untuk efek 1,5σ. Dalam istilah klasifikasi, α adalah false positive rate dan power adalah recall. Menurunkan α menukar satu error dengan yang lain, seperti menggeser decision threshold pada classifier.

Langkah 6 dari 6: Power dan Ukuran Sampel

Berapa banyak sampel yang dibutuhkan agar efek terdeteksi dengan andal

Ukuran sampel n20
Power vs Ukuran Sampel (efek=0.5, α=0.05)0%20%40%60%80%100%05010015020080%n=32Ukuran sampel n
Power
60.9%
Sampel n
20
n untuk 80%
32
SE
0.224

Power = 61%, lebih baik tetapi masih di bawah target konvensional 80%. Standard error menyusut sebesar 1/√n, jadi tiap sampel membantu. Target 80% butuh n ≈ 32.

Geser Ukuran sampel n dari 5 sampai 200 di sepanjang kurva power. Efeknya tetap d = 0.5 dengan α = 0.05, dan pada n = 20 power sekitar 61%. Ukuran sampel yang dibutuhkan adalah n = ((z_α/2 + z_β)/d)², yang menghasilkan ((1.96 + 0.84)/0.5)² ≈ 31.4, dibulatkan ke atas menjadi 32. Membagi dua ukuran efek membuat n yang dibutuhkan menjadi empat kali lipat. Karena itulah membandingkan dua model ML yang berdekatan butuh test set besar: pada 1.000 contoh, selisih akurasi 0,5% masih jauh di dalam noise.

Apa itu uji hipotesis?

Uji hipotesis adalah prosedur untuk memutuskan apakah data memberi cukup bukti untuk menolak klaim bawaan, yang disebut hipotesis nol H₀. Kamu menghitung statistik uji dari data, mencari seberapa mungkin nilai yang setidaknya seekstrem itu muncul jika H₀ benar (p-value), lalu menolak H₀ jika probabilitas itu di bawah threshold α yang dipilih sejak awal.

Di machine learning, uji hipotesis mengecek apakah model baru benar-benar mengalahkan baseline atau hanya beruntung pada test set, dengan alat seperti uji McNemar atau paired bootstrap. Uji ini juga menentukan hasil A/B test pada model yang sudah di-deploy, mendeteksi drift antara data training dan produksi, serta menandai feature yang hubungannya dengan label bisa jadi hanya kebetulan.

Ide utama

  • H₀ adalah klaim bawaan bahwa tidak ada efek, dan uji bertanya apakah data mengejutkan di bawah klaim itu.
  • Statistik uji mengukur seberapa jauh data dari H₀, dalam satuan standard error.
  • P-value adalah probabilitas, dengan asumsi H₀ benar, untuk mendapat data yang setidaknya seekstrem yang teramati.
  • α adalah false positive rate yang kamu terima, dan nilainya ditetapkan sebelum melihat data.
  • Power adalah probabilitas mendeteksi efek yang memang ada.
  • Ukuran sampel yang dibutuhkan tumbuh mengikuti kebalikan kuadrat ukuran efek.

Pertanyaan umum

Apa itu masalah perbandingan berganda?

Setiap uji pada α = 0.05 punya false positive rate 5%, jadi menjalankan 20 uji independen pada noise murni menghasilkan setidaknya satu hasil "signifikan" sekitar 64% dari seluruh percobaan. Koreksi Bonferroni menguji masing-masing pada α/m untuk m uji. Prosedur Benjamini-Hochberg justru mengendalikan false discovery rate, yang mempertahankan power lebih banyak ketika ujinya banyak.

Apa bedanya signifikansi statistik dan signifikansi praktis?

Signifikansi statistik menyatakan bahwa suatu efek kecil kemungkinannya bernilai nol. Signifikansi praktis menyatakan bahwa efek itu cukup besar untuk berarti. Dengan jutaan sampel, peningkatan 0,01% bisa punya p-value yang sangat kecil tetapi tetap tidak berguna, jadi laporkan ukuran efek dan interval kepercayaan bersama p-value.

Bagaimana cara menguji apakah satu model ML lebih baik daripada yang lain?

Ketika kedua model dinilai pada test set yang sama, pakai uji berpasangan. Uji McNemar membandingkan jumlah contoh yang hanya dijawab benar oleh salah satu model. Paired bootstrap mengambil ulang sampel dari test set berkali-kali dan mengecek seberapa sering selisih akurasi berubah tanda. Dietterich (1998) juga merekomendasikan uji t berpasangan dengan cross-validation 5×2.

Apakah gagal menolak H₀ berarti H₀ benar?

Tidak. Artinya data tidak cukup kuat untuk menyingkirkan H₀. Dengan power rendah, efek yang nyata mudah terlewat, jadi hasil yang tidak signifikan dari sampel kecil hanya memberi sedikit informasi. Uji ekuivalensi adalah alat yang tepat untuk menunjukkan bahwa suatu efek mendekati nol.

Penjelasan terkait

Referensi

  1. Wasserstein & Lazar (2016), "The ASA Statement on p-Values: Context, Process, and Purpose", The American Statistician
  2. Dietterich (1998), "Approximate Statistical Tests for Comparing Supervised Classification Learning Algorithms", Neural Computation
  3. Benjamini & Hochberg (1995), "Controlling the False Discovery Rate: A Practical and Powerful Approach to Multiple Testing", JRSS Series B
  4. James, Witten, Hastie & Tibshirani, "An Introduction to Statistical Learning", 2nd edition, chapter 13: Multiple Testing

Terakhir diperbarui