ENID
Lensa ML

Cara Kerja Statistik

Langkah 1 dari 6: Rata-rata: Pusat Gravitasi

Letak titik seimbang sekumpulan data

Jumlah titik data7
012345678910μ = 3.63Rata-rata adalah "titik seimbang": ia meminimalkan jarak kuadrat
N titik
7
Rata-rata
3.63
Jumlah
25.4

Titik-titiknya cukup menyebar. Rata-rata tetap menyeimbangkan semuanya, dengan titik di kedua sisi saling menarik.

Geser Jumlah titik data dari 3 sampai 15 dan perhatikan segitiga di bawah garis. Rata-rata x̄ = (x₁ + … + xₙ)/n adalah titik tempat jumlah semua deviasi tepat nol, dan nilai c yang meminimalkan Σ(xᵢ − c)². Sifat kuadrat inilah yang membuat regresi yang dilatih dengan loss MSE memprediksi rata-rata bersyarat. Median justru meminimalkan Σ|xᵢ − c|, sehingga satu nilai ekstrem bisa menarik rata-rata jauh, sementara median nyaris tidak bergerak. Contoh yang biasa dipakai adalah data miring seperti pendapatan.

Langkah 2 dari 6: Varians dan Simpangan Baku

Seberapa jauh data menyebar di sekitar rata-rata

σ (simpangan baku)1.50
-σ+σμ=0~68% data berada dalam ±1σ dari rata-rata
Varians (σ²)
1.96
Simpangan baku (σ)
1.40
Rentang
6.3

Sebaran sedang. Data melebar, tetapi sebagian besar nilai masih berada dalam 2 simpangan baku dari pusat.

Geser σ dari 0,5 sampai 4,0. Varians adalah rata-rata deviasi kuadrat dari rata-rata, σ² = Σ(xᵢ − x̄)²/n, dan simpangan baku σ adalah akarnya, yang mengembalikan sebaran ke satuan data. Angka pada kartu berasal dari 40 titik yang diambil dengan σ pada slider, jadi hasilnya dekat dengan nilai pilihanmu tetapi tidak tepat sama. Pada distribusi normal, sekitar 68% nilai berada dalam ±1σ, 95% dalam ±2σ, dan 99,7% dalam ±3σ. Menstandardisasi feature berarti mengurangkan rata-ratanya, lalu membaginya dengan σ.

Langkah 3 dari 6: Populasi vs Sampel

Kenapa sampel adalah estimasi yang penuh noise

Ukuran sampel (n)30
1030507090pop μx̄ = 47.4PopulasiSampel
Rata-rata pop.
50.2
Rata-rata sampel
47.4
Error
2.79
Ukuran sampel
30

Pada n = 30, histogram sampel mulai menyerupai bentuk populasi. Rata-rata sampel (x̄ = 47.4) makin dekat dengan rata-rata sebenarnya.

Geser Ukuran sampel (n) dari 5 sampai 200. Populasinya adalah 500 nilai dari distribusi normal dengan rata-rata 50 dan σ = 12, dan sampelnya adalah n nilai pertama. Rata-rata sampel x̄ mengestimasi rata-rata populasi μ dan tidak bias: jika dirata-ratakan atas banyak sampel, hasilnya sama dengan μ. Untuk varians sampel, pembagian dengan n − 1, bukan n (koreksi Bessel), mengoreksi deviasi dari x̄ yang cenderung sedikit lebih kecil daripada deviasi dari μ. Di ML, training set adalah sampelnya dan input di masa depan adalah populasinya.

Langkah 4 dari 6: Teorema Limit Pusat

Rata-rata sampel selalu membentuk kurva lonceng

Ukuran sampel (n)5
13579Distribusi rata-rata sampel (500 eksperimen)Rata-rata sampelKurva normal
Distribusi asal
Seragam
Ukuran sampel
5
Rata-rata dari rata-rata
5.01
Std error
1.29

Bentuk lonceng mulai muncul. Pada n = 5, distribusi rata-rata terlihat memusat di sekitar 5 dengan std error ≈ 1.29.

Geser Ukuran sampel (n) dari 2 sampai 50. Histogram menghitung rata-rata dari 500 eksperimen, dan setiap nilai berasal dari distribusi seragam pada [0, 10] dengan rata-rata 5 dan σ = √(100/12) ≈ 2.89. Kartu Std error menampilkan σ/√n: sekitar 1,29 pada n = 5 dan 0,41 pada n = 50. Teorema ini membutuhkan pengambilan yang independen dan varians yang berhingga. Sumber heavy-tailed konvergen lambat, dan distribusi Cauchy, yang variansnya tidak berhingga, tidak pernah konvergen: rata-rata dari n nilai Cauchy sama tersebarnya dengan satu nilai.

Langkah 5 dari 6: Interval Kepercayaan

Mengukur ketidakpastian dalam estimasi

Tingkat kepercayaan0.95
Ukuran sampel (n)50
sebaran x̄ di sekitar μ-0.520.04μInterval 95% di sekitar x̄ = -0.24 memuat μ
Kepercayaan
95%
z-score
1.96
Margin
±0.277
Rata-rata sampel
-0.240

Tingkat 95% dekat dengan pilihan umum 95%. Tingkat ini menyeimbangkan lebar dan keandalan, dengan z-score 1,96. Interval dari sampel ini memuat μ.

Geser Tingkat kepercayaan dari 80% sampai 99% dan Ukuran sampel (n) dari 10 sampai 200. Intervalnya x̄ ± z·σ/√n, dengan z adalah kuantil normal untuk tingkat yang dipilih, misalnya 1,96 untuk 95%. Di sini σ = 1 diketahui, interval dibangun di sekitar rata-rata x̄ dari satu sampel tetap, dan kurvanya menunjukkan sebaran x̄ di sekitar rata-rata sebenarnya μ. Dengan n = 50, x̄ = −0.24 dan margin 95% adalah ±0,277, sehingga interval memuat μ. Pada 90%, margin menyusut menjadi ±0,233 dan interval nyaris meleset. Menaikkan n empat kali lipat membuat lebarnya menjadi setengah, dan menaikkan tingkat dari 95% ke 99% melebarkannya sekitar 31%. Ketika σ harus diestimasi dari sampel, nilai t yang sedikit lebih besar menggantikan z.

Langkah 6 dari 6: Kenapa Statistik Berguna untuk ML

Statistik batch dan noise mini-batch

Batch size32
Rata-rata batchμVarians batchIndeks batch (20 mini-batch)
Batch size
32
Rata-rata batch
0.590
Varians batch
0.949
Stabilitas
83%

Batch size sedang. Statistik batch cukup stabil (stabilitas: 83%), jadi estimasi gradient cukup baik. Ukuran dalam rentang ini umum dipakai sebagai nilai bawaan.

Geser Batch size dari 4 sampai 128. Grafik atas menampilkan rata-rata dari masing-masing 20 mini-batch yang diambil dari nilai aktivasi dengan rata-rata sebenarnya 0,5 dan σ = 0.8. Grafik bawah menampilkan varians tiap batch terhadap nilai sebenarnya 0,64. Pada batch size 32, rata-rata batch tersebar dengan simpangan baku sekitar 0.8/√32 ≈ 0.14. Saat training, batch normalization menstandardisasi tiap layer dengan statistik batch yang penuh noise ini, lalu beralih ke rata-rata berjalan saat inference. Gradient mini-batch juga merupakan rata-rata batch, jadi noise-nya mengikuti aturan yang sama.

Statistik apa yang kamu butuhkan untuk machine learning?

Statistik mempelajari cara menarik kesimpulan dari data ketika ada ketidakpastian. Statistik deskriptif merangkum dataset dengan angka seperti rata-rata dan simpangan baku. Statistik inferensial memakai sampel untuk mengestimasi sifat populasi yang lebih besar, sekaligus mengukur seberapa tidak pasti estimasi itu.

Machine learning memakai keduanya. Feature scaling memakai rata-rata dan simpangan baku, batch normalization menghitung ulang keduanya untuk setiap mini-batch, dan stochastic gradient descent memperlakukan gradient tiap mini-batch sebagai estimasi sampel dari gradient penuh. Standard error dan interval kepercayaan memberi tahu apakah kenaikan akurasi 0,5% pada test set benar-benar peningkatan atau hanya noise.

Ide utama

  • Rata-rata adalah titik seimbang data dan meminimalkan jumlah deviasi kuadrat.
  • Varians adalah rata-rata deviasi kuadrat, dan simpangan baku adalah akarnya.
  • Statistik sampel mengestimasi nilai populasi dan berubah dari satu sampel ke sampel lain.
  • Teorema limit pusat menyatakan bahwa rata-rata sampel mendekati normal untuk n besar, selama variansnya berhingga.
  • Standard error dari rata-rata adalah σ/√n.
  • Interval kepercayaan 95% berasal dari prosedur yang menangkap nilai populasi pada 95% sampel berulang.

Pertanyaan umum

Apa bedanya simpangan baku dan standard error?

Simpangan baku menggambarkan seberapa menyebar tiap titik data. Standard error menggambarkan seberapa besar sebuah estimasi, seperti rata-rata sampel, berubah-ubah antarsampel berulang. Untuk rata-rata, SE = σ/√n, jadi nilainya mengecil saat sampel membesar, sementara simpangan baku data tidak mengecil.

Seberapa besar n yang dibutuhkan teorema limit pusat?

Patokan yang umum adalah n ≥ 30, tetapi jawaban sebenarnya bergantung pada distribusi sumbernya. Distribusi simetris seperti distribusi seragam sudah terlihat normal setelah sekitar 5 sampai 10 nilai. Data yang sangat miring, seperti pendapatan atau waktu respons, bisa membutuhkan ratusan.

Apa bedanya parameter dan statistik?

Parameter adalah sifat tetap dari populasi, seperti rata-rata sebenarnya μ, dan biasanya tidak diketahui. Statistik dihitung dari sampel, seperti rata-rata sampel x̄, dan dipakai untuk mengestimasi parameter. Huruf Yunani biasanya menandai parameter, dan huruf Latin menandai statistik.

Kenapa makalah ML melaporkan hasil dari beberapa random seed?

Training melibatkan inisialisasi acak, pengacakan data, dan dropout, sehingga satu kali run hanya memberi satu sampel dari hasil yang acak. Melaporkan rata-rata dan simpangan baku antar-seed menunjukkan seberapa banyak selisih antarmetode yang hanya noise. Selisih yang lebih kecil daripada sebaran antar-seed adalah bukti lemah bahwa satu metode lebih baik.

Penjelasan terkait

Referensi

  1. James, Witten, Hastie & Tibshirani, "An Introduction to Statistical Learning" (free online edition)
  2. Ioffe & Szegedy (2015), "Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift"
  3. Goyal et al. (2017), "Accurate, Large Minibatch SGD: Training ImageNet in 1 Hour"

Terakhir diperbarui