1Convolutional Neural Network 2Recurrent Neural Network 3LSTM 4Autoencoder & VAE5GAN 6Skip Connection & ResNet

Lensa ML

Cara Kerja Autoencoder & VAE

Q: Apa bedanya autoencoder dan VAE?

Autoencoder biasa memetakan tiap input ke satu titik dan hanya di-train untuk merekonstruksi, sehingga latent space-nya bisa punya celah yang menghasilkan keluaran tak bermakna. VAE memetakan tiap input ke distribusi Gaussian dan menambahkan penalti KL yang menjaga distribusi itu tetap dekat dengan N(0, 1). Ruang itu jadi terisi, sehingga sampel acak dari N(0, 1) menghasilkan output yang realistis.

Q: Apa itu denoising autoencoder?

Denoising autoencoder menerima input yang dirusak, misalnya dengan noise acak atau pixel yang ditutup, dan di-train untuk mengeluarkan versi aslinya yang bersih. Ini mencegahnya sekadar menyalin dan memaksanya mempelajari struktur data. Masked autoencoder untuk gambar dan masked language modeling di BERT mengikuti ide yang sama.

Q: Kenapa output VAE buram?

Dengan decoder Gaussian, suku rekonstruksi berupa squared error, yang menguntungkan rata-rata dari semua output yang masuk akal. Merata-ratakan beberapa gambar tajam menghasilkan gambar buram. Noise di z menambah efek ini, karena kode yang berdekatan harus menghasilkan gambar yang mirip.

Q: Apakah autoencoder termasuk supervised atau unsupervised?

Autoencoder tidak butuh label, jadi biasanya disebut unsupervised atau self-supervised learning: input menjadi targetnya sendiri. Encoder yang sudah dilatih sering dipakai ulang sebagai feature extractor untuk tugas supervised yang dilatih pada kumpulan data berlabel yang lebih kecil.

Langkah 1 dari 6: Intuisinya

Apa yang dipelajari autoencoder?

Senyum0.4

Ukuran mata0.0

Lebar wajah0.0

Kacamata-0.6

Atribut

Aktif

Dimensi

Autoencoder memampatkan data berdimensi tinggi (seperti wajah) menjadi sedikit atribut latent. Decoder merekonstruksi aslinya hanya dari beberapa angka ini. Geser slider untuk melihat cara tiap atribut mengendalikan aspek wajah yang berbeda.

Geser slider Senyum, Ukuran mata, Lebar wajah, dan Kacamata. Di sini 4 angka mewakili seluruh wajah. Autoencoder sungguhan mempelajari dimensi latent-nya dari data, dan dimensi itu jarang selaras serapi ini dengan feature bernama. Satu-satunya sinyal training adalah reconstruction error, seperti rata-rata selisih kuadrat antara input x dan output x̂. Bottleneck yang sempit memaksa kompresi: kalau kodenya sebesar input, network bisa meloloskannya tanpa perubahan. Autoencoder linear yang di-train dengan squared error mempelajari subruang yang sama dengan PCA.

Langkah 2 dari 6: Arsitektur VAE

Meng-encode sebagai distribusi, bukan titik

Encoder VAE mengeluarkan dua vector: μ (rata-rata) dan σ (simpangan baku), yang mendefinisikan distribusi untuk tiap dimensi latent, bukan satu titik. Decoder menerima sampel dari distribusi itu, yang diambil dengan reparameterization trick: ambil ε dari N(0,1), lalu hitung z = μ + σ · ε.

Ikuti network dari kiri ke kanan: 8 input, hidden layer berisi 6 dan 4, lalu μ dan σ dengan masing-masing 3 nilai, z hasil sampling berisi 3, dan decoder cerminan berisi 4, 6, dan 8. Dalam praktik, encoder mengeluarkan log σ², bukan σ, karena log variance bisa bernilai bilangan real apa pun, sedangkan σ harus tetap positif; σ = exp(½ log σ²). Setelah training, generasi hanya butuh decoder: ambil sampel z dari N(0, 1) lalu decode. Kingma dan Welling memperkenalkan model ini pada 2013.

Langkah 3 dari 6: Motivasi Statistik

Kenapa variational inference?

Dari foto orang tersenyum (x), tujuannya menyimpulkan latent feature (z), seperti senyum atau warna rambut, yang menghasilkannya. Aturan Bayes memberi:

p(z|x) = p(x|z) · p(z) / p(x)

Menghitung p(x) berarti mengintegralkan semua kemungkinan kombinasi latent feature, yang mustahil dihitung dalam praktik. Sebagai gantinya, neural network (encoder) mempelajari aproksimasi yang lebih sederhana, q(z|x). Coba cocokkan di bawah.

μ0.20

σ0.40

KL(q‖post)

0.116

KL(q‖prior)

0.516

Kecocokan

bagus

Loss function VAE menyeimbangkan dua tujuan:

1. Rekonstruksi yang baik

Decoder harus bisa membangun ulang input asli dari latent code z

2. Tetap teratur

Output encoder q(z|x) harus tetap dekat dengan kurva lonceng sederhana N(0,1)

Loss = reconstruction error + KL(q(z|x) ‖ p(z))

Cocok. q(z|x)-mu sangat mendekati posterior sebenarnya. Pada VAE sungguhan, encoder menemukan μ dan σ secara otomatis, persis seperti yang baru kamu lakukan dengan tangan.

Geser slider μ dan σ, lalu lihat kartu KL(q‖post) dan KL(q‖prior). VAE tidak bisa mengukur KL ke posterior sebenarnya secara langsung, karena itu butuh p(x). Sebagai gantinya, VAE memaksimalkan evidence lower bound (ELBO): log p(x) ≥ E_q[log p(x|z)] − KL(q(z|x) ‖ p(z)). Selisih dalam pertidaksamaan itu persis KL ke posterior sebenarnya, jadi menaikkan bound menarik q mendekatinya. Untuk q Gaussian terhadap N(0, 1), suku KL punya closed form, ½(μ² + σ² − 1 − ln σ²): sekitar 0,52 pada μ = 0.2, σ = 0.4.

Langkah 4 dari 6: Reparameterization Trick

Membuat sampling jadi differentiable

ε0.00

0.35

0.60

0.00

z = μ+σε

0.35

Saat ε ≈ 0, z tetap dekat dengan μ, jadi sampel jatuh di dekat rata-rata. Keacakan dari ε berada di luar network, sehingga gradient tetap mengalir lewat μ dan σ selama backpropagation.

Geser slider ε dari −1 ke 1. Dengan μ = 0.35 dan σ = 0.6, ε = 1 menghasilkan z = 0.35 + 0.6 × 1 = 0.95. Slider hanya mencakup ±1, tetapi ε sungguhan diambil dari N(0, 1), jadi sekitar sepertiga pengambilan jatuh di luar rentang itu. Sebelum trik ini, gradient melalui sampel acak membutuhkan score-function estimator seperti REINFORCE, yang jauh lebih noisy. Ide yang sama muncul setiap kali model harus mengambil sampel dan tetap di-train dengan backpropagation, misalnya trik Gumbel-softmax untuk pilihan diskret.

Langkah 5 dari 6: Latent Space

Memvisualkan pengaruh β

Bayangkan VAE yang di-train pada angka tulisan tangan (0–9). Encoder memampatkan tiap gambar 28×28 pixel menjadi hanya 2 dimensi latent (z₁, z₂). Tiap warna di bawah mewakili kelas angka yang berbeda. Geser β untuk melihat pengaruhnya pada ruang 2D ini.

↑ reconstruction loss↑ KL divergence (dikali β)

β1.00

1.00

Mode

seimbang

Cluster

Dengan β ≈ 1.0, kedua loss seimbang. Cluster cukup jelas untuk memisahkan angka, tetapi menyebar dan bertumpang tindih dengan mulus. Tanpa zona mati, ruang ini berpindah bertahap dari satu angka ke angka berikutnya, sehingga sampel baru tampak realistis.

Geser β dari 0 ke 5 dan lihat kartu Mode berganti antara recon, seimbang, dan kl. VAE standar memakai β = 1. Higgins dkk. (2017) mengusulkan β-VAE, dengan β di atas 1, untuk mendorong tiap dimensi latent ke satu faktor variasi tersendiri, seperti ketebalan atau kemiringan goresan. Akibatnya, rekonstruksi lebih buram. Keadaan runtuh pada β tinggi disebut posterior collapse: decoder belajar mengabaikan z. Ini paling sering terjadi pada decoder yang kuat, dan KL annealing, yang menaikkan β dari 0 selama training, adalah perbaikan standar.

Langkah 6 dari 6: Generasi

Interpolasi mulus di latent space

0.0

0.2

0.3

0.5

0.7

0.8

1.0

Senyum

0.1

Ukuran mata

0.1

Lebar wajah

0.0

Kacamata

-0.1

0.50

Senyum

0.10

Mata

0.10

Lebar

0.00

Pada t = 0.50, tiap atribut latent adalah campuran mulus dari A dan B. Senyum memudar, mata membesar, dan kacamata muncul bertahap. Latent space yang kontinu memungkinkan kita menghasilkan data baru yang realistis lewat sampling atau interpolasi di mana saja.

Geser slider dari A ke B. Angka-angkanya mengikuti campuran garis lurus, z = (1 − t) · z_A + t · z_B, sehingga pada t = 0.5 nilai senyum berada di tengah antara 0,8 dan −0,6, yaitu 0,1. Pada latent Gaussian berdimensi tinggi, spherical interpolation (slerp) sering lebih disukai, karena titik di garis lurus antara dua sampel punya norm lebih kecil daripada sampel biasa. Sampel VAE cenderung buram, salah satu alasan generator yang lebih tajam seperti GAN mengambil alih sintesis gambar.

Apa itu autoencoder?

Autoencoder adalah neural network yang di-train untuk menyalin input ke output-nya lewat layer tengah yang sempit, disebut bottleneck atau latent code. Bagian encoder memampatkan input menjadi beberapa angka, dan bagian decoder membangun ulang input dari angka-angka itu. Variational autoencoder (VAE) mengubah encoder agar mengeluarkan distribusi probabilitas atas kode, bukan satu titik, sehingga decoder menjadi generator data baru.

Autoencoder dipakai untuk dimensionality reduction, denoising, anomaly detection (input yang direkonstruksi dengan buruk kemungkinan tidak biasa), dan mempelajari feature tanpa label. VAE dipakai untuk menghasilkan gambar dan molekul, serta menjelajahi latent space yang mulus. Autoencoder di Stable Diffusion memampatkan gambar menjadi latent grid kecil sehingga diffusion model bisa bekerja dengan angka yang jauh lebih sedikit daripada pixel mentah.

Ide utama

Autoencoder memampatkan input menjadi latent code kecil dan merekonstruksinya dari kode itu.
Bottleneck memaksa network menyimpan hanya informasi yang paling berguna.
Encoder VAE mengeluarkan rata-rata μ dan simpangan baku σ untuk tiap dimensi latent.
Loss VAE adalah reconstruction error ditambah β kali KL divergence dari N(0, 1).
Reparameterization trick z = μ + σ · ε membuat sampling jadi differentiable.
Latent space yang mulus membuat decoder bisa menghasilkan data baru lewat sampling atau interpolasi.

Pertanyaan umum

Apa bedanya autoencoder dan VAE?

Autoencoder biasa memetakan tiap input ke satu titik dan hanya di-train untuk merekonstruksi, sehingga latent space-nya bisa punya celah yang menghasilkan keluaran tak bermakna. VAE memetakan tiap input ke distribusi Gaussian dan menambahkan penalti KL yang menjaga distribusi itu tetap dekat dengan N(0, 1). Ruang itu jadi terisi, sehingga sampel acak dari N(0, 1) menghasilkan output yang realistis.

Apa itu denoising autoencoder?

Denoising autoencoder menerima input yang dirusak, misalnya dengan noise acak atau pixel yang ditutup, dan di-train untuk mengeluarkan versi aslinya yang bersih. Ini mencegahnya sekadar menyalin dan memaksanya mempelajari struktur data. Masked autoencoder untuk gambar dan masked language modeling di BERT mengikuti ide yang sama.

Kenapa output VAE buram?

Dengan decoder Gaussian, suku rekonstruksi berupa squared error, yang menguntungkan rata-rata dari semua output yang masuk akal. Merata-ratakan beberapa gambar tajam menghasilkan gambar buram. Noise di z menambah efek ini, karena kode yang berdekatan harus menghasilkan gambar yang mirip.

Apakah autoencoder termasuk supervised atau unsupervised?

Autoencoder tidak butuh label, jadi biasanya disebut unsupervised atau self-supervised learning: input menjadi targetnya sendiri. Encoder yang sudah dilatih sering dipakai ulang sebagai feature extractor untuk tugas supervised yang dilatih pada kumpulan data berlabel yang lebih kecil.

Penjelasan terkait

KL Divergence · Mengukur seberapa berbeda dua distribusi
Dimensionality Reduction · PCA dan t-SNE untuk melihat data berdimensi tinggi
GAN · Dua network bersaing untuk mencipta
Diffusion Model · Hasilkan gambar dengan belajar membalik proses penambahan noise yang bertahap
Embedding · Mengubah kata dan kategori menjadi vector
Probabilitas dan Distribusi · Lemparan koin, kurva lonceng, dan matematika ketidakpastian

Referensi

Terakhir diperbarui 2 November 2026