Apa itu eigenvalue dan eigenvector?
Eigenvector dari matriks persegi A adalah vector bukan nol yang arahnya tidak berubah ketika A diterapkan: Av = λv. Angka λ adalah eigenvalue-nya, yaitu faktor yang merentangkan, mengecilkan, atau membalik vector itu. Keduanya menjelaskan apa yang dilakukan matriks di sepanjang sumbu alaminya.
Di machine learning, eigenvector dari matriks covariance adalah principal component yang dipakai di PCA. Eigenvalue dari Hessian menggambarkan kelengkungan permukaan loss dan membatasi learning rate yang bisa dipakai gradient descent. Eigenvalue juga menentukan apakah perkalian matriks berulang akan meledak atau meredup, dan ini berpengaruh pada recurrent network. Eigenvalue dari Laplacian sebuah graf menjadi dasar spectral clustering.
Ide utama
- Eigenvector mempertahankan arahnya saat dikenai matriks: Av = λv.
- Eigenvalue λ adalah faktor skala di sepanjang eigenvector itu, dan λ negatif membaliknya.
- Trace adalah jumlah semua eigenvalue, dan determinan adalah hasil kalinya.
- Eigenvalue adalah akar persamaan karakteristik det(A − λI) = 0.
- Matriks simetris punya eigenvalue real dan eigenvector yang saling tegak lurus.
- Di PCA, eigenvector dari matriks covariance adalah principal component.
Pertanyaan umum
Apa arti eigenvalue dari Hessian untuk training?
Tiap eigenvalue adalah kelengkungan loss di sepanjang eigenvector-nya. Di titik kritis, semua positif berarti local minimum, dan tanda campuran berarti saddle point. Untuk gradient descent pada fungsi kuadrat, learning rate harus tetap di bawah 2/λ_max agar tidak divergen, jadi arah yang paling tajam menentukan batas kecepatannya.
Apakah eigenvalue bisa berupa bilangan kompleks?
Bisa, untuk matriks real yang tidak simetris. Rotasi sebesar θ pada bidang punya eigenvalue cos θ ± i·sin θ, yang menandakan perputaran, bukan perentangan. Pada matriks real, eigenvalue kompleks selalu muncul sebagai pasangan konjugat, dan besarnya tetap menentukan apakah nilainya tumbuh atau meluruh.
Apa itu matriks positive definite?
Matriks simetris yang semua eigenvalue-nya positif, atau setara dengan xᵀAx > 0 untuk setiap x bukan nol. Matriks covariance bersifat positive semidefinite, dengan eigenvalue nol atau lebih. Hessian yang positive definite di titik kritis berarti titik itu adalah local minimum yang ketat.
Sebaiknya pakai numpy.linalg.eig atau eigh?
Pakai eigh untuk matriks simetris atau Hermitian seperti matriks covariance. Fungsi ini lebih cepat, mengembalikan eigenvalue real dalam urutan naik, dan menjamin eigenvector yang ortonormal. eig menangani matriks persegi umum, tetapi bisa mengembalikan nilai kompleks, bahkan akibat round-off pada matriks yang seharusnya simetris.
Penjelasan terkait
- Aljabar Linear · Vector, matriks, dan bahasa data
- Singular Value Decomposition · Uraikan matriks apa pun menjadi rotasi, skala, dan rotasi: alat serbaguna di aljabar linear
- Dimensionality Reduction · PCA dan t-SNE untuk melihat data berdimensi tinggi
- Kalkulus Matriks dan Jacobian · Turunan parsial, gradient, dan Jacobian: kalkulus untuk vector
- Konveksitas, Minimum, dan Saddle Point · Kenapa sebagian masalah optimasi lebih sulit daripada yang lain
- Recurrent Neural Network · Cara RNN membaca dan memahami sequence
Referensi
- Strang, MIT 18.06 Linear Algebra, lecture 21 Eigenvalues and Eigenvectors
- Deisenroth, Faisal & Ong, "Mathematics for Machine Learning", ch. 4 Matrix Decompositions
- Pearson (1901), "On lines and planes of closest fit to systems of points in space"
Terakhir diperbarui