Dalam bagian ini, kita akan meninjau kembali teori nilai eigen dan vektor eigen untuk kelas khusus matriks yang bersifat simetris, yaitu matriks yang sama dengan transposnya. Pemahaman tentang matriks simetris ini kelak memungkinkan kita membentuk dekomposisi nilai singular dalam bab ini. Kita juga akan mulai mempelajari varians karena konsep ini menyediakan konteks penting yang memotivasi sebagian pembahasan selanjutnya.
Sebagai awal, ingatlah bahwa jika \(A\) merupakan matriks persegi, kita menyebut \(\vvec\) sebagai vektor eigen dari \(A\) dengan nilai eigen terkait \(\lambda\) apabila \(A\vvec=\lambda\vvec\text{.}\) Dengan kata lain, untuk vektor-vektor khusus ini, operasi perkalian matriks menyederhana menjadi perkalian skalar.
Sekarang misalkan kita memiliki vektor \(\vvec_1=\twovec11\) dan \(\vvec_2=\twovec{-1}1\text{,}\) serta \(A\) merupakan matriks \(2\times2\) sedemikian sehingga
Kegiatan pratinjau meminta kita membandingkan transformasi matriks yang didefinisikan oleh dua matriks: matriks diagonal \(D\) dan matriks \(A\) yang vektor eigennya telah diberikan. Transformasi yang didefinisikan oleh \(D\) meregangkan secara horizontal dengan faktor 3 dan mencerminkan terhadap sumbu horizontal, sebagaimana ditunjukkan dalam Gambar 7.1.2.
Kisi koordinat baku berukuran \(1\times1\text{,}\) sepasang sumbu, dan persegi satuan yang titik-titik sudutnya berada di titik asal, \((1,0)\text{,}\)\((1,1)\text{,}\) dan \((0,1)\text{.}\)
Diagram di sebelah kanan memperlihatkan unsur-unsur ini setelah ditransformasikan oleh matriks diagonal \(D\text{.}\) Kisi koordinat diregangkan secara horizontal dengan faktor \(3\text{,}\) dan persegi satuan diubah menjadi persegi panjang yang titik-titik sudutnya berada di titik asal, \((3,0)\text{,}\)\((3,-1)\text{,}\) dan \((0,-1)\text{.}\) Persegi panjang ini diperoleh dengan meregangkan persegi satuan secara horizontal dengan faktor \(3\) dan mencerminkannya terhadap sumbu horizontal.
Sebaliknya, transformasi yang didefinisikan oleh \(A\) meregangkan bidang dengan faktor 3 dalam arah \(\vvec_1\) dan mencerminkan terhadap garis yang didefinisikan oleh \(\vvec_1\text{,}\) sebagaimana terlihat dalam Gambar 7.1.3.
Kisi koordinat berukuran \(1\times1\) yang telah diputar \(45\) derajat berlawanan arah jarum jam sehingga garis-garis kisi sejajar dengan vektor eigen dari \(A\text{.}\) Persegi satuan juga telah diputar.
Kisi dan persegi telah ditransformasikan melalui perkalian dengan matriks \(A\text{.}\) Kisi diregangkan dengan faktor \(3\) dalam arah vektor eigen \(\vvec_1\text{.}\) Persegi juga diregangkan dengan faktor \(3\) dalam arah \(\vvec_1\) dan dicerminkan terhadap garis yang didefinisikan oleh \(\vvec_1\text{.}\)
Dengan demikian, kita melihat bahwa transformasi matriks yang didefinisikan oleh kedua matriks ini ekuivalen setelah rotasi sebesar \(45^\circ\text{.}\) Gagasan ekuivalensi ini kita sebut keserupaan dalam Subbab 4.3. Di sana kita meninjau matriks persegi \(m\times m\)\(A\) yang menyediakan cukup banyak vektor eigen untuk membentuk basis bagi \(\real^m\text{.}\) Sebagai contoh, misalkan kita dapat menyusun basis bagi \(\real^m\) menggunakan vektor eigen \(\vvec_1,\vvec_2,\ldots,\vvec_m\) yang memiliki nilai eigen terkait \(\lambda_1,\lambda_2,\ldots,\lambda_m\text{.}\) Dengan membentuk matriks
Perhatikan bahwa matriks \(A\) memiliki vektor eigen \(\vvec_1\) dan \(\vvec_2\) yang bukan hanya membentuk basis bagi \(\real^2\text{,}\) tetapi bahkan membentuk basis ortogonal bagi \(\real^2\text{.}\) Mengingat peran penting basis ortogonal dalam bab sebelumnya, kita ingin memahami syarat apa pada suatu matriks yang memungkinkan kita membentuk basis ortogonal yang terdiri atas vektor-vektor eigen.
Ingatlah bahwa perintah Sage A.right_eigenmatrix() berupaya mencari basis bagi \(\real^m\) yang terdiri atas vektor eigen dari \(A\text{.}\) Secara khusus, penetapan D, P = A.right_eigenmatrix() menghasilkan matriks diagonal \(D\) yang dibentuk dari nilai-nilai eigen \(A\text{,}\) sedangkan kolom-kolom \(P\) memuat vektor eigen yang terkait.
Untuk setiap matriks berikut, tentukan apakah terdapat basis bagi \(\real^2\) yang terdiri atas vektor eigen dari matriks tersebut. Jika basis semacam itu ada, bentuklah matriks \(P\) dan \(D\text{,}\) lalu verifikasikan bahwa matriks tersebut sama dengan \(PDP^{-1}\text{.}\)
Untuk setiap matriks \(A\) semacam itu, carilah basis ortonormal yang terdiri atas vektor-vektor eigen dan jelaskan mengapa \(A=QDQ^{-1}\text{,}\) dengan \(Q\) merupakan matriks ortogonal.
Contoh-contoh dalam kegiatan ini menggambarkan berbagai kemungkinan. Pertama, suatu matriks dapat memiliki nilai eigen kompleks; dalam hal ini matriks tersebut tidak dapat didiagonalisasi. Kedua, meskipun semua nilai eigennya real, belum tentu terdapat basis vektor eigen apabila dimensi salah satu ruang eigen lebih kecil daripada multiplisitas aljabar nilai eigen yang terkait.
Kita tertarik pada matriks yang memiliki basis ortogonal yang terdiri atas vektor-vektor eigen. Jika demikian, kita dapat membentuk basis ortonormal vektor eigen dengan menskalakan setiap vektor eigen dalam basis tersebut agar panjangnya 1. Menempatkan vektor-vektor ortonormal ini ke dalam matriks \(Q\) menghasilkan matriks ortogonal, sehingga \(Q^T=Q^{-1}\text{.}\) Dengan demikian,
\begin{equation*}
A = QDQ^{-1} = QDQ^T.
\end{equation*}
Dalam kasus ini, kita mengatakan bahwa \(A\)dapat didiagonalisasi secara ortogonal.
Jika terdapat basis ortonormal bagi \(\real^n\) yang terdiri atas vektor eigen dari matriks \(A\text{,}\) kita mengatakan bahwa \(A\)dapat didiagonalisasi secara ortogonal. Secara khusus, kita dapat menulis \(A=QDQ^T\text{,}\) dengan \(Q\) merupakan matriks ortogonal.
Tinjau matriks \(A =
\begin{bmatrix}
-2 \amp 36 \\
36 \amp -23
\end{bmatrix}
\text{,}\) yang memiliki vektor eigen \(\vvec_1 = \twovec43\) dengan nilai eigen terkait \(\lambda_1=25\text{,}\) serta \(\vvec_2=\twovec{3}{-4}\) dengan nilai eigen terkait \(\lambda_2=-50\text{.}\) Perhatikan bahwa \(\vvec_1\) dan \(\vvec_2\) ortogonal, sehingga kita dapat membentuk basis ortonormal vektor eigen:
Jika \(A = \begin{bmatrix}
1 \amp 2 \\
2 \amp 1 \\
\end{bmatrix}
\text{,}\) maka terdapat basis ortogonal vektor eigen \(\vvec_1 = \twovec11\) dan \(\vvec_2 =
\twovec{-1}1\) dengan nilai eigen \(\lambda_1=3\) dan \(\lambda_2=-1\text{.}\) Dengan menggunakan vektor-vektor eigen ini, kita membentuk matriks ortogonal \(Q\) yang kolomnya terdiri atas vektor eigen serta matriks diagonal \(D\text{,}\) yaitu
Perhatikan bahwa transformasi matriks yang direpresentasikan oleh \(Q\) merupakan rotasi \(45^\circ\text{,}\) sedangkan yang direpresentasikan oleh \(Q^T=Q^{-1}\) merupakan rotasi \(-45^\circ\text{.}\) Oleh karena itu, jika kita mengalikan vektor \(\xvec\) dengan \(A\text{,}\) perkalian tersebut dapat diuraikan sebagai
Artinya, mula-mula kita memutar \(\xvec\) sebesar \(-45^\circ\text{,}\) kemudian menerapkan matriks diagonal \(D\) yang melakukan peregangan dan pencerminan, lalu akhirnya memutar sebesar \(45^\circ\text{.}\) Faktorisasi ini dapat divisualisasikan seperti dalam Gambar 7.1.8.
Hasil penerapan matriks berikutnya, \(D\text{,}\) dalam faktorisasi yang telah kita telaah. Kisi koordinat diregangkan secara horizontal dengan faktor \(3\text{,}\) dan persegi satuan diubah menjadi persegi panjang melalui peregangan horizontal dengan faktor \(3\) dan pencerminan terhadap sumbu horizontal.
Gambar7.1.8.Transformasi yang didefinisikan oleh \(A=QDQ^T\) dapat ditafsirkan sebagai rangkaian transformasi geometris: \(Q^T\) memutar sebesar \(-45^\circ\text{,}\)\(D\) meregangkan dan mencerminkan, serta \(Q\) memutar sebesar \(45^\circ\text{.}\)
Kita telah melihat bahwa matriks yang dapat didiagonalisasi secara ortogonal haruslah simetris. Ternyata, setiap matriks simetris dapat didiagonalisasi secara ortogonal. Fakta ini kita catat dalam teorema berikut.
Setiap matriks berikut bersifat simetris, sehingga Teorema Spektral menyatakan bahwa masing-masing dapat didiagonalisasi secara ortogonal. Tujuan kegiatan ini adalah mencari diagonalisasi ortogonal untuk setiap matriks.
Sebagai awal, carilah basis untuk setiap ruang eigen. Gunakan basis tersebut untuk mencari basis ortogonal bagi setiap ruang eigen, lalu gabungkan basis-basis ini untuk memperoleh basis ortogonal bagi \(\real^m\) yang terdiri atas vektor eigen. Gunakan basis ini untuk menuliskan diagonalisasi ortogonal matriks tersebut.
Sebagaimana diperlihatkan oleh contoh-contoh dalam Kegiatan 7.1.3, Teorema Spektral memiliki sejumlah konsekuensi. Jika \(A\) merupakan matriks simetris \(m\times m\text{,}\) maka
Kita tidak akan membuktikan dua fakta pertama di sini karena pembahasannya akan membawa kita terlalu jauh. Namun, akan bermanfaat untuk menjelaskan fakta ketiga. Sebagai awal, perhatikan bahwa
Misalkan matriks simetris \(A\) memiliki vektor eigen \(\vvec_1\) dengan nilai eigen terkait \(\lambda_1=3\text{,}\) serta \(\vvec_2\) dengan nilai eigen terkait \(\lambda_2 = 10\text{.}\) Perhatikan bahwa
Secara lebih umum, argumen yang sama menunjukkan bahwa dua vektor eigen dari matriks simetris yang terkait dengan nilai eigen berbeda saling ortogonal.
Banyak gagasan yang akan kita jumpai dalam bab ini, seperti diagonalisasi ortogonal, dapat diterapkan untuk mempelajari data. Memahami penerapan tersebut berguna karena menyediakan konteks penting tempat gagasan matematika memiliki makna yang lebih konkret dan motivasinya tampak lebih jelas. Oleh karena itu, sekarang kita akan memperkenalkan konsep statistik varians untuk memperoleh wawasan tentang arti penting diagonalisasi ortogonal.
Carilah sentroid, atau rata-rata, \(\overline{\dvec}=\frac1N\sum_j \dvec_j\text{.}\) Kemudian gambarkan titik-titik data beserta sentroidnya dalam Gambar 7.1.12.
Perhatikan bahwa sentroid berada di pusat data, sehingga sebaran data akan diukur berdasarkan seberapa jauh titik-titik tersebut dari sentroid. Untuk menyederhanakan perhitungan, carilah titik-titik data terpusat
Sekarang gambarkan proyeksi data terpusat pada sumbu \(x\) dan \(y\) menggunakan Gambar 7.1.14, lalu carilah varians \(V_x\) dan \(V_y\) dari titik-titik hasil proyeksi.
Apa yang Anda perhatikan tentang hubungan antara \(V\text{,}\)\(V_x\text{,}\) dan \(V_y\text{?}\) Bagaimana teorema Pythagoras menjelaskan hubungan ini?
Gambarkan proyeksi titik-titik data terpusat pada garis yang didefinisikan oleh vektor \(\vvec_1=\twovec11\) dan \(\vvec_2=\twovec{-1}1\) menggunakan Gambar 7.1.15, lalu carilah varians \(V_{\vvec_1}\) dan \(V_{\vvec_2}\) dari titik-titik hasil proyeksi ini.
Kisi koordinat baku berukuran \(1\times1\text{,}\) sepasang sumbu, dan dua garis ortogonal yang sejajar dengan vektor \(\vvec_1=\twovec11\) dan \(\vvec_2=\twovec{-1}1\text{.}\)
Bagaimana hubungan antara varians total \(V\) dengan \(V_{\vvec_1}\) dan \(V_{\vvec_2}\text{?}\) Bagaimana teorema Pythagoras menjelaskan jawaban Anda?
Perhatikan bahwa varians memiliki sifat aditif. Sebagai contoh, tinjau keadaan ketika titik-titik data kita berdimensi dua dan misalkan titik-titik terpusatnya adalah \(\dtil_j=\twovec{\widetilde{x}_j}{\widetilde{y}_j}\text{.}\) Kita memiliki
Jika kita mengambil rata-rata atas semua titik data, kita memperoleh bahwa varians total \(V\) merupakan jumlah varians dalam arah \(x\) dan \(y\text{:}\)
Secara lebih umum, misalkan kita memiliki basis ortonormal \(\uvec_1\) dan \(\uvec_2\text{.}\) Jika kita memproyeksikan titik-titik terpusat pada garis yang didefinisikan oleh \(\uvec_1\text{,}\) kita memperoleh titik-titik \((\dtil_j\cdot\uvec_1)\uvec_1\text{,}\) sehingga
karena \(\uvec_1\cdot\uvec_2 = 0\text{.}\) Ketika kita mengambil rata-rata atas semua titik data, kita memperoleh bahwa varians total \(V\) merupakan jumlah varians dalam arah \(\uvec_1\) dan \(\uvec_2\text{.}\) Hal ini menghasilkan proposisi berikut, yang menyatakan pengamatan tersebut secara lebih umum.
Jika \(W\) merupakan subruang dengan basis ortonormal \(\uvec_1\text{,}\)\(\uvec_2\text{,}\)\(\ldots\text{,}\)\(\uvec_n\text{,}\) maka varians titik-titik yang diproyeksikan pada \(W\) merupakan jumlah varians dalam arah \(\uvec_j\text{:}\)
Kegiatan berikut memperlihatkan cara yang lebih efisien untuk mencari varians \(V_{\uvec}\) dalam arah tertentu dan menghubungkan pembahasan varians dengan matriks simetris.
Secara umum, matriks \(C=\frac1N~AA^T\) disebut matriks kovarians dari himpunan data. Matriks ini berguna karena, sebagaimana baru saja kita lihat, varians \(V_{\uvec}=\uvec\cdot(C\uvec)\text{.}\) Carilah matriks \(C\) untuk himpunan data kita yang terdiri atas tiga titik.
Gunakan matriks kovarians untuk mencari varians \(V_{\uvec_2}\) jika \(\uvec_2=\twovec{-2/\sqrt{5}}{1/\sqrt{5}}\text{.}\) Karena \(\uvec_1\) dan \(\uvec_2\) ortogonal, verifikasikan bahwa jumlah \(V_{\uvec_1}\) dan \(V_{\uvec_2}\) menghasilkan varians total.
Kegiatan ini memperkenalkan matriks kovarians suatu himpunan data, yang didefinisikan sebagai \(C=\frac1N~AA^T\text{,}\) dengan \(A\) merupakan matriks titik-titik data terpusat. Perhatikan bahwa
yang menunjukkan bahwa \(C\) simetris. Secara khusus, kita mengetahui bahwa matriks ini dapat didiagonalisasi secara ortogonal, suatu pengamatan yang akan berperan penting selanjutnya.
Jika \(C\) merupakan matriks kovarians yang terkait dengan himpunan data terpusat dan \(\uvec\) merupakan vektor satuan, maka varians titik-titik terpusat yang diproyeksikan pada garis yang didefinisikan oleh \(\uvec\) adalah
Selanjutnya, tujuan kita adalah mencari arah \(\uvec\) tempat varians sebesar mungkin dan arah tempat varians sekecil mungkin. Kegiatan berikut memperlihatkan mengapa hal ini berguna.
Menjalankan sel Sage berikut memuat himpunan data yang terdiri atas 100 titik data terpusat dan menampilkan gambarnya. Sel ini juga menghasilkan matriks data terpusat \(A\text{.}\)
Dengan memeriksa data secara visual, tentukan mana yang lebih besar, \(V_x\) atau \(V_y\text{.}\) Kemudian hitung kedua besaran tersebut untuk memverifikasi jawaban Anda.
Kira-kira dalam arah manakah varians terbesar? Pilih vektor \(\uvec\) yang wajar dan kurang lebih menunjuk dalam arah tersebut, lalu carilah \(V_{\uvec}\text{.}\)
Kira-kira dalam arah manakah varians terkecil? Pilih vektor \(\wvec\) yang wajar dan kurang lebih menunjuk dalam arah tersebut, lalu carilah \(V_{\wvec}\text{.}\)
Kegiatan ini memperlihatkan bagaimana varians dapat mengidentifikasi garis tempat data terkonsentrasi. Jika data terutama terletak di sepanjang garis yang didefinisikan oleh vektor \(\uvec_1\text{,}\) maka varians dalam arah tersebut akan besar, sedangkan varians dalam arah ortogonal \(\uvec_2\) akan kecil.
Ingatlah bahwa varians bersifat aditif menurut Proposisi 7.1.16, sehingga jika \(\uvec_1\) dan \(\uvec_2\) merupakan vektor satuan yang saling ortogonal, maka varians total adalah
\begin{equation*}
V = V_{\uvec_1} + V_{\uvec_2}.
\end{equation*}
Oleh karena itu, jika kita memilih \(\uvec_1\) sebagai arah tempat \(V_{\uvec_1}\) maksimum, maka \(V_{\uvec_2}\) akan minimum.
Dalam bagian berikutnya, kita akan menggunakan diagonalisasi ortogonal matriks kovarians \(C\) untuk mencari arah dengan varians terbesar dan terkecil. Dengan cara ini, kita dapat menentukan kapan data terkonsentrasi di sepanjang garis atau subruang.
Bagian ini membahas matriks simetris dan varians. Secara khusus, kita telah melihat bahwa
matriks \(A\) dapat didiagonalisasi secara ortogonal jika terdapat basis ortonormal yang terdiri atas vektor eigen. Secara khusus, kita dapat menulis \(A=QDQ^T\text{,}\) dengan \(D\) merupakan matriks diagonal nilai eigen dan \(Q\) merupakan matriks ortogonal vektor eigen;
Teorema Spektral menyatakan bahwa matriks \(A\) dapat didiagonalisasi secara ortogonal jika dan hanya jika matriks tersebut simetris; yakni, \(A=A^T\text{;}\)
varians suatu himpunan data dapat dihitung menggunakan matriks kovarians \(C=\frac1N~AA^T\text{,}\) dengan \(A\) merupakan matriks titik-titik data terpusat. Secara khusus, varians titik-titik data terpusat yang diproyeksikan pada garis yang didefinisikan oleh vektor satuan \(\uvec\) adalah \(V_{\uvec} = \uvec\cdot C\uvec\text{.}\)
Untuk setiap matriks berikut, tentukan nilai-nilai eigen dan sebuah basis untuk setiap ruang eigen. Tentukan apakah matriks tersebut dapat didiagonalisasi dan, jika ya, tentukan suatu diagonalisasinya. Tentukan apakah matriks tersebut dapat didiagonalisasi secara ortogonal dan, jika ya, tentukan suatu diagonalisasi ortogonal.
Misalkan \(\uvec\) adalah vektor eigen \(B\) dengan nilai eigen terkait \(\lambda\) dan \(\uvec\) memiliki panjang satu. Jelaskan mengapa \(\lambda =
\len{A\uvec}^2\text{.}\)
Proyeksikan titik-titik data terpusat ke garis yang ditentukan oleh \(\vvec_1=\twovec21\text{,}\) lalu tentukan varians titik-titik hasil proyeksi tersebut.
Proyeksikan titik-titik data terpusat ke garis yang ditentukan oleh \(\vvec_2=\twovec1{-2}\text{,}\) lalu tentukan varians titik-titik hasil proyeksi tersebut.
Kisi koordinat standar dengan petak berukuran \(1\times1\) dan sepasang sumbu. Rentang horizontal dan vertikal membentang dari \(-4\) hingga \(4\text{.}\)
Misalkan \(C\) adalah matriks kovarians dari suatu himpunan data terpusat.
Misalkan \(\uvec\) adalah vektor eigen \(C\) dengan nilai eigen terkait \(\lambda\) dan \(\uvec\) memiliki panjang satu. Jelaskan mengapa \(V_{\uvec} = \lambda\text{.}\)
Jika \(\uvec\) dan \(\vvec\) adalah vektor-vektor eigen suatu matriks simetris yang terkait dengan nilai eigen -2 dan 3, maka \(\uvec\cdot\vvec=0\text{.}\)
dengan nilai-nilai eigen terkait \(\lambda_1 = 20\) dan \(\lambda_2 = -4\text{.}\) Tentukan matriks \(Q\) dan \(D\) sedemikian sehingga \(A =
QDQ^T\text{.}\)
Misalkan \(W\) adalah suatu bidang dalam \(\real^3\) dan \(P\) adalah matriks \(3\times3\) yang memproyeksikan vektor secara ortogonal ke \(W\text{.}\)
Jelaskan mengapa \(P\) dapat didiagonalisasi secara ortogonal.
