Pembahasan kita sejauh ini telah menghasilkan seperangkat alat yang kaya untuk memanfaatkan keortogonalan dalam menyederhanakan berbagai persoalan. Seperti yang akan kita lihat dalam bagian ini, alat-alat tersebut secara alami mengarah pada beberapa teknik penting untuk mengolah data, seperti regresi linear.
Misalkan kita mengumpulkan sejumlah data ketika melakukan percobaan, lalu memplotnya seperti yang tampak di sebelah kiri Gambar 6.5.1. Perhatikan bahwa tidak ada satu garis yang memuat semua titik; bahkan, keberadaan garis semacam itu akan mengejutkan karena kita dapat mengharapkan adanya ketidakpastian dalam pengukuran yang dicatat. Namun, tampaknya ada sebuah garis, seperti yang diperlihatkan di sebelah kanan, yang hampir memuat titik-titik tersebut.
Dalam bagian ini, kita akan menelaah bagaimana teknik-teknik yang dikembangkan dalam bab ini memungkinkan kita menentukan garis yang paling baik menghampiri data. Secara lebih khusus, kita akan melihat bahwa pencarian garis yang melalui titik-titik data menghasilkan sistem tak konsisten \(A\xvec=\bvec\text{.}\) Karena kita tidak dapat menemukan solusi, sebagai gantinya kita mencari vektor \(\xvec\) sedemikian sehingga \(A\xvec\) sedekat mungkin dengan \(\bvec\text{.}\) Proyeksi ortogonal menyediakan alat yang tepat untuk melakukannya.
Kita mengetahui bahwa \(\threevec12{-1}\) dan \(\threevec250\) membentuk basis bagi \(\col(A)\text{.}\) Tentukan sebuah basis ortogonal bagi \(\col(A)\text{.}\)
Ketika sebelumnya menjumpai sistem tak konsisten, kita hanya menyatakan bahwa tidak ada solusi, lalu beralih ke persoalan lain. Namun, aktivitas pratinjau memperlihatkan cara mencari solusi hampiran bagi sistem tak konsisten: jika \(A\xvec = \bvec\) tidak memiliki solusi, sebagai gantinya kita menyelesaikan sistem konsisten \(A\xvec = \bhat\text{,}\) dengan ruas kanannya merupakan proyeksi ortogonal \(\bvec\) pada \(\col(A)\text{.}\) Seperti yang akan kita lihat, dalam arti tertentu solusi ini adalah solusi terbaik yang mungkin.
Misalkan kita mempunyai tiga titik data \((1,1)\text{,}\)\((2,1)\text{,}\) dan \((3,3)\text{,}\) serta ingin menentukan sebuah garis yang melalui ketiganya.
Plot ketiga titik ini pada Gambar 6.5.2. Dapatkah Anda menggambar sebuah garis yang melalui ketiga titik tersebut?
Ingat bahwa persamaan garis dapat ditulis sebagai \(b + mx=y\text{,}\) dengan \(m\) sebagai gradien dan \(b\) sebagai titik potong sumbu \(y\text{.}\) Kita akan mencari \(b\) dan \(m\) sedemikian sehingga ketiga titik terletak pada garis itu.
Titik data pertama \((1,1)\) memberikan sebuah persamaan bagi \(b\) dan \(m\text{.}\) Secara khusus, kita mengetahui bahwa ketika \(x=1\text{,}\) maka \(y=1\text{,}\) sehingga kita memperoleh \(b + m(1) = 1\) atau \(b + m = 1\text{.}\) Gunakan dua titik data lainnya untuk membentuk sistem linear yang memuat \(m\) dan \(b\text{.}\)
Kita telah memperoleh sistem linear dengan tiga persamaan, masing-masing berasal dari satu titik data, untuk dua peubah tak diketahui \(b\) dan \(m\text{.}\) Tentukan matriks \(A\) dan vektor \(\bvec\) sehingga sistem tersebut berbentuk \(A\xvec=\bvec\text{,}\) dengan \(\xvec=\ctwovec bm\text{.}\)
Apakah sistem linear ini memiliki solusi? Bagaimana pertanyaan ini berkaitan dengan upaya Anda menggambar sebuah garis yang melalui ketiga titik di atas?
Karena sistem ini tak konsisten, kita mengetahui bahwa \(\bvec\) tidak berada dalam ruang kolom \(\col(A)\text{.}\) Tentukan basis ortogonal bagi \(\col(A)\text{,}\) lalu gunakan basis itu untuk menentukan proyeksi ortogonal \(\widehat\bvec\) dari \(\bvec\) pada \(\col(A)\text{.}\)
Karena \(\widehat\bvec\) berada dalam \(\col(A)\text{,}\) persamaan \(A\xvec = \widehat\bvec\) konsisten. Tentukan solusinya, \(\xvec = \ctwovec{b}{m}\text{,}\) lalu sketsakan garis \(y=b + mx\) pada Gambar 6.5.2. Garis ini disebut garis kecocokan terbaik.
Aktivitas ini menggambarkan gagasan yang melandasi teknik bernama kuadrat terkecil ortogonal, yang telah kita persiapkan sepanjang bab ini. Jika titik-titik data dinyatakan sebagai \((x_i, y_i)\text{,}\) kita membentuk matriks \(A\) dan vektor \(\bvec\) sebagai
Dengan vektor \(\xvec=\ctwovec bm\) menyatakan garis \(b+mx = y\text{,}\) kita melihat bahwa persamaan \(A\xvec=\bvec\) menyatakan garis yang melalui semua titik data. Dalam aktivitas kita, secara visual tampak jelas bahwa tidak ada garis semacam itu, selaras dengan fakta bahwa persamaan \(A\xvec=\bvec\) tak konsisten.
Ingat bahwa \(\bhat\text{,}\) yaitu proyeksi ortogonal \(\bvec\) pada \(\col(A)\text{,}\) merupakan vektor dalam \(\col(A)\) yang paling dekat dengan \(\bvec\text{.}\) Oleh karena itu, ketika kita menyelesaikan persamaan \(A\xvec=\bhat\text{,}\) kita mencari vektor \(\xvec\) sedemikian sehingga \(A\xvec =
\threevec{b+mx_1}{b+mx_2}{b+mx_3}\) sedekat mungkin dengan \(\bvec=\threevec{y_1}{y_2}{y_3}\text{.}\) Mari kita pikirkan makna hal ini dalam konteks persoalan tersebut.
Selisihnya adalah \(\bvec-A\xvec =
\threevec{y_1-(b+mx_1)}{y_2-(b+mx_2)}{y_3-(b+mx_3)}\text{,}\) sehingga kuadrat jarak antara \(A\xvec\) dan \(\bvec\) adalah
Pendekatan kita menentukan nilai \(b\) dan \(m\) yang membuat jumlah kuadrat ini sekecil mungkin; karena itulah persoalan ini disebut persoalan kuadrat terkecil.
Ketika garis yang ditentukan oleh vektor \(\xvec=\ctwovec bm\) digambar, besaran \(y_i - (b + mx_i)\) menyatakan jarak vertikal antara garis tersebut dan titik data \((x_i, y_i)\text{,}\) seperti diperlihatkan pada Gambar 6.5.5. Dengan sudut pandang ini, kuadrat jarak \(\len{\bvec-A\xvec}^2\) mengukur seberapa jauh garis yang ditentukan oleh vektor \(\xvec\) meleset dari titik-titik data. Solusi persoalan kuadrat terkecil adalah garis yang meleset dari titik-titik data sekecil mungkin.
Tiga titik data dari aktivitas sebelumnya dan garis yang diberikan sebagai solusi persoalan kuadrat terkecil. Terdapat ruas-ruas garis vertikal dari setiap titik data menuju garis kuadrat terkecil yang menunjukkan seberapa jauh garis tersebut meleset dari titik-titik itu.
Untuk sistem tak konsisten \(A\xvec = \bvec\text{,}\) kita mencari vektor \(\xvec\) yang meminimumkan jarak dari \(A\xvec\) ke \(\bvec\text{.}\) Dengan kata lain, \(\xvec\) memenuhi \(A\xvec = \widehat\bvec\text{,}\) dengan \(\bhat\) merupakan proyeksi ortogonal \(\bvec\) pada ruang kolom \(\col(A)\text{.}\) Kita mengetahui bahwa persamaan \(A\xvec=\bhat\) konsisten karena \(\bhat\) berada dalam \(\col(A)\text{,}\) dan solusinya tunggal jika kita mengasumsikan kolom-kolom \(A\) bebas linear.
Biasanya kita menyatakan solusi \(A\xvec = \bhat\) dengan \(\xhat\) dan menyebut vektor ini solusi hampiran kuadrat terkecil dari \(A\xvec=\bvec\text{,}\) untuk membedakannya dari solusi \(A\xvec=\bvec\) yang mungkin saja tidak ada.
Ada metode alternatif untuk menentukan \(\xhat\) tanpa terlebih dahulu menentukan proyeksi ortogonal \(\bhat\text{.}\) Ingat bahwa \(\bhat\) didefinisikan oleh fakta bahwa \(\widehat\bvec - \bvec\) ortogonal terhadap \(\col(A)\text{.}\) Dengan kata lain, \(\bhat-\bvec\) berada dalam komplemen ortogonal \(\col(A)^\perp\text{,}\) yang menurut Proposisi 6.2.10 sama dengan \(\nul(A^T)\text{.}\) Karena \(\bhat-\bvec\) berada dalam \(\nul(A^T)\text{,}\) diperoleh
Karena solusi hampiran kuadrat terkecil adalah vektor \(\xhat\) sedemikian sehingga \(A\xhat = \bhat\text{,}\) kita dapat menata ulang persamaan ini untuk memperoleh
Jika kolom-kolom \(A\) bebas linear, maka terdapat solusi hampiran kuadrat terkecil tunggal \(\xhat\) bagi persamaan \(A\xvec=\bvec\text{,}\) yang diberikan oleh persamaan normal
dengan matriks \(A\) dan vektor \(\bvec\text{.}\) Karena persamaan ini tak konsisten, kita akan menentukan solusi hampiran kuadrat terkecil \(\xhat\) dengan menyelesaikan persamaan normal \(A^TA\xhat = A^T\bvec\text{,}\) yang berbentuk
Laju bunyi jangkrik berkaitan dengan suhu luar ruangan, sebagaimana tercermin dalam sejumlah data percobaan yang akan kita kaji dalam aktivitas ini. Laju bunyi \(C\) dinyatakan dalam bunyi per detik, sedangkan suhu \(T\) dinyatakan dalam derajat Fahrenheit. Evaluasi sel berikut untuk memuat data:
Misalkan peubah-peubah tak diketahui dinyatakan dengan vektor \(\xvec = \twovec{\beta_0}{\beta_1}\text{.}\) Gunakan 15 titik data untuk membentuk matriks \(A\) dan vektor \(\bvec\) sedemikian sehingga sistem linear \(A\xvec= \bvec\) menyatakan vektor tak diketahui \(\xvec\text{.}\)
Selesaikan persamaan normal untuk menentukan \(\xhat\text{,}\) yaitu solusi hampiran kuadrat terkecil bagi persamaan \(A\xvec=\bvec\text{.}\) Namai solusi Anda xhat karena x memiliki arti lain dalam Sage.
Contoh ini memperlihatkan pendekatan yang disebut regresi linear, yaitu sekumpulan data dimodelkan menggunakan fungsi linear yang diperoleh dengan menyelesaikan persoalan kuadrat terkecil. Setelah memperoleh fungsi linear yang paling cocok dengan data, kita dapat membuat prediksi untuk keadaan yang belum muncul dalam data.
Jika fungsi tersebut akan kita gunakan untuk membuat prediksi, wajar untuk menanyakan seberapa besar keyakinan kita terhadap prediksi itu. Pertanyaan statistis ini mengarah pada teori yang kaya dan telah berkembang dengan baik 1
Sebagai contoh, lihat Gareth James, Daniela Witten, Trevor Hastie, Robert Tibshirani. An Introduction to Statistical Learning: with Applications in R. Springer, 2013.
, yang tidak akan kita bahas secara terperinci di sini. Namun, ada satu ukuran sederhana mengenai seberapa baik fungsi linear kita cocok dengan data, yaitu koefisien determinasi yang dinyatakan dengan \(R^2\text{.}\)
Kita telah melihat bahwa kuadrat jarak \(\len{\bvec-A\xvec}^2\) mengukur besarnya kegagalan garis melewati titik-titik data. Ketika garis dekat dengan titik-titik data, kita mengharapkan bilangan ini kecil. Namun, besar ukuran ini bergantung pada skala data. Sebagai contoh, dua garis pada Gambar 6.5.8 tampak sama-sama cocok dengan data, tetapi \(|\bvec-A\xhat|^2\) di sebelah kanan 100 kali lebih besar.
Tiga titik data dari aktivitas, garis kuadrat terkecil, dan ruas-ruas garis vertikal dari titik-titik data menuju garis yang menunjukkan seberapa jauh garis tersebut meleset dari titik-titik itu.
Diagram ini serupa dengan diagram sebelumnya, tetapi koordinat titik-titik data telah diskalakan dengan faktor \(10\text{.}\) Sebagai contoh, titik \((1,1)\) dalam himpunan data semula diskalakan menjadi \((10,10)\) dalam himpunan ini. Garis kuadrat terkecil dan ruas-ruas garis vertikal dari titik menuju garis juga ditampilkan. Pengamatan utamanya ialah kedua diagram tampak persis sama, kecuali skala pada sumbu.
Koefisien determinasi \(R^2\) didefinisikan dengan menormalkan \(|\bvec-A\xhat|^2\) agar tidak bergantung pada skala. Ingat bahwa pada Subbab 6.1 kita telah menjelaskan cara memusatkan sebuah vektor: untuk vektor \(\vvec\text{,}\) kita memperoleh \(\widetilde{\vvec}\) dengan mengurangkan rata-rata komponennya dari setiap komponen.
Penjelasan yang lebih lengkap tentang definisi ini bergantung pada konsep varians, yang kita telaah dalam Latihan 6.5.7.12 dan bab berikutnya. Untuk saat ini, cukup diketahui bahwa \(0\leq R^2 \leq 1\text{,}\) dan semakin dekat \(R^2\) ke 1, semakin baik garis tersebut cocok dengan data. Dalam contoh awal yang digambarkan pada Gambar 6.5.8, kita memperoleh \(R^2 = 0.75\text{,}\) sedangkan dalam kajian laju bunyi jangkrik kita memperoleh \(R^2=0.69\text{.}\) Namun, menilai keyakinan terhadap prediksi yang dibuat dengan menyelesaikan persoalan kuadrat terkecil dapat memerlukan pertimbangan yang matang; mengandalkan nilai \(R^2\) saja merupakan tindakan yang naif.
Seperti yang telah kita lihat, solusi hampiran kuadrat terkecil \(\xhat\) bagi \(A\xvec=\bvec\) dapat ditentukan dengan menyelesaikan persamaan normal \(A^TA\xhat = A^T\bvec\text{.}\) Strategi ini praktis untuk beberapa persoalan. Namun, pendekatan tersebut dapat bermasalah karena galat pembulatan kecil dapat menumpuk dan menghasilkan hasil akhir yang tidak akurat.
Seperti ditunjukkan oleh aktivitas berikutnya, terdapat metode lain untuk menentukan solusi hampiran kuadrat terkecil \(\xhat\) menggunakan faktorisasi \(QR\) dari matriks \(A\text{.}\) Metode ini lebih disukai karena lebih andal secara numerik.
Misalkan kita ingin menentukan solusi hampiran kuadrat terkecil bagi persamaan \(A\xvec = \bvec\) dan mempunyai faktorisasi \(QR\text{,}\) yaitu \(A=QR\text{.}\) Jelaskan mengapa solusi hampiran kuadrat terkecil diberikan dengan menyelesaikan
Karena \(R\) berbentuk segitiga atas, persamaan ini relatif mudah diselesaikan dengan substitusi mundur, seperti yang kita lihat dalam Subbab 5.1. Oleh karena itu, kita menulis solusi hampiran kuadrat terkecil sebagai
dengan \(\rho\) menyatakan kerapatan tubuh seseorang dalam gram per sentimeter kubik. Namun, memperoleh pengukuran \(\rho\) yang akurat sulit karena orang tersebut harus dibenamkan ke dalam air dan volume air yang dipindahkan harus diukur. Sebagai gantinya, kita akan mengumpulkan beberapa ukuran tubuh lain yang lebih mudah diperoleh dan menggunakannya untuk memprediksi \(BFI\text{.}\)
Sebagai contoh, misalkan kita mengambil 10 pasien dan mengukur berat badan \(w\) dalam pon, tinggi badan \(h\) dalam inci, lingkar perut \(a\) dalam sentimeter, lingkar pergelangan tangan \(r\) dalam sentimeter, lingkar leher \(n\) dalam sentimeter, dan \(BFI\text{.}\) Evaluasi sel berikut akan memuat dan menampilkan data.
Jelaskan sistem linear \(A\xvec = \bvec\) untuk parameter tersebut. Secara lebih khusus, jelaskan bagaimana matriks \(A\) dan vektor \(\bvec\) dibentuk.
Tentukan solusi hampiran kuadrat terkecil \(\xhat\) dengan menyelesaikan persamaan \(R\xhat = Q^T\bvec\text{.}\) Anda dapat menggunakan N(xhat) untuk menampilkan hampiran desimal vektor tersebut. Berapakah parameter \(\beta_0,\beta_1,\ldots,\beta_5\) yang paling cocok dengan data?
Misalkan ukuran seseorang adalah: berat badan 190, tinggi badan 70, lingkar perut 90, lingkar pergelangan tangan 18, dan lingkar leher 35. Perkirakan \(BFI\) orang tersebut.
Jika kolom-kolom \(A\) bebas linear dan kita mempunyai faktorisasi \(QR\text{,}\) yaitu \(A=QR\text{,}\) maka solusi hampiran kuadrat terkecil \(\xhat\) bagi persamaan \(A\xvec=\bvec\) diberikan oleh
Dalam contoh-contoh sejauh ini, kita telah mencocokkan fungsi linear dengan suatu himpunan data. Namun, terkadang polinomial seperti fungsi kuadrat lebih sesuai. Ternyata teknik-teknik yang kita kembangkan dalam bagian ini tetap berguna, sebagaimana diperlihatkan oleh aktivitas berikut.
Misalkan kita mempunyai himpunan data kecil yang memuat titik-titik \((0,2)\text{,}\)\((1,1)\text{,}\)\((2,3)\text{,}\) dan \((3,3)\text{,}\) seperti yang tampil ketika sel berikut dievaluasi.
Gunakan parameter \(\beta_0\text{,}\)\(\beta_1\text{,}\) dan \(\beta_2\) yang Anda peroleh untuk menulis fungsi kuadrat yang cocok dengan data. Anda dapat memplot fungsi ini bersama data dengan memasukkan fungsi Anda pada tempat yang ditunjukkan di bawah ini.
Matriks \(A\) yang Anda bentuk dalam aktivitas sebelumnya ketika mencocokkan fungsi kuadrat dan kubik dengan himpunan data mempunyai bentuk khusus. Secara khusus, jika titik-titik data diberi label \((x_i, y_i)\) dan kita mencari polinomial berderajat \(k\text{,}\) maka
Tentukan vektor \(\xhat\text{,}\) yaitu solusi hampiran kuadrat terkecil bagi sistem linear yang dihasilkan ketika polinomial berderajat 5 dicocokkan dengan data.
Memang benar bahwa polinomial berderajat lebih tinggi lebih cocok dengan data, sebagaimana terlihat dari meningkatnya nilai \(R^2\text{,}\) tetapi hal itu tidak selalu baik. Sebagai contoh, ketika \(k=11\text{,}\) Anda mungkin memperhatikan bahwa grafik polinomial berombak sedikit lebih banyak daripada yang kita harapkan. Dalam hal ini, polinomial tersebut berusaha terlalu keras mencocokkan data, yang biasanya mengandung ketidakpastian, terutama jika diperoleh dari pengukuran. Galat yang terkandung dalam data disebut derau, dan kehadirannya berarti kita tidak patut mengharapkan polinomial cocok sempurna dengan data. Ketika kita memilih polinomial yang derajatnya terlalu tinggi, derau diberi bobot terlalu besar dalam model, sehingga menimbulkan perilaku yang tidak diinginkan, seperti gelombang pada grafik.
Mencocokkan data dengan polinomial yang derajatnya terlalu tinggi disebut pencocokan berlebih, suatu fenomena yang dapat muncul dalam banyak aplikasi pembelajaran mesin. Secara umum, kita ingin memilih \(k\) yang cukup besar untuk menangkap ciri penting data, tetapi tidak begitu besar sehingga terjadi pencocokan berlebih dan derau terbangun ke dalam model. Ada berbagai cara menentukan nilai optimal \(k\text{,}\) tetapi hal itu tidak akan kita bahas di sini.
Bagian ini memperkenalkan beberapa jenis persoalan kuadrat terkecil dan suatu kerangka untuk menanganinya.
Untuk sistem tak konsisten \(A\xvec=\bvec\text{,}\) kita menentukan solusi hampiran kuadrat terkecil \(\xhat\) dengan mensyaratkan agar \(A\xhat\) sedekat mungkin dengan \(\bvec\text{.}\) Dengan kata lain, \(A\xhat = \bhat\text{,}\) dengan \(\bhat\) merupakan proyeksi ortogonal \(\bvec\) pada \(\col(A)\text{.}\)
Salah satu cara menentukan \(\xhat\) adalah menyelesaikan persamaan normal \(A^TA\xhat = A^T\bvec.\) Metode ini tidak kita utamakan karena dapat menimbulkan masalah numerik.
Cara kedua menentukan \(\xhat\) menggunakan faktorisasi \(QR\) dari \(A\text{.}\) Jika \(A=QR\text{,}\) maka \(\xhat = R^{-1}Q^T\bvec\text{,}\) dan menentukan \(R^{-1}\) layak secara komputasional karena \(R\) berbentuk segitiga atas.
Teknik ini dapat diterapkan secara luas dan berguna untuk memodelkan data. Dalam bagian ini kita melihat contoh ketika fungsi linear dari beberapa variabel masukan dan polinomial memberikan model yang efektif bagi himpunan data yang berbeda.
Salah satu ukuran sederhana bagi kualitas kecocokan adalah koefisien determinasi \(R^2\text{,}\) meskipun penerapan nyata memerlukan pertimbangan tambahan.
Gunakan faktorisasi \(QR\) untuk menentukan solusi hampiran kuadrat terkecil \(\xhat\text{,}\) lalu plot data dan grafik fungsi kuadrat yang dihasilkan.
Faktorisasi \(QR\) menyediakan metode untuk menentukan solusi hampiran kuadrat terkecil bagi \(A\xvec=\bvec\) yang lebih andal daripada menyelesaikan persamaan normal.
Sel berikut memuat data yang menunjukkan jumlah penduduk Bangladesh yang hidup tanpa listrik selama 27 tahun. Sel ini juga mendefinisikan vektor year, yang mencatat tahun-tahun dalam himpunan data, dan people, yang mencatat jumlah penduduk.
\begin{equation*}
N = \beta_0 + \beta_1 t
\end{equation*}
dengan \(t\) menyatakan tahun dan \(N\) menyatakan jumlah penduduk. Bentuk matriks \(A\) dan vektor \(\bvec\) sedemikian sehingga sistem linear \(A\xvec=\bvec\) menyatakan vektor \(\xvec=\twovec{\beta_0}{\beta_1}\text{.}\)
Dengan menggunakan faktorisasi \(QR\) dari \(A\text{,}\) tentukan nilai \(\beta_0\) dan \(\beta_1\) dalam solusi hampiran kuadrat terkecil \(\xhat\text{.}\)
Persoalan ini berkenaan dengan himpunan data yang menggambarkan planet-planet dalam Tata Surya kita. Untuk setiap planet, kita mempunyai panjang sumbu semi-mayor \(L\text{,}\) yang pada dasarnya adalah jarak planet ke Matahari dalam SA (satuan astronomi), dan periode \(P\text{,}\) yaitu waktu dalam tahun yang diperlukan untuk menyelesaikan satu orbit mengelilingi Matahari.
Kita ingin memodelkan data ini menggunakan fungsi \(P = CL^r\text{,}\) dengan \(C\) dan \(r\) sebagai parameter yang perlu ditentukan. Karena fungsi ini tidak linear, kita mengubah hubungan tersebut dengan mengambil logaritma natural kedua ruas untuk memperoleh
Evaluasi sel berikut memuat himpunan data dan mendefinisikan dua vektor: logaxis, yang komponennya adalah \(\ln(L)\text{,}\) dan logperiod, yang komponennya adalah \(\ln(P)\text{.}\)
Evaluasi sel berikut memuat himpunan data yang menggambarkan suhu atmosfer Bumi pada berbagai ketinggian. Terdapat pula dua vektor: altitude, yang dinyatakan dalam kilometer, dan temperature, dalam derajat Celsius.
Jelaskan cara membentuk matriks \(A\) dan vektor \(\bvec\) sedemikian sehingga sistem linear \(A\xvec=\bvec\) menyatakan polinomial berderajat \(k\) yang cocok dengan data.
Sekarang amati apa yang terjadi ketika Anda mengubah derajat polinomial \(k\text{.}\) Pilih nilai \(k\) yang sesuai, yang tampaknya menangkap ciri terpenting data sekaligus menghindari pencocokan berlebih, lalu jelaskan pilihan Anda.
Sel berikut memuat data mengenai 1057 rumah dalam suatu pasar properti. Untuk setiap rumah, dicatat luas hunian dalam kaki persegi, luas lahan dalam acre, usia dalam tahun, dan harga dalam dolar. Sel tersebut juga mendefinisikan variabel area, size, age, dan price.
Kita telah mengamati bahwa jika kolom-kolom \(A\) bebas linear, maka persamaan \(A\xvec=\bvec\) mempunyai solusi hampiran kuadrat terkecil tunggal karena persamaan \(A\xhat=\bhat\) mempunyai solusi tunggal. Kita juga menyatakan bahwa \(\xhat\) merupakan solusi tunggal persamaan normal \(A^TA\xhat = A^T\bvec\) tanpa menjelaskan mengapa persamaan ini mempunyai solusi tunggal. Latihan ini memberikan penjelasannya.
Dengan mengasumsikan bahwa kolom-kolom \(A\) bebas linear, kita ingin menyimpulkan bahwa persamaan \(A^TA\xhat=A^T\bvec\) mempunyai solusi tunggal.
Misalkan \(\xvec\) adalah vektor yang memenuhi \(A^TA\xvec = \zerovec\text{.}\) Jelaskan mengapa argumen berikut sah dan memungkinkan kita menyimpulkan bahwa \(A\xvec = \zerovec\text{.}\)
Persoalan ini membahas makna koefisien determinasi \(R^2\) dan hubungannya dengan varians, topik yang muncul dalam bagian berikutnya. Sepanjang persoalan ini, kita meninjau sistem linear \(A\xvec=\bvec\) dan solusi hampiran kuadrat terkecil \(\xhat\text{,}\) dengan \(A\xhat=\bhat\text{.}\) Misalkan \(A\) adalah matriks \(m\times n\text{,}\) dan vektor berdimensi \(m\) dinyatakan dengan \(\onevec = \fourvec11{\vdots}1\text{.}\)
Varians vektor berdimensi \(m\text{,}\) yaitu \(\vvec\text{,}\) adalah \(\var(\vvec) = \frac1m \len{\widetilde{\vvec}}^2\text{,}\) dengan \(\widetilde{\vvec}\) adalah vektor yang diperoleh dengan memusatkan \(\vvec\text{.}\)
Pernyataan-pernyataan ini menunjukkan mengapa \(R^2\) terkadang dikatakan mengukur “fraksi varians yang dijelaskan” oleh fungsi yang kita gunakan untuk mencocokkan data. Seperti terlihat dalam latihan sebelumnya, mungkin terdapat ciri lain yang tidak dicatat dalam himpunan data tetapi memengaruhi besaran yang ingin kita prediksi.
