PAGEPAGE3第十八講全面最小二乘法一、法向回歸一組測(cè)量數(shù)據(jù),欲擬和直線最小二乘法實(shí)行目標(biāo)函數(shù)：它隱含了在測(cè)量中，是精確測(cè)量的,只有才測(cè)得不精準(zhǔn)，而在實(shí)際測(cè)量中，,都是無法精準(zhǔn)測(cè)量的，因此，采納法向回歸更有可能。點(diǎn)到直線的距離為故法向回歸的目標(biāo)函數(shù)為將代入之，可得其中另一種推導(dǎo)方法：“"中，“－”對(duì)應(yīng)的E的最大值作為比較,最小二乘法給出7點(diǎn)測(cè)量擬合直線解：計(jì)算結(jié)果最小二乘法給出全面最小二乘法（法向回歸）給出測(cè)量數(shù)據(jù)誤差小，分布合理時(shí)，兩種方法效果格外接近。二、全面最小二乘法（TotallyLeastSquareMethod）當(dāng)方程成為沖突方程時(shí),采納最小二乘法求解的觀點(diǎn)實(shí)際上認(rèn)為b存在誤差,而A不存在誤差，故應(yīng)有，使得應(yīng)盡量小以使得不至于嚴(yán)重得破壞方程全面最小二乘法實(shí)行如下觀點(diǎn)解決沖突方程的問題，不僅b存在誤差,A也存在誤差，故，存在E和，使也應(yīng)該盡量小，以使得不至于嚴(yán)重偏離原方程記，則全面最小二乘解即求如下方程的非零解v，且v的最后重量不能為零,而其中應(yīng)滿意引理：設(shè),且存在奇異值分解，,其中。又設(shè)則首先來考慮F-范數(shù)。設(shè)分別為m階、n階酉矩陣。Q為階矩陣（上式不肯定是奇異值分解）。則（依據(jù)教材上的說法，正交相抵或酉相抵的矩陣與F范數(shù)相同）,又令，則對(duì)任意z矩陣而言，各之間完全獨(dú)立，則是可能等于零的。但是.故不行能為零。簡(jiǎn)略論證可知時(shí),最小下面僅考慮在實(shí)際應(yīng)用中非常常見的一種情況：，，即A是列滿秩的，也是列滿秩的。這樣，系數(shù)矩陣與增廣矩陣的秩不相等，方程不相容。定理1：設(shè)具有如下的奇異值分解則使方程具有非零解，且F范數(shù)最小的存在，并且證明：方程要有非零解，必須，故由引理知顯然滿意定理2：設(shè)為C的n-k+1重奇異值，且相應(yīng)的為的屬于重特征值的正交歸一特征向量，則使方程具有非零的解且F范數(shù)最小的為而方程的解則為，其中證：（1）顯然（2）（3)雖然， 定理3：在定理2的條件下，全面最小二乘解存在的充要條件為：向量不正交于。此時(shí),，則最小二乘解為說明：（1)最小二乘解肯定存在，但全面最小二乘解不肯定（2）存在全面最小二乘解時(shí)，若為C的單重奇異值，全面最小二乘解唯一,否則，解不唯一例2.采納全面最小二乘法重新