第5章線性參數(shù)最小二乘法處理最小二乘法是用于數(shù)據(jù)處理和誤差預(yù)計中一個很得力數(shù)學(xué)工具。對于從事精密科學(xué)試驗人們說來，應(yīng)用最小二乘法來處理一些實際問題，仍是當前必不可少伎倆。

第1頁第一節(jié)最小二乘法原理

最小二乘法發(fā)展已經(jīng)歷了200多年歷史，它最早起源于天文和大地測量需要，其后在許多科學(xué)領(lǐng)域里取得了廣泛應(yīng)用。尤其是近代矩陣理論與電子計算機相結(jié)合。使最小二乘法不停地發(fā)展而久盛不衰。最小二乘法產(chǎn)生是為了處理從一組測量值中尋求最可信賴值問題。第2頁一、問題背景

在測量試驗數(shù)據(jù)處理中，經(jīng)常需要依據(jù)兩個量一批觀察數(shù)據(jù)(xi，yi)，i=1，2，…，n求出這兩個變量Y與X之間所滿足一個函數(shù)關(guān)系式Y(jié)＝f(X)。若變量間函數(shù)形式依據(jù)理論分析或以往經(jīng)驗已經(jīng)確定好了，而其中有一些參數(shù)是未知，則可經(jīng)過觀察數(shù)據(jù)來確定這些參數(shù)；若變量間詳細函數(shù)形式還未確定，則需要經(jīng)過觀察數(shù)據(jù)來確定函數(shù)形式及其中參數(shù)。

第3頁一、問題背景在多數(shù)預(yù)計和曲線擬合問題中，不論是參數(shù)預(yù)計還是曲線擬合，都要求確定一些(或一個)未知量，使得所確定未知量能最好地適應(yīng)所測得一組觀察值，即對觀察值提供一個好擬合。處理這類問題最慣用方法就是最小二乘法。在一些情況下，即使函數(shù)值不是隨機變量，最小二乘法也可使用。

第4頁設(shè)X和Y兩個物理量之間函數(shù)關(guān)系為假定此函數(shù)關(guān)系f已知，但其中a1，a2，…，ak等參數(shù)還未求出，現(xiàn)對于X和Y有一批觀察數(shù)據(jù)：{xi，yi}，i＝1，2，…,n，要利用這批數(shù)據(jù)在一定法則之下作出這些參數(shù)a1，a2，…，ak預(yù)計。第5頁假設(shè)諸觀察值相互獨立且服從正態(tài)分布。在等精度觀察情況下，即認為各誤差服從相同正態(tài)分布N(0，σy)?，F(xiàn)在問題是一個參數(shù)預(yù)計問題：需要給出a1，a2，…，ak預(yù)計值，，…，。處理這類問題最慣用方法就是最小二乘法。在一些情況下，即使函數(shù)值不是隨機變量，最小二乘法也可使用。普通依據(jù)測量實際情況，可假設(shè)變量X測量沒有誤差(或與Y誤差相比很小，可略去)，而變量Y測量有誤差，故關(guān)于Y觀察值yi能夠?qū)懗蛇@里y0i表示xi對于Y變量真值，△i表示對應(yīng)測量誤差。第6頁二、最小二乘法準則與正規(guī)方程在參數(shù)預(yù)計問題中，最小二乘法法則是：所選取參數(shù)預(yù)計值，，…，應(yīng)使變量Y諸觀察值yi與其真值預(yù)計值(又叫擬合值)，即f(xi；a1,a2，…ak)之差平方和為最小。用式子表示時，記殘差νi為最小二乘法就是要求=最小在這個條件下，利用數(shù)學(xué)中求極值方法能夠求出參數(shù)，，…，。這么求出參數(shù)叫參數(shù)最小二乘預(yù)計。第7頁正規(guī)方程依據(jù)數(shù)學(xué)分析中求函數(shù)極值條件：=最小共得k個方程，稱正規(guī)方程，求此聯(lián)立方程解可得出諸參數(shù)預(yù)計值(j＝1，2，…，k)。第8頁不等精度情況下最小二乘法以上是等精度觀察情況，若諸觀察值yi是不等精度觀察，即它們服從不一樣方差σi2正態(tài)分布N(0，1)，那么也不難證實，在這種情況下，最小二乘法可改為：選取參數(shù)估值應(yīng)使諸觀察值yi與其預(yù)計值之差加權(quán)平方和為最小。用式子表示就是要使=最小其中，wi為各觀察值yi權(quán)。wi＝σ2／σi2，，i＝1，2，…，n。這里σ2為任選正常數(shù)，它表示單位權(quán)方差。第9頁不等精度情況下最小二乘法正規(guī)方程一樣地，依據(jù)數(shù)學(xué)分析中求函數(shù)極值條件：共得k個方程，稱正規(guī)方程，求此聯(lián)立方程解可得出諸參數(shù)預(yù)計值(j＝1，2，…，k)。第10頁最小二乘法幾何意義從幾何圖形上可看出,最小二乘法就是要在穿過各觀察點(xi，yi)之間找出這么一條預(yù)計曲線，使各觀察點到該曲線距離平方和為最小。YX第11頁三、最小二乘法與最大似然法關(guān)系假如假定各觀察值是相互獨立且服從正態(tài)分布，期望值是μ(xi；a1，a2，…，ak)，方差是σi2,則觀察值似然函數(shù)為最大似然法要求上式取極大值，這就相當于要求指數(shù)項中=最小這就說明了在觀察值服從正態(tài)分布條件下，最小二乘預(yù)計與最大似然預(yù)計是一致。第12頁觀察值不服從正態(tài)分布時最小二乘預(yù)計實質(zhì)上，按最小二乘條件給出最終止果能充分地利用誤差抵償作用，能夠有效地減小隨機誤差影響，因而所得結(jié)果含有最可信賴性。假若觀察值不服從正態(tài)分布，則最小二乘預(yù)計并不是最大似然預(yù)計。但應(yīng)該指出，在有些問題中觀察值即使不服從正態(tài)分布，但當樣本容量很大時，似然函數(shù)也趨近于正態(tài)分布，所以，這時使用最小二乘法和最大似然法實質(zhì)也是一致。第13頁不服從正態(tài)分布時最小二乘法統(tǒng)計學(xué)性質(zhì)若觀察值是服從正態(tài)分布，這時最小二乘法和最大似然法實際上是一回事。但觀察值不服從正態(tài)分布或其分布未知時，這時用最小二乘法顯得缺乏理論驗證。但應(yīng)該指出，作為一個公理來使用，最小二乘法依然是能夠接收，而且能夠證實，所得到預(yù)計依然含有一些很好統(tǒng)計性質(zhì)，這些性質(zhì)是：(1)解是無偏，即(2)解是觀察值線性組合，且有最小方差。這稱為高斯—馬爾可夫定理;(3)加權(quán)殘差平方和期望值是當σ2＝1，即取wi＝1/σi2，這時稱為χ2量。期望值為n－k。第14頁第二節(jié)線性參數(shù)最小二乘法普通情況下，最小二乘法能夠用于線性參數(shù)處理，也可用于非線性參數(shù)處理。因為測量實際問題中大量是屬于線性，而非線性參數(shù)借助于級數(shù)展開方法能夠在某一區(qū)域近似地化成線性形式。所以，線性參數(shù)最小二乘法處理是最小二乘法理論所研究基本內(nèi)容。第15頁一、線性參數(shù)測量方程普通形式

線性參數(shù)測量方程普通形式為（5-7）

對應(yīng)預(yù)計量為（5-8）

第16頁誤差方程其誤差方程為（5-9）

第17頁二、線性參數(shù)誤差方程式矩陣形式設(shè)有列向量和n×t階矩陣(n＞t)則線性參數(shù)誤差方程式(5—9)可表示為即（5-10）

第18頁等精度測量最小二乘原理矩陣形式即或（5-11）

（5-12）

殘余誤差平方和最小這一條件矩陣形式為第19頁不等精度測量最小二乘原理矩陣形式最小二乘原理矩陣形式為或（5-14）

（5-13）

式中P為n×n階權(quán)矩陣。線性參數(shù)不等精度測量還能夠轉(zhuǎn)化為等精度形式，從而能夠利用等精度測量時測量數(shù)據(jù)最小二乘法處理全部結(jié)果。第20頁三、線性參數(shù)最小二乘法正規(guī)方程為了取得更可取結(jié)果，測量次數(shù)n總要多于未知參數(shù)數(shù)目t，即所得誤差方程式數(shù)目總是要多于未知數(shù)數(shù)目。因而直接用普通解代數(shù)方程方法是無法求解這些未知參數(shù)。最小二乘法則能夠?qū)⒄`差方程轉(zhuǎn)化為有確定解代數(shù)方程組(其方程式數(shù)目恰好等于未知數(shù)個數(shù))，從而可求解出這些未知參數(shù)。這個有確定解代數(shù)方程組稱為最小二乘法預(yù)計正規(guī)方程(或稱為法方程)。

第21頁1．線性參數(shù)最小二乘法處理基本程序

線性參數(shù)最小二乘法處理程序可歸結(jié)為：（1）依據(jù)詳細問題列出誤差方程式；（2）按最小二乘法原理，利用求極值方法將誤差方程轉(zhuǎn)化為正規(guī)方程；（3）求解正規(guī)方程，得到待求預(yù)計量；（4）給出精度預(yù)計。對于非線性參數(shù)，可先將其線性化，然后按上述線性參數(shù)最小二乘法處理程序去處理。建立正規(guī)方程是待求參數(shù)最小二乘法處理基本步驟。第22頁2．等精度測量線性參數(shù)最小二乘法處理正規(guī)方程

線性參數(shù)誤差方程式為最小二乘法處理正規(guī)方程為（5-19）

這是一個t元線性方程組．當其系數(shù)行列式不為零時，有唯一確定解，由此可解得欲求預(yù)計量第23頁線性參數(shù)正規(guī)方程矩陣形式

正規(guī)方程(5—19)組，還可表示成以下形式表示成矩陣形式為第24頁線性參數(shù)正規(guī)方程矩陣形式（5-21）

又因有即（5-22）

若令則正規(guī)方程又可寫成（5-22）

（5-23）

若矩陣C是滿秩，則有第25頁數(shù)學(xué)期望

因式中Y、X為列向量(n×1階矩陣和t×l階矩陣)可見是X無偏預(yù)計。

其中矩陣元素Y1，Y2，…，Yn為直接量真值，而Xl，X2，…，Xn為待求量真值。第26頁例5—1在不一樣溫度下，測定銅棒長度以下表，試預(yù)計0℃時銅棒長度y0和銅線膨脹系數(shù)α。解：（1）列出誤差方程式中,li——在溫度ti下銅棒長度測得值；α——銅線膨脹系數(shù)。令y0＝a，αy0=b為兩個待預(yù)計參量，則誤差方程可寫為第27頁(2)列出正規(guī)方程為計算方便，將數(shù)據(jù)列表以下：將表中計算出對應(yīng)系數(shù)值代人上面正規(guī)方程得第28頁（3）求出待求預(yù)計量

求解正規(guī)方程解得待求預(yù)計量即第29頁按矩陣形式解算由正規(guī)方程，有第30頁則所以（4）給出試驗結(jié)果銅棒長度yt隨溫度t線性改變規(guī)律為第31頁3．不等精度測量線性參數(shù)最小二乘法處理正規(guī)方程

不等精度測量時線性參數(shù)誤差方程仍如上述式(5—9)一樣，但在進行最小二乘法處理時，要取加權(quán)殘余誤差平方和為最小，即用矩陣表示正規(guī)方程與等精度測量情況類似，可表示為（5-27）

即第32頁上述正規(guī)方程又可寫成（5-28）

該方程解，即參數(shù)最小二乘法處理為（5-29）

令則有（5-30）

第33頁例5—2某測量過程有誤差方程式及對應(yīng)標準差以下：

試求x1，x2最小二乘法處理正規(guī)方程解。解：（1）首先確定各式權(quán)第34頁（2）用表格計算給出正規(guī)方程常數(shù)項和系數(shù)（3）給出正規(guī)方程（4）求解正規(guī)方程組解得最小二乘法處理結(jié)果為第35頁四、最小二乘原理與算術(shù)平均值原理關(guān)系為了確定一個量X預(yù)計量x，對它進行n次直接測量，得到n個數(shù)據(jù)l1，l2，…，ln，對應(yīng)權(quán)分別為p1，p2，…，pn，則測量誤差方程為(5-35)第36頁其最小二乘法處理正規(guī)方程為(5-36)由誤差方程知a＝l，因而有可得最小二乘法處理結(jié)果(5-37)這正是不等精度測量時加權(quán)算術(shù)平均值原理所給出結(jié)果。第37頁對于等精度測量有

則由最小二乘法所確定預(yù)計量為此式與等精度測量時算術(shù)平均值原理給出結(jié)果相同。由此可見，最小二乘法原理與算術(shù)平均值原理是一致，算術(shù)平均值原理能夠看做是最小二乘法原理特例。第38頁第三節(jié)精度預(yù)計對測量數(shù)據(jù)最小二乘法處理最終止果，不但要給出待求量最可信賴預(yù)計量，而且還要確定其可信賴程度，即應(yīng)給出所得預(yù)計量精度。第39頁一、測量數(shù)據(jù)精度預(yù)計

為了確定最小二乘預(yù)計量X1，X2，…，Xt精度，首先需要給出直接測量所得測量數(shù)據(jù)精度。測量數(shù)據(jù)精度也以標準差σ來表示。因為無法求得σ真值，因而只能依據(jù)有限次測量結(jié)果給出σ預(yù)計值，所謂給出精度預(yù)計，實際上是求出預(yù)計值。第40頁（一）等精度測量數(shù)據(jù)精度預(yù)計

設(shè)對包含t個未知量n個線性參數(shù)方程組（5－7）進行n次獨立等精度測量，取得了n個測量數(shù)據(jù)l1，l2，…，ln。其對應(yīng)測量誤差分別為δ1，δ2，…，δn，它們是互不相關(guān)隨機誤差。因為普通情況下真誤差δ1，δ2，…，δn是未知，只能由殘余誤差νl，ν2，…，νn給出σ預(yù)計量。第41頁前面已證實是自由度為（n－t）χ2變量。依據(jù)χ2變量性質(zhì)，有（5-39）取（5-40）能夠證實它是σ2無偏預(yù)計量因為第42頁習(xí)慣上，式5-40這個預(yù)計量也寫成σ2，即（5-41）因而測量數(shù)據(jù)標準差預(yù)計量為（5-43）第43頁例5．3試求例5．1中銅棒長度測量精度。已知殘余誤差方程為將ti，li，值代人上式，可得殘余誤差為第44頁（二）不等精度測量數(shù)據(jù)精度預(yù)計

不等精度測量數(shù)據(jù)精度預(yù)計與等精度測量數(shù)據(jù)精度預(yù)計相同，只是公式中殘余誤差平方和變?yōu)榧訖?quán)殘余誤差平方和，測量數(shù)據(jù)單位權(quán)方差無偏預(yù)計為（5-44）

通常習(xí)慣寫成（5-45）

測量數(shù)據(jù)單位權(quán)標準差為（5-46）

第45頁二、最小二乘預(yù)計量精度預(yù)計最小二乘法所確定預(yù)計量X1，X2，…，Xt精度取決于測量數(shù)據(jù)精度和線性方程組所給出函數(shù)關(guān)系。對給定線性方程組，若已知測量數(shù)據(jù)l1，l2，…，ln精度，就可求得最小二乘預(yù)計量精度。

第46頁下面首先討論等精度測量時最小二乘預(yù)計量精度預(yù)計。設(shè)有正規(guī)方程現(xiàn)要給出由此方程所確定預(yù)計量xl，x2，…，xt精度。為此，利用不定乘數(shù)法求出xl，x2，…，xt表示式，然后再找出預(yù)計量xl，x2，…，xt精度與測量數(shù)據(jù)l1，l2，…，ln精度關(guān)系，即可得到預(yù)計量精度預(yù)計表示式。第47頁設(shè)d11，dl2，…，dlt；d2l，d22，…，d2t：…；dtl，dt2，…，dtt分別為以下各方程組解：第48頁則各預(yù)計量xl，x2，…，xt方差為（5-52）

對應(yīng)標準差為（5-53）

式中，σ為測量數(shù)據(jù)標準差。不等精度測量情況與這類似。

第49頁矩陣形式結(jié)果表示利用矩陣形式能夠更方便地取得上述結(jié)果。設(shè)有協(xié)方差矩陣(n×n階矩陣)式中第50頁等精度獨立測量若l1，l2，…，ln為等精度獨立測量結(jié)果，即且相關(guān)系數(shù)ρij=0，即Dlij=0協(xié)方差矩陣于是預(yù)計量協(xié)方差為第51頁式中各元素即為上述不定乘數(shù)，可由矩陣(ATA)求逆而得，或由式(5—51)求得。各預(yù)計量xl，x2，…，xt方差為第52頁不等精度測量一樣，也可得不等精度測量協(xié)方差矩陣式中σ——單位權(quán)標準差。矩陣式中各元素即為不定乘數(shù)，可由(ATPA)求逆得到，也可由式(5—54)求得。第53頁例5—4

試求例5—1中銅棒長度和線膨脹系數(shù)預(yù)計量精度

已知正規(guī)方程為測量數(shù)據(jù)li標準差為第54頁解：依據(jù)所給正規(guī)方程系數(shù)，可列出求解不定乘數(shù)方程組（1）列出求解不定乘數(shù)方程組，并求解分別解得第55頁（2）計算預(yù)計量a、b標準差可得預(yù)計量a、b標準差為因（3）求出y0、α標準差故有第56頁第四節(jié)組合測量最小二乘法處理

所謂組合測量，是指直接或間接測量一組被測量不一樣組合值，從它們相互組合所依賴若干函數(shù)關(guān)系中，確定出各被測量最正確預(yù)計值。

在精密測試工作中，組合測量占有十分主要地位。比如，作為標準量多面棱體、度盤、砝碼、電容器以及其它標準器檢定等，為了減小隨機誤差影響，提升測量精度，可采取組合測量方法。通常組合測量數(shù)據(jù)是用最小二乘法進行處理，它是最小二乘法在精密測試中一個主要應(yīng)用。第57頁組合測量應(yīng)用為簡單起見，現(xiàn)以檢定三段劃線間距為例，說明組合測量數(shù)據(jù)處理方法。如圖5—1所表示，要求檢定刻線A、B、C、D間距離x1、x2、x3。第58頁（1）測量方案及測量數(shù)據(jù)測量數(shù)據(jù)

組合測量方案第59頁（2）誤差方程依據(jù)測量方案列出誤差方程誤差方程矩陣形式（3）寫出誤差方程相關(guān)矩陣第60頁（4）求解預(yù)計量x1、x2、x3最正確預(yù)計值由式（5-24）得式中第61頁所以最終解得第62頁（5）計算各次測量誤差值

ν1=－0.013mmν2=0.002mmν3=0.007mmν4=0.005mmν5=－0.015mmν6=0.008mm將最正確預(yù)計值代入誤差方程得第63頁（6）計算各次測得數(shù)據(jù)標準差=0.000536mm3

因為是等精度測量，測得數(shù)據(jù)l1，l2．l3，l4，l5，l6標準差相同，為第64