最小二乘法綜述及算例一最小二乘法的歷史簡(jiǎn)介1801年，意大利天文學(xué)家朱賽普?皮亞齊發(fā)現(xiàn)了第一顆小行星谷神星。經(jīng)過(guò)40天的跟蹤觀測(cè)后，由于谷神星運(yùn)行至太陽(yáng)背后，使得皮亞齊失去了谷神星的位置。隨后全世界的科學(xué)家利用皮亞齊的觀測(cè)數(shù)據(jù)開始尋找谷神星，但是根據(jù)大多數(shù)人計(jì)算的結(jié)果來(lái)尋找谷神星都沒(méi)有結(jié)果。時(shí)年24歲的高斯也計(jì)算了谷神星的軌道。奧地利天文學(xué)家海因里希?奧爾伯斯根據(jù)高斯計(jì)算出來(lái)的軌道重新發(fā)現(xiàn)了谷神星。高斯使用的最小二乘法的方法發(fā)表于1809年他的著作《天體運(yùn)動(dòng)論》中。經(jīng)過(guò)兩百余年后，最小二乘法已廣泛應(yīng)用與科學(xué)實(shí)驗(yàn)和工程技術(shù)中，隨著現(xiàn)代電子計(jì)算機(jī)的普及與發(fā)展，這個(gè)方法更加顯示出其強(qiáng)大的生命力。二最小二乘法原理最小二乘法的基本原理是：成對(duì)等精度測(cè)得的一組數(shù)據(jù)丸X(i=1,2,...,n)，是找出一條最佳的擬合曲線，似的這條曲線上的個(gè)點(diǎn)的值與測(cè)量值的差的平方和在所有擬合曲線中最小。設(shè)物理量y與1個(gè)變量x1x2x間的依賴關(guān)系式為：J=/(%x2xa0a1婦。, ,..., , ,..., , , ,...,nn其中a0,%,...,an是n+l個(gè)待定參數(shù)，記s=^Q_乂T其中匕是測(cè)量值，匕是由己求i=1得的a0a1a以及實(shí)驗(yàn)點(diǎn)(xx...,xv)(i=1,2,...,m)得出的函數(shù)值,,...,nn ,￡, ,J=f(x.|x.,x.,a.aa)。i1,i2,...,il;0,1,...,n。在設(shè)計(jì)實(shí)驗(yàn)時(shí)，為了減小誤差，常進(jìn)行多點(diǎn)測(cè)量，使方程式個(gè)數(shù)大于待定參數(shù)的個(gè)數(shù),此時(shí)構(gòu)成的方程組稱為矛盾方程組。通過(guò)最小二乘法轉(zhuǎn)化后的方程組稱為正規(guī)方程組(此時(shí)方程式的個(gè)數(shù)與待定參數(shù)的個(gè)數(shù)相等)。我們可以通過(guò)正規(guī)方程組求出a最小二乘法又稱曲線擬合，所謂“擬合”即不要求所作的曲線完全通過(guò)所有的數(shù)據(jù)點(diǎn),只要求所得的曲線能反映數(shù)據(jù)的基本趨勢(shì)。三曲線擬合曲線擬合的幾何解釋：求一條曲線，使數(shù)據(jù)點(diǎn)均在離此曲線的上方或下方不遠(yuǎn)處。(1)一元線性擬合設(shè)變量y與x成線性關(guān)系J=a0+a1x,先已知m個(gè)實(shí)驗(yàn)點(diǎn)％匕.(1=1,2,...,m)，求兩個(gè)未知參數(shù)a0,a1。令s=2E偵―a0-a1x./，則a0,a1應(yīng)滿足￡=0,1=0,1。I=1 1即

ds仁頂/奇=-2乙(y」a0—陽(yáng))=00 i=1ds 頂,ds仁頂/奇=-2乙(y」a0—陽(yáng))=00 i=1ds 頂,方=—2乙(y，_a0-a1xi)=01 i=1化簡(jiǎn)得a0+m卒?=mai=1 i=1a0邑x?+a1邑xyi=1 i=1從中解出m^x*_￡x無(wú)y、a—i= t1=m￡x.2ii=1\i=1a0=m"南孕i=1 i=1(2)多元線性擬合i=1Jxxxz設(shè)變量y與n個(gè)變量L2…，nnZD的內(nèi)在聯(lián)系是線性的，y=a+^a1xjj=1設(shè)Xj的第i次測(cè)量值為4〃?，對(duì)應(yīng)的函數(shù)值為yi=(i-1,2,...,m)，有下式則偏差平方和s=尤(y」y「T=尤(y._a0_a1x)i=1 i=1為使s去得最小值的方程組ds布ds<da1 i=1=—2^[y」a0_￡a1x]

i=1 J"1=-2尤[y-a0_￡ajxJxi1=0j=1dsdan=_2藝(y,一a

i=10一逆xJX

j=1inma°+￡仔x..]

j=1i=1aj=￡*i=1i=1xxj=1Xi=1 J將實(shí)驗(yàn)數(shù)據(jù)(xjy)代入(4)式，即得a0,a15_,ano

（3）多項(xiàng)式擬合科學(xué)實(shí)驗(yàn)后得到一組數(shù)據(jù)時(shí)，常會(huì)遇到因變量^與自變量x之間根本不存在線性關(guān)系。此可以考慮用一個(gè)n次多項(xiàng)式來(lái)擬合y與x之間的函數(shù)關(guān)系。對(duì)于n次多項(xiàng)式J（3）多項(xiàng)式擬合科學(xué)實(shí)驗(yàn)后得到一組數(shù)據(jù)時(shí)，常會(huì)遇到因變量^與自變量x之間根本不存在線性關(guān)系。此可以考慮用一個(gè)n次多項(xiàng)式來(lái)擬合y與x之間的函數(shù)關(guān)系。對(duì)于n次多項(xiàng)式J=咒"，令x.=xi（.=0,1,...,n），則可將其化為線性形式：i=0^ny=a0+^ajxjj=1對(duì)于1=1,2,...,皿個(gè)實(shí)驗(yàn)點(diǎn)有x..=xj，代入（3）式有a.=&i=1￡腭°+x\^xxikli=1 j=1*i=1 /k=1,2,...,naj=乙斜i=1從而得出多項(xiàng)式的最小二乘法擬合的方程工仔xj+幾.i=1ii=1i^寫成矩陣的形式即為i=l^xky. k=0,1,...,ni=1乙.ii=1乙.ii=1二2ii=1乙2ii=1乙3ii=1乙n+1ii=1"ii=1從中可以解出a0,a1,...,（4）指數(shù)函數(shù)擬合乙n+2ii=1尹1JxnJ1ii=1(a1?iKxn+1ii=0a1：^xiyii=1T.項(xiàng)x2nIanJ...乙nyi"Ji=1"i=1iJ此時(shí)擬合函數(shù)具有形式y(tǒng)=aebx（a，b為待定系數(shù)）。兩端取自然對(duì)數(shù)有l(wèi)ny=lna+bx(*)令Y=Inyb°=Ina則（*）式化為線性形式Y(jié)=b0+bx再利用（1）式和（2）式，即可求出b0,b。從而有a=eb。。故y=ebo+bx。四最小二乘法應(yīng)用舉例例：已知某銅棒的電阻與溫度關(guān)系為：R=R+a-1。實(shí)驗(yàn)測(cè)得7組數(shù)據(jù)（見表1）如下:試用最小二乘法求出參量R0、a以及確定它們的誤差。

表1t/°C | 19.1 25.1 30.1 36.0 40.0 45.1 50.1Rt/Q76.30 77.80 79.75 80.80 82.35 83.90 85.10此例中只有兩個(gè)待定的參量R0和a,為得到它們的最佳系數(shù)，所需要的數(shù)據(jù)有n、￡x、￡y、￡x2、￡y2和￡xy六個(gè)累加數(shù)，為此在沒(méi)有常用的科學(xué)型計(jì)算器時(shí)，通過(guò)列i i i ii表計(jì)算的方式來(lái)進(jìn)行，這對(duì)提高計(jì)算速度將會(huì)有極大的幫助（參見表2）,并使工作有條理與不易出錯(cuò)。其中表內(nèi)雙線右邊的計(jì)算是為了確定R0和a的誤差項(xiàng)用的。表2it/C(xi)R/。('yi)txt(x2i)RtxRt(y2j)tXRt(xiyz-)R計(jì)算/。u./。U.2X10-4I119.176.30364.85821.71457.376.26+0.0416225.177.80630.06052.81952.877.99-0.19361330.179.75906.06360.12400.579.43+0.321024436.080.801296.06528.62908.881.13-0.331089540.082.351600.06781.53294.082.28+0.0749645.183.902034.07039.23783.983.75+0.15225750.185.102510.07242.04263.585.19-0.0981n=7￡x=i245.5￡y=i566.00￡x2=i9340.8￡y2=i45826￡x.y.二20060.8￡V2=i2845X10-4根據(jù)表2中所求得的數(shù)據(jù)，代入公式(12))則可得：a=k=7x20060.8一245.5x566.°。=J472^=0.28788。/。。7x9340.8-(245.5)2 5115.35R°=b=56；?！?0.28788-^5=70.76078Q把測(cè)量數(shù)據(jù)代入式（13）和（15）中可求出相關(guān)系數(shù)y= .,.'[￡Xy= .,.'[￡X2

■-i￡xy-1￡x￡yiinii-1(￡x)2].[￡y2-1(￡n20060.8-空W0= 7y)2] '[9340.8-(245,5)2]x[(45826-(566'00)2)]i 7 7=0.28788=0.28788xi￡y2--(￡y,)29340.8-(245.5)2 7——=0.9975745826-(566.00)27說(shuō)明：電阻Rt與溫度t的線性關(guān)系良好，所以取R0的有效數(shù)字與R對(duì)齊，即R0=70.76。；又因?yàn)閠~t1=31.0C，R7-R1=8.80。，取k有效數(shù)字為以上兩個(gè)差值中較少的位數(shù)3位，則k=0.288。/。。。由此可以得到電阻與溫度的相關(guān)關(guān)系為：R{=70.76+0.288,按補(bǔ)充資料中的公式計(jì)算k和b的不確定度，可得S=Sr:￡v2 .'2845x10-4=0.239(Q)7—2Sk=S0.239=0.239x0.03699=0.0088(Q/°C),■9340.8-半9340.8 ?—=0.0088x： =0.33(Q)n \ 7=(70.76土0.33)Q=(70.8土0.3)Q，=