.....本科生畢業(yè)論文〔設(shè)計(jì)系〔院數(shù)學(xué)與信息科學(xué)學(xué)院專業(yè)數(shù)學(xué)與應(yīng)用數(shù)學(xué)論文題目最小二乘法的應(yīng)用研究學(xué)生姓名曹人月指導(dǎo)教師馮新磊〔副教授〔姓名及職稱班級(jí)2011級(jí)〔本3級(jí)學(xué)號(hào)11310137完成日期：二0一五年四月.....最小二乘法的應(yīng)用研究曹人月數(shù)學(xué)與信息科學(xué)學(xué)院數(shù)學(xué)與應(yīng)用數(shù)學(xué)11310137[摘要]文中簡(jiǎn)單闡述了最小二乘法的原理,對(duì)利用最小二乘原理的幾種簡(jiǎn)單擬合曲線進(jìn)行了討論,包括：一元線性擬合、多元線性擬合、多項(xiàng)式擬合、指數(shù)函數(shù)擬合等,并利用程序?qū)€性最小二乘擬合進(jìn)行了實(shí)現(xiàn).[關(guān)鍵詞]最小二乘法擬合應(yīng)用1引言最小二乘法最早出現(xiàn)在1805年,由天文學(xué)家勒讓德發(fā)表在論著《計(jì)算彗星軌道的新方法》附錄中,但作為一種計(jì)算方法,其在應(yīng)用數(shù)學(xué)領(lǐng)域還屬于萌芽階段.直至1809年,數(shù)學(xué)家高斯從純代數(shù)的角度進(jìn)行研究,才形成了經(jīng)典最小二乘法理論.隨著社會(huì)的不斷發(fā)展與進(jìn)步,數(shù)學(xué)與計(jì)算機(jī)技術(shù)的有效結(jié)合,使得最小二乘法在各個(gè)領(lǐng)域得到了飛速的發(fā)展.如今,最小二乘法的理論研究已經(jīng)比較成熟,逐漸分化成各種較為專業(yè)的方向.現(xiàn)有最小二乘理論都是基于經(jīng)典最小二乘理論而形成,其普遍存在實(shí)際計(jì)算操作較為復(fù)雜的弊端,為此文中將其與現(xiàn)代數(shù)學(xué)軟件結(jié)合,使其更加適用于實(shí)際生活.2最小二乘法的原理在實(shí)驗(yàn)中,每當(dāng)我們研究一組變量時(shí),通常會(huì)得到一系列的測(cè)量點(diǎn).為了研究它們的變化趨勢(shì),將所有測(cè)量點(diǎn)畫在坐標(biāo)系中,找出相應(yīng)的擬合函數(shù),使得所有測(cè)量點(diǎn)距離曲線最近.為了便于研究,我們選擇對(duì)直線擬合〔其中,為待估參數(shù)這種簡(jiǎn)單情況進(jìn)行討論.若,為變量的測(cè)量值,,表示測(cè)量值的"真實(shí)值"〔即最佳估計(jì)值,表示相應(yīng)的誤差.現(xiàn)用測(cè)量值,來估計(jì)參數(shù),從而實(shí)現(xiàn)直線擬合.要使所有測(cè)量點(diǎn)距離最近,則實(shí)際點(diǎn)到測(cè)量點(diǎn)的距離最小.故擬合準(zhǔn)則為.由微分學(xué)求極值的原理可知：要使達(dá)到最小值,只須,.由此,可求得參數(shù),.推導(dǎo)一假設(shè),即測(cè)量值的橫坐標(biāo)沒有誤差.此時(shí)擬合準(zhǔn)則為.即測(cè)量點(diǎn)與對(duì)應(yīng)點(diǎn)縱坐標(biāo)差的平方和取得最小值.推導(dǎo)二假設(shè),即測(cè)量值的縱坐標(biāo)沒有誤差.此時(shí)擬合準(zhǔn)則為.即測(cè)量點(diǎn)與對(duì)應(yīng)點(diǎn)橫坐標(biāo)差的平方和取得最小值.推導(dǎo)三假設(shè),,即測(cè)量值的橫、縱坐標(biāo)都有誤差.此時(shí)擬合條件為.其中,為測(cè)量值在軸和軸上的誤差,即此時(shí)的幾何意義為測(cè)量點(diǎn)到擬合曲線最短距離.這三種推導(dǎo)都是現(xiàn)有的最小二乘理論,其中最常用的是第一種.通過推導(dǎo),我們可以看到無論哪種理論在估計(jì)精度上都不可能達(dá)到百分之百,并且隨著擬合情況的復(fù)雜化,在曲線擬合化為直線擬合的過程中又會(huì)進(jìn)一步產(chǎn)生誤差.因此,從結(jié)果準(zhǔn)確度考慮,我們?cè)谑褂米钚《朔〞r(shí)應(yīng)盡可能地避免計(jì)算誤差.3擬合函數(shù)的確定在了解最小二乘法的原理后,我們可以知道在現(xiàn)實(shí)生活中,只要任意的給定兩個(gè)變量,的一組測(cè)量數(shù)據(jù),都可以通過最小二乘法進(jìn)行強(qiáng)行擬合,從而將毫無關(guān)系的數(shù)據(jù)變?yōu)榫€性關(guān)系.但這條直線,并不一定有效地反映測(cè)量數(shù)據(jù)之間的關(guān)系以及未來的發(fā)展趨勢(shì).為此,我們一方面可以建立在已有經(jīng)驗(yàn)的基礎(chǔ)上選擇有意義的方程,另一方面我們應(yīng)該對(duì)擬合效果和實(shí)際情況進(jìn)行比對(duì),從而確定最佳的擬合方式,真實(shí)有效地反映測(cè)量數(shù)據(jù)間的實(shí)際關(guān)系.因此,我們可以采用相關(guān)系數(shù)法對(duì)變量,的線性相關(guān)程度進(jìn)行檢驗(yàn).公式如下〔即為和的相關(guān)系數(shù),,,,,.結(jié)合相關(guān)系數(shù)公式,我們可以得殘差平方和.由于我們可知,即.因此,越接近,的值就越接近,和的線性關(guān)系就越好.例1人口增長(zhǎng)問題日益突出,有關(guān)部門做出了世界人口統(tǒng)計(jì).表1世界人口數(shù)表年196019611962196319641965196619671968人口29.7230.6131.5132.1334.3432.8533.5634.2034.83解對(duì)表中數(shù)據(jù)直接用線性關(guān)系強(qiáng)行擬合,根據(jù)最小二乘原理,即有殘差平方和.令得即,所以生產(chǎn)量與年份關(guān)系滿足線性關(guān)系.從表中我們可以明顯的看出人口與年份呈現(xiàn)遞增關(guān)系,而直接采用線性擬合得出的卻是遞減關(guān)系,這明顯是不符合實(shí)際情況的.出現(xiàn)這種反差的原因就在于沒有考慮散點(diǎn)圖的發(fā)展趨勢(shì),隨意選取擬合曲線進(jìn)行強(qiáng)行擬合.因此,我們?cè)趯?duì)實(shí)驗(yàn)數(shù)據(jù)進(jìn)行擬合的時(shí)候,必須依據(jù)散點(diǎn)圖的發(fā)展趨勢(shì)來選擇正確的擬合曲線,并對(duì)擬合函數(shù)進(jìn)行相關(guān)性檢驗(yàn).在后面第九部分中,對(duì)該例題中擬合曲線的選取進(jìn)行了詳細(xì)的演示.4一元線性擬合例2測(cè)得某電阻線在溫度時(shí)的電阻如表2所示.表2電阻隨溫度變化表i123456719.125.030.136.040.045.150.076.3077.8079.2580.8082.3583.9085.10解將表中的點(diǎn)描在直角坐標(biāo)系中,發(fā)現(xiàn)電阻隨時(shí)間的變化趨勢(shì)近似于一條直線.圖1電阻隨時(shí)間變化圖我們可以將其看作一元線性關(guān)系,即有成立.我們可以發(fā)現(xiàn),無論,取何值,都不可能使以上方程組成立,只能找到一組參數(shù),使誤差達(dá)到極小.在這里,將與看作一元線性關(guān)系,由題知有個(gè)實(shí)驗(yàn)點(diǎn),利用最小二乘法原理進(jìn)行一元線性擬合即能求兩個(gè)未知參數(shù),.法一令,則,應(yīng)該滿足,.即,化簡(jiǎn)得,解得.此題中,代入上述解即可得到相應(yīng)的,.法二將代入得.令,.則可將方程組改寫為,即得,所以有.將相應(yīng)數(shù)據(jù)代入即可得到,.5多元線性擬合當(dāng)影響變量的因素不止一個(gè),而是有〔>1個(gè)變量時(shí),我們通過次測(cè)量可以得到下表.表3對(duì)進(jìn)行次測(cè)量表編號(hào)……1……2………………則變量與變量之間的線性關(guān)系為.誤差平方和.分別對(duì)參數(shù)求偏導(dǎo)得.化簡(jiǎn)得.把測(cè)量數(shù)據(jù)代入化簡(jiǎn)結(jié)果就能得到.6多項(xiàng)式擬合在現(xiàn)實(shí)生活中的數(shù)據(jù)很可能不是線性變化的,這時(shí)我們以次多項(xiàng)式來擬合與的函數(shù)關(guān)系.若令,即能實(shí)現(xiàn)曲線化直,得到.對(duì)個(gè)測(cè)量值有,將其代入.得多項(xiàng)式擬合正規(guī)方程.矩陣形式為.求解該矩陣便可得到.7能轉(zhuǎn)化為線性擬合的非線性擬合線性最小二乘擬合在選定擬合函數(shù)類后,待定參數(shù)全部為線性.其中一元線性擬合和簡(jiǎn)單的多項(xiàng)式擬合是最常見的線性擬合形式.但實(shí)際應(yīng)用中,有些情況下得出的數(shù)據(jù)分布〔散點(diǎn)圖所呈的曲線形狀,用多項(xiàng)式擬合并不能反應(yīng)數(shù)據(jù)的變化趨勢(shì),需以指數(shù)、雙曲線、反比例等類型的函數(shù)去擬合,這時(shí)的待定參數(shù)可能為非線性,我們依然以誤差向量的二次方最小為擬合原則,因此稱為非線性最小二乘擬合.我們可以通過變量代換、取對(duì)數(shù)等方法將非線性模型轉(zhuǎn)變?yōu)榫€性模型,繼而用線性擬合對(duì)測(cè)量數(shù)據(jù)進(jìn)行處理.對(duì)于實(shí)際的曲線擬合問題,一般先在直角坐標(biāo)系上描出相應(yīng)散點(diǎn)圖,觀察散點(diǎn)圖整體形狀,選用相近的曲線表達(dá)式作為擬合方程,再通過適當(dāng)?shù)淖兞看鷵Q就能把非線性的擬合轉(zhuǎn)化為線性擬合問題.下表列舉了幾類非線性擬合轉(zhuǎn)變?yōu)榫€性擬合的情況.表4非線性擬合轉(zhuǎn)變?yōu)榫€性擬合表曲線擬合方程變換關(guān)系變換后的線性擬合方程,,在科學(xué)實(shí)驗(yàn)和生產(chǎn)實(shí)踐中,為了使數(shù)據(jù)擬合更符合實(shí)際情況,我們需要根據(jù)已有的知識(shí)和散點(diǎn)圖的分布形狀來選擇適當(dāng)?shù)那€.觀察散點(diǎn)圖形狀,若形狀接近于直線,可采用一元線性函數(shù)擬合；若形狀接近于拋物線,可采用二次多項(xiàng)式擬合；若形狀特點(diǎn)是開始曲線上升較快,隨后逐漸變慢,可采用雙曲線型函數(shù)或指數(shù)型函數(shù)進(jìn)行擬合.8用MATLAB實(shí)現(xiàn)最小二乘法作為一種科學(xué)計(jì)算軟件,不僅具有強(qiáng)大的矩陣計(jì)算和數(shù)據(jù)可視化能力,其在數(shù)值分析、優(yōu)化、數(shù)據(jù)擬合、圖像處理等領(lǐng)域也具有明顯優(yōu)勢(shì).中的線性最小二乘擬合一般是對(duì)多項(xiàng)式進(jìn)行擬合,可以將其看作函數(shù)的線性組合.常用的線性最小二乘擬合函數(shù)有.函數(shù)的調(diào)用格式為a=polyfit<x,y,m>%對(duì)給定數(shù)據(jù)做a=polyfit<x,y,m>%對(duì)給定數(shù)據(jù)做m次多項(xiàng)式擬合y=polyval<a,x>%調(diào)用擬合出來的多項(xiàng)式計(jì)算在x處的值,即求預(yù)測(cè)值說明——同長(zhǎng)度的數(shù)組,需要擬合的實(shí)驗(yàn)數(shù)據(jù)；——輸出擬合多項(xiàng)式系數(shù),從高次到低次；——擬合多項(xiàng)式次數(shù).例3測(cè)得12名高中生的身高與腿長(zhǎng)的測(cè)量數(shù)據(jù)如表4.表4身高與腿長(zhǎng)測(cè)量數(shù)據(jù)表身高145146148150152154156157158159161162腿長(zhǎng)85879091929498989699100101試研究身高與腿長(zhǎng)的關(guān)系.并預(yù)測(cè)身高為149,155,163的學(xué)生的腿長(zhǎng)為多少？解在輸入以下程序x=[145146148150152154156157158159161162];y=[85879091929498989699100101];x=[145146148150152154156157158159161162];y=[85879091929498989699100101];plot<x,y,'o'>;得到身高腿長(zhǎng)散點(diǎn)圖如下圖2腿長(zhǎng)隨身高變化散點(diǎn)圖觀察散點(diǎn)圖,腿長(zhǎng)隨身高變化類似于直線變化,因此選擇一元線性擬合.線性擬合程序如下x=[145146148150152154156157158159161162];y=[85879091929498989699100101];x=[145146148150152154156157158159161162];y=[85879091929498989699100101];plot<x,y,'o'>;%繪制散點(diǎn)圖a=polyfit<x,y,1>;%做1次多項(xiàng)式擬合z=polyval<a,x>%求預(yù)測(cè)值plot<x,y,'o',x,z,'r-'>%擬合效果對(duì)比圖xlabel<'身高'>,ylabel<'腿長(zhǎng)'>經(jīng)程序運(yùn)行后得到參數(shù)=0.8913,=-43.0109.將身高149,155,163分別代換程序中的z=polyval<a,x>中的,再刪除程序z=polyval<a,x>之后的代碼,運(yùn)行即得到,,.即身高149,155,163的學(xué)生腿長(zhǎng)分別為90,95,102.圖3腿長(zhǎng)隨身高變化擬合對(duì)比圖9應(yīng)用最小二乘法的幾個(gè)問題最小二乘法在數(shù)據(jù)處理方面效果顯著,但使用中極易出現(xiàn)誤差,甚至造成錯(cuò)誤的結(jié)果.因此,在使用時(shí)應(yīng)注意以下幾個(gè)問題.⑴慎重選擇擬合關(guān)系在實(shí)際問題中,選擇適當(dāng)?shù)臄M合關(guān)系是一項(xiàng)十分慎重的工作.我們必須借助已有的知識(shí)經(jīng)驗(yàn),認(rèn)真觀察實(shí)驗(yàn)數(shù)據(jù)的散點(diǎn)圖,選擇恰當(dāng)?shù)臄M合曲線,必要時(shí)可以選擇幾條曲線對(duì)比擬合結(jié)果后選擇最佳曲線.⑵自變量的選擇在實(shí)際工作中,對(duì)變量采用不同的擬合原則,結(jié)果會(huì)不一樣.我們可以根據(jù)變量的誤差情況靈活選擇擬合原則.特別注意當(dāng)兩個(gè)變量都有誤差時(shí),應(yīng)使用雙變量最小二乘原則進(jìn)行處理.⑶加權(quán)最小二乘法在實(shí)驗(yàn)測(cè)量值非等精度情況下,加權(quán)最小二乘法能不同程度的消除誤差因素,使結(jié)果更加準(zhǔn)確可靠.設(shè)擬合函數(shù)為,當(dāng)?shù)闹禐闀r(shí),的實(shí)測(cè)值為.取,加權(quán)差平方和為.上式中的為個(gè)實(shí)驗(yàn)點(diǎn)的權(quán)重因子,因此,要得到較高精度的擬合參數(shù)只需選取合適的權(quán)重因子即可.10最小二乘法的應(yīng)用舉例例4人口增長(zhǎng)問題日益突出,有關(guān)部門做出了世界人口統(tǒng)計(jì).表5人口數(shù)隨年份變化表年196019611962196319641965196619671968人口29.7230.6131.5132.1334.3432.8533.5634.2034.83解在中輸入t=[196019611962196319641965196619671968];N=[29.7230.6131.5132.1332.3432.8533.5634.2034.83];t=[196019611962196319641965196619671968];N=[29.7230.6131.5132.1332.3432.8533.5634.2034.83];plot<t,N,'*'>;xlabel<'年份'>,ylabel<'人口數(shù)'>得到人口數(shù)隨年份變化的散點(diǎn)圖4.從圖4看出,人口數(shù)隨年份變化類似于指數(shù)函數(shù)變化趨勢(shì),由此選擇指數(shù)函數(shù)作為擬合函數(shù).按照上述非線性擬合變換方法,將其轉(zhuǎn)變?yōu)橐辉€性擬合函數(shù)〔.每年的人口數(shù)在取自然對(duì)數(shù)后得表6.圖4人口數(shù)隨年份變化散點(diǎn)圖表6人口數(shù)轉(zhuǎn)換表1234567893.3923.4213.4503.4703.4763.4923.5133.5323.551下面計(jì)算與的相關(guān)系數(shù),檢驗(yàn)其相關(guān)性.,,,.通過計(jì)算可以看到相關(guān)系數(shù)與非常接近,說明與存在強(qiáng)相關(guān)關(guān)系,也就是說我們選取的擬合曲線能夠反映數(shù)據(jù)的發(fā)展趨勢(shì).在中輸入t=[196019611962196319641965196619671968];N=[29.7230.6131.5132.1332.3432.8533.5634.2034.83];t=[196019611962196319641965196619671968];N=[29.7230.6131.5132.1332.3432.8533.5634.2034.83];y=log<N>;plot<t,y,'*'>;a=polyfit<t,y,1>;z=polyval<a,t>plot<t,y,'*',t,z,'r-'>xlabel<'年份'>,ylabel<'人口數(shù)'>得到參數(shù),=0.0186.在沒有其他影響情況下,要預(yù)測(cè)未來的人口變化,只需將相應(yīng)年份〔如：2015代入以下程序運(yùn)行即可得到相應(yīng)的人口數(shù)〔2015年世界人口數(shù)=83.5734.t=[196019611962196319641965196619671968];t=[196019611962196319641965196619671968];N=[29.7230.6131.5132.1332.3432.8533.5634.2034.83];y=log<N>;a=polyfit<t,y,1>;z=polyval<a,2015>;m=exp<z>圖5人口數(shù)隨年份變化擬合對(duì)比圖例5某公司一年12個(gè)月內(nèi)的貨物銷售量如下表.表7某公司12個(gè)月貨物銷售量月123456789101112銷量59857817504941621934726775815389293175305解在中輸入xx=[123456789101112];y=[59857817504941621934726775815389293175305];plot<x,y,'*'>;xlabel<'月份'>,ylabel<'銷售量'>得到銷售量隨月份變化散點(diǎn)圖.圖6銷售量隨月份變化散點(diǎn)圖從散點(diǎn)圖看出銷售量隨月份變化類似于反比例關(guān)系,我們選函數(shù)來表示銷售量與月份之間的關(guān)系.令,得線性擬合函數(shù).檢驗(yàn)相關(guān)性得,說明銷售量和呈強(qiáng)相關(guān)關(guān)系.利用以下程序x=[123456789101112];x=[123456789101112];y=[59857817504941621934726775815389293175305];plot<x,y,'*'>;u=1./x;a=polyfit<u,y,1>得到參數(shù),.例6在一次物理實(shí)驗(yàn)中,某同學(xué)記錄小車的直線運(yùn)動(dòng)路程隨時(shí)間變化情況如下表,假如加速度為常數(shù),求該小車的初速度和加速度.表8小車的路程隨時(shí)間變化表時(shí)間00.91.93.03.95.0路程010305080110解由以有經(jīng)驗(yàn)可知路程與時(shí)間滿足如下關(guān)系.選擇二次多項(xiàng)式.利用程序?qū)ζ溥M(jìn)行擬合t=[00.91.93.03.95.0];s=[010305080110];t=[00.91.93.03.95.0];s=[010305080110];a=polyfit<t,s,2>得到參數(shù),,.即題中所求初速度為11.0814,加速度為4.4976.[參考文獻(xiàn)][1]賈小勇,徐傳勝,白欣.最小二乘法的創(chuàng)立及其思想[2]華東師范大學(xué)數(shù)學(xué)系.數(shù)學(xué)分析[M]