1、-. z.編號(hào)2009011121畢 業(yè) 論 文 (設(shè) 計(jì))2013屆本科 論文題目: 對(duì)最小二乘法的探究 學(xué) 院: 數(shù)學(xué)與統(tǒng)計(jì)學(xué)院專 業(yè): 數(shù)學(xué)與應(yīng)用數(shù)學(xué) 班 級(jí): 2009級(jí)本科1班作者*: 凱指導(dǎo)教師: 史 存 琴 職稱：講 師完成日期: 2013 年 5 月 10 日目 錄TOC o 1-3 h u 隴東學(xué)院本科畢 HYPERLINK l _Toc27297 業(yè)論文設(shè)計(jì)誠(chéng)信說明 PAGEREF _Toc27297 1 HYPERLINK l _Toc7605 摘 要 PAGEREF _Toc7605 2 HYPERLINK l _Toc15970 關(guān)鍵詞 PAGEREF _Toc159

2、70 2 HYPERLINK l _Toc21459 1 最小二乘法的歷史簡(jiǎn)介 PAGEREF _Toc21459 2 HYPERLINK l _Toc32132 2 探究最小二乘法的意義 PAGEREF _Toc32132 2 HYPERLINK l _Toc4373 3 最小二乘法的定義 PAGEREF _Toc4373 3 HYPERLINK l _Toc30821 4 最小二乘法的原理 PAGEREF _Toc30821 4 HYPERLINK l _Toc8348 5 應(yīng)用最小二乘法解決實(shí)際問題 PAGEREF _Toc8348 5 HYPERLINK l _Toc245 5.1多項(xiàng)

3、式擬合實(shí)例 PAGEREF _Toc245 5 HYPERLINK l _Toc15009 5.2一元線性擬合實(shí)例 PAGEREF _Toc15009 5 HYPERLINK l _Toc3175 5.3非線性擬合實(shí)例 PAGEREF _Toc3175 6 HYPERLINK l _Toc11747 6 加權(quán)最小二乘法 PAGEREF _Toc11747 7 HYPERLINK l _Toc2931 6.1加權(quán)最小二乘法的定義 PAGEREF _Toc2931 7 HYPERLINK l _Toc22890 6.2加權(quán)最小二乘法的原理 PAGEREF _Toc22890 8 HYPERLINK

4、 l _Toc30084 7 結(jié)論 PAGEREF _Toc30084 9 HYPERLINK l _Toc8554 參考文獻(xiàn)9 HYPERLINK l _Toc9869 英文摘要10 HYPERLINK l _Toc8276 致謝11-. z.隴東學(xué)院本科畢業(yè)論文設(shè)計(jì)誠(chéng)信說明本人*重聲明：本人所呈交的畢業(yè)論文設(shè)計(jì)，是在導(dǎo)師的指導(dǎo)下獨(dú)立進(jìn)展研究所完成.畢業(yè)論文設(shè)計(jì)中凡引用他人已經(jīng)發(fā)表或未發(fā)表的成果、數(shù)據(jù)、觀點(diǎn)等，均已明確注明出處.特此聲明.論文設(shè)計(jì)作者簽名：日 期：對(duì)最小二乘法的探究*凱(隴東學(xué)院 數(shù)學(xué)與統(tǒng)計(jì)學(xué)院 *慶陽 745000)摘 要：最小二乘法(又稱最小平方法是一種數(shù)學(xué)優(yōu)化技術(shù)，是從

5、誤差擬合角度對(duì)回歸模型進(jìn)展參數(shù)估計(jì)或系統(tǒng)辨識(shí)，并在參數(shù)估計(jì)、系統(tǒng)辨識(shí)、以及預(yù)測(cè)預(yù)報(bào)等眾多領(lǐng)域中得到極為廣泛的應(yīng)用.它通過最小誤差的平方和尋找數(shù)據(jù)的最正確函數(shù)匹配.利用最小二乘法可以簡(jiǎn)便地求知數(shù)據(jù)，并使得這些求得的數(shù)據(jù)與實(shí)際數(shù)據(jù)之間誤差的平方和最小.本文就是對(duì)最小二乘法的開展歷史、原理、及其簡(jiǎn)單的應(yīng)用進(jìn)展歸納和總結(jié).關(guān)鍵詞：最小二乘法；歷史；應(yīng)用；簡(jiǎn)單原理1 最小二乘法的歷史簡(jiǎn)介1801年，意大利天文學(xué)家朱塞普.皮亞齊發(fā)現(xiàn)了第一顆小行星谷神星.經(jīng)過40多天的跟蹤觀測(cè)后，由于谷神星運(yùn)行至太陽背后，使得皮亞齊失去了谷神星的位置.隨后全世界的科學(xué)家利用皮亞齊的觀測(cè)數(shù)據(jù)開場(chǎng)尋找谷神星，但是根據(jù)大多數(shù)人計(jì)

6、算的結(jié)果來尋找谷神星都沒有結(jié)果，時(shí)年24歲的高斯利用最小二乘法的方法計(jì)算了谷神星的軌道，奧地利天文學(xué)家海因里希.奧爾伯斯根據(jù)高斯計(jì)算出來的軌跡重新發(fā)現(xiàn)了谷神星.高斯使用的最小二乘法發(fā)表于1809年他的著名作品天體運(yùn)動(dòng)論中.其實(shí)，早在1806年，法國(guó)科學(xué)家勒讓德便獨(dú)立地發(fā)現(xiàn)了最小二乘法但因不為世人所知而默默無聞.在此后，法國(guó)科學(xué)家勒讓德曾屢次與高斯為誰最早創(chuàng)立最小二乘法原理發(fā)生爭(zhēng)執(zhí). 但最終，1829年，高斯提供的最小二乘法的證明方法強(qiáng)于其他各界學(xué)者的證明方法.因此最小二乘法也被稱為高斯馬爾可夫定理.于是最小二乘法便被高斯這樣的數(shù)學(xué)天才帶入了數(shù)學(xué)的世界，并為人們所探索、發(fā)現(xiàn)、理解與應(yīng)用. 2 探

7、究最小二乘法的意義 目前，最小二乘法在參數(shù)估計(jì)、系統(tǒng)辨識(shí)、以及預(yù)測(cè)預(yù)報(bào)等眾多領(lǐng)域中都得到了極為廣泛的應(yīng)用.尤其是在近代統(tǒng)計(jì)估計(jì)理論的概念、矩陣符號(hào)表示法和近代線性代數(shù)的概念及大型快速數(shù)字計(jì)算機(jī)的應(yīng)用三個(gè)領(lǐng)域，更是得到了越來越廣泛地應(yīng)用和開展.而在這眾多領(lǐng)域的廣泛應(yīng)用與開展也給最小二乘法的估計(jì)理論和實(shí)用都帶來了深刻的影響. 在每個(gè)領(lǐng)域中，對(duì)于最小二乘法的應(yīng)用，其觀測(cè)數(shù)值不可能完整無誤，而觀測(cè)精度總是存在一個(gè)極限值，假設(shè)超過這個(gè)極限值，就會(huì)導(dǎo)致不是計(jì)算量的數(shù)學(xué)模型失效，就是測(cè)量?jī)x器的分辨力失效，或者兩者都失效，且超過這個(gè)精度極限值，重復(fù)觀測(cè)結(jié)果之間不會(huì)相互符合. 處理不一致的數(shù)據(jù)的方法叫做統(tǒng)計(jì)學(xué)，

8、確定唯一估值以及其優(yōu)度的方法叫做統(tǒng)計(jì)估值法，最小二乘法是使不符值的平方和為最小的一種統(tǒng)計(jì)估計(jì)法.應(yīng)當(dāng)指出的是，還有其他方法也能得到唯一的估值.例如：使不符值的絕對(duì)值的和為最小的估值法，或使最大的不符值為最小的估值法.但與最小二乘法相比，這些方法都存在著許多缺乏和缺陷.因此，最小二乘法幾乎成為獲得唯一估值的標(biāo)準(zhǔn)方法.并在如今普遍運(yùn)用于天文、運(yùn)輸、預(yù)測(cè)、物理等各個(gè)領(lǐng)域.所以，對(duì)最小二乘法的探究對(duì)各個(gè)領(lǐng)域的開展和應(yīng)用都有著極為重要的意義.3 最小二乘法的定義定義1殘差：，希望盡可能小，常見方法有： (1)選取，使偏差最大絕對(duì)值之和最小，即最小. (2)選取，使偏差最大絕對(duì)值最小，即最小. (3)選取

9、，使偏差平方和最小，即最小. 我們稱(3)為最小二乘法原則.定義2最小二乘法：根據(jù)數(shù)據(jù)組選取一個(gè)近似函數(shù)，使得最小. 這種求近似函數(shù)的方法稱為曲線擬合的最小二乘法，函數(shù)稱為這組數(shù)據(jù)的最小二乘函數(shù).4 最小二乘法的原理在實(shí)際應(yīng)用中，我們經(jīng)常需要觀測(cè)兩個(gè)函數(shù)關(guān)系的變量，根據(jù)兩個(gè)量的許多組觀測(cè)數(shù)據(jù)來確定他們的函數(shù)曲線.這類問題通常有兩種處理方法：一種是兩個(gè)觀測(cè)量*與y之間的函數(shù)形式，但一些參數(shù)未知，需確定位置參數(shù)的最正確估計(jì)值；另一種是*與y之間的函數(shù)關(guān)系未知，需要找出它們之間的未知參數(shù)，后一種情況通常假設(shè)*與y之間的關(guān)系是一個(gè)待定的多項(xiàng)式，多項(xiàng)式系數(shù)就是待定的未知參數(shù)，從而可采取類似于前一種情況的

10、處理方法. 在兩個(gè)觀測(cè)量中，往往總有一個(gè)量準(zhǔn)確度比另一個(gè)高得多，為簡(jiǎn)單起見把準(zhǔn)確量較高的觀測(cè)量看做沒有誤差，并把這個(gè)觀測(cè)量選作*，而把所有誤差只認(rèn)為是y的誤差，設(shè)*和y的函數(shù)關(guān)系由理論公式： *；c1. c2 .c3 . 001 給出，其中c1. c2 .c3 . 是m個(gè)需要通過試驗(yàn)確定的參數(shù)，對(duì)于每組觀測(cè)數(shù)據(jù) i=1.2.3.N.都對(duì)應(yīng)于平面上的一個(gè)點(diǎn)，假設(shè)不存在測(cè)量誤差，則這些數(shù)據(jù)點(diǎn)都準(zhǔn)確落在理論曲線上，只要選取m組測(cè)量值帶入001中便得到方程組 *i ；c1. c2 .c3 . 002 其中i=1.2.3.m，求m個(gè)方程的聯(lián)立解即可得m個(gè)參數(shù)的數(shù)值，顯然Nm的情況下，式002)成為矛盾方

11、程組，不能直接用解方程的方法求得m個(gè)參數(shù)值，只能用曲線擬合的方法來處理.5 應(yīng)用最小二乘法解決實(shí)際問題5.1多項(xiàng)式擬合實(shí)例實(shí)驗(yàn)數(shù)據(jù)如表所示：01234567813456789101054211234試用最小二乘法求它的二次擬合多項(xiàng)式 解：設(shè)；擬合曲線方程為 列表如下：01101111010135927811545244166425616643522512562510504613621612966365714934324017496826451240961612853323813017253171471025得正規(guī)方程組： 解得：故擬合多項(xiàng)式為：5.2一元線性擬合實(shí)例測(cè)得銅導(dǎo)線在溫度時(shí)的電阻如表

12、，用最小二乘法求電阻R與溫度T的近似函數(shù)關(guān)系.012345619.125.030.136.040.045.150.076.3077.8079.2588.8082.3583.9085.10解：畫出散點(diǎn)圖，可見測(cè)得的數(shù)據(jù)接近一條直線，故取n=1，擬合函數(shù)為列表如下019.176.30364.811457.330125.077.80625.001945.000230.179.25906.012385.425336.080.801296.001908.800440.082.351600.003294.000545.183.902034.013783.890650.085.102500.004255.0

13、00245.3565.59325.8320029.445正規(guī)方程組為=解方程組得：故與的擬合直線為：利用上述關(guān)系，可以預(yù)測(cè)不同溫度時(shí)銅導(dǎo)線的電阻值.5.3非線性擬合實(shí)例 一組數(shù)據(jù)如下表，在中求其擬合函數(shù).00.10.20.30.40.50.622.202542.407152.615922.830963.054483.28876解 設(shè)擬合函數(shù)為 ： 即代入得：= ， =所以：=， =解正規(guī)方程組得故所求擬合曲線為：6 加權(quán)最小二乘法 如今，最小二乘法出現(xiàn)了越來越的的形式，我們將給出加權(quán)最小二乘法的定義和原理，將最小二乘法用模糊數(shù)學(xué)思想進(jìn)展計(jì)算，使計(jì)算精度更加準(zhǔn)確.6.1加權(quán)最小二乘法的定義 此法

14、是應(yīng)用于實(shí)驗(yàn)測(cè)量值非等精度的情況下的擬合方法。它不同程度的消除誤差因素，結(jié)果更加準(zhǔn)確可靠。 設(shè)擬合函數(shù)為，當(dāng)取值時(shí)的實(shí)測(cè)值為，取，加權(quán)偏差平方和 式中為i個(gè)實(shí)驗(yàn)點(diǎn)的權(quán)重因子，選取適宜的權(quán)重因子可獲得高精度的擬合參數(shù)。6.2加權(quán)最小二乘法的原理 根據(jù)實(shí)際需要，往往對(duì)于精度較高或地位較重要的數(shù)據(jù)，應(yīng)當(dāng)給予較大的權(quán)。 用最小二乘法進(jìn)展曲線擬合的要求與原則是： 對(duì)于給定的一組實(shí)驗(yàn)數(shù)據(jù),要求在中，尋找一個(gè)函數(shù)，使其中為中任一函數(shù)是正數(shù)，稱為權(quán)，大小反響的地位強(qiáng)弱，顯然：求可歸結(jié)為求多元函數(shù)的極小點(diǎn)同理可求。但其中：特例：如果選擇的擬合曲線為則，相應(yīng)的方法方程組為：=。7 結(jié)論 本文介紹了最小二乘法的背景

15、及其優(yōu)點(diǎn)，意義及其原理，及最小二乘法的簡(jiǎn)單應(yīng)用.通過實(shí)例說明了最小二乘法在實(shí)際中的應(yīng)用，并列舉在物理學(xué)中的簡(jiǎn)單應(yīng)用，具有很強(qiáng)的實(shí)用性. 最后，最小二乘法是一種比擬古老的方法.早在十八世紀(jì)，便已經(jīng)用于天文觀測(cè)和大地測(cè)量中.此后300多年，已廣泛應(yīng)用于科學(xué)實(shí)驗(yàn)與工程技術(shù)中.最小二乘法將一大堆看似雜亂無章的點(diǎn)，擬合成一條曲線來反映所給數(shù)據(jù)的總體趨勢(shì)，以消除局部波動(dòng)，它為科研工作者提供了一種非常方便和有效的處理方法.隨著現(xiàn)代電子計(jì)算機(jī)的普及與開展，這個(gè)古老的方法將更加顯示出強(qiáng)大的生命力.參考文獻(xiàn)：1 鄒樂強(qiáng).最小二乘法原理及其簡(jiǎn)單應(yīng)用M.*工程技術(shù)學(xué)院 20102 陸健.最小二乘法及其應(yīng)用. M中共*

16、市委黨校20073 最小二乘法的研究. M期刊,百渡文庫(kù)20094 施光燕,龐麗萍.最優(yōu)方法論(第二版)M.:高等教育 2007.5肖悠南.現(xiàn)代數(shù)值計(jì)算方法M.:大學(xué),2010.6 李慶揚(yáng),易大義.數(shù)值分析(第四版)M.:清華大學(xué),2001.7 徐成賢,陳志平,李乃成.近代優(yōu)化方法M.:中南工業(yè)大學(xué), 1987.8 里德(美).數(shù)值分析與科學(xué)計(jì)算M.:清華大學(xué),2008.9 約翰遜美.數(shù)學(xué)分析與科學(xué)計(jì)算M.：科學(xué)，201210 高富德.最小二乘法原理的初等證明J,*師專學(xué)報(bào),1989,04.Research on the method of least squares Zhang Kai(Co

17、llege of mathematics and statistics in Long dong university, Gansu Qingyang 745000) Abstract: the least squares method (also called the least square method) is a kind of mathematical optimization techniques, from the angle of error fitting regression model parameter estimation and system identificat

18、ion, and the parameter estimation, system identification, as well as the prediction of many fields forecast are very widely used. The minimum mean square error function and find the best data matching. You can easily learn data by using the least square method, and the minimum error between the calculated and the data a