第6章曲線擬合、函數(shù)逼近初步

§6.1曲線擬合的最小二乘法

一、最小二乘法的發(fā)現(xiàn)歷史二、最小二乘法原理1三峽大學(xué)理學(xué)院杜廷松

一、最小二乘法的發(fā)現(xiàn)歷史

最小二乘法源于天文學(xué)和測(cè)地學(xué)的需要，在早期數(shù)理統(tǒng)計(jì)方法的發(fā)展中，這兩門(mén)科學(xué)起了很大的作用，故丹麥統(tǒng)計(jì)學(xué)家霍兒把他們稱(chēng)為“數(shù)理統(tǒng)計(jì)學(xué)的母親”.現(xiàn)行的最小二乘法是勒讓德（A.M.Legendre）于1805年在其著作《計(jì)算彗星軌道的新方法》中提出的，勒讓德之所以能作出這個(gè)發(fā)現(xiàn)，是因?yàn)樗麤](méi)有因襲前人的想法—要設(shè)法構(gòu)造出個(gè)方程去求解，他認(rèn)識(shí)到關(guān)鍵不在于使某一方程嚴(yán)格符合，而在于要使誤差以一種更平衡的方式分配到各個(gè)方程.具體的說(shuō)，他尋求這樣的值，使2三峽大學(xué)理學(xué)院杜廷松

達(dá)到最小，為什么取平方，而不取絕對(duì)值，四次方或其他函數(shù)？這就得從計(jì)算的觀點(diǎn)來(lái)解釋了,至少在勒讓德時(shí)代,不可能知道從統(tǒng)計(jì)學(xué)的角度看，選擇平方這個(gè)函數(shù)有何優(yōu)點(diǎn),這方面的研究是那以后很久的事情了.

勒讓德發(fā)現(xiàn)最小二乘法可能是在他參加的一項(xiàng)測(cè)地學(xué)的工作中，即從1792年開(kāi)始持續(xù)了10余年的測(cè)量過(guò)巴黎子午線之長(zhǎng)的工作.3三峽大學(xué)理學(xué)院杜廷松

勒讓德在其著作中，對(duì)最小二乘法的優(yōu)點(diǎn)有所闡述.德國(guó)大數(shù)學(xué)家高斯對(duì)誤差的概率性質(zhì)給予了適當(dāng)?shù)拿枋?他不從單純的“把作為一個(gè)函數(shù)而要設(shè)法找出一些條件去決定它”這個(gè)思維定勢(shì)出發(fā)，而是徑直假定：在多次觀測(cè)中取平均是天然合理的.由此出發(fā)，再配合他的“極大似然”的想法.很容易決定出應(yīng)有的形式.這就是概率論中最重要，最著名的正態(tài)分布，又稱(chēng)高斯分布.

4三峽大學(xué)理學(xué)院杜廷松

二、最小二乘法原理在科學(xué)實(shí)驗(yàn)中,常常需要從一組測(cè)量數(shù)據(jù)中找出實(shí)驗(yàn)規(guī)律的數(shù)學(xué)表達(dá)式,例如經(jīng)驗(yàn)公式.設(shè)已知及，在一類(lèi)曲線中求一曲線，使之與在節(jié)點(diǎn)的誤差總體上最小.這里，一類(lèi)曲線可指全體直線、全體拋物線、全體不超過(guò)次的多項(xiàng)式、全體指數(shù)函數(shù)、全體正弦函數(shù)等.上述“總體上最小”一般指向量的范數(shù)最小.在第3章中討論的三種向量范數(shù)中,范數(shù)會(huì)導(dǎo)致個(gè)別大5三峽大學(xué)理學(xué)院杜廷松

誤差數(shù)據(jù)點(diǎn)起主導(dǎo)作用，與常識(shí)顯然不符；范數(shù)的光滑性差，不便與微分學(xué)應(yīng)用.因此，在擬合算法中一般取范數(shù)(1.1)作為總體誤差的定義，稱(chēng)為最小二乘法.最小二乘擬合就是在一類(lèi)曲線中求一曲線使與被擬合曲線在節(jié)點(diǎn)的誤差平方和

最小.6三峽大學(xué)理學(xué)院杜廷松

定義5.1設(shè)為互不相同的點(diǎn)，是個(gè)已知函數(shù).如果存在不全為零的常數(shù)使得

則稱(chēng)(關(guān)于點(diǎn))是線性相關(guān)的，否則稱(chēng)為線性無(wú)關(guān)的.7三峽大學(xué)理學(xué)院杜廷松定義5.2給定數(shù)據(jù)假設(shè)擬合函數(shù)

的形式為(1.2)這里為已知的線性無(wú)關(guān)函數(shù).求系數(shù)使得

取最小值.稱(chēng)為擬合函數(shù)或經(jīng)驗(yàn)公式.8三峽大學(xué)理學(xué)院杜廷松

1、多項(xiàng)式數(shù)據(jù)擬合設(shè)用一個(gè)次多項(xiàng)式(1.3)來(lái)擬合—組數(shù)據(jù)，在節(jié)點(diǎn)處,的偏差設(shè)為最小二乘法的基本思想是對(duì)所有數(shù)據(jù)點(diǎn)，擬合函數(shù)式(1.3)的偏差的平方和

(1.4)取最小值.9三峽大學(xué)理學(xué)院杜廷松

由于為已知，故將視作的系數(shù)的函數(shù).不同的擬合多項(xiàng)式，有不同的一組系數(shù)因而有不同的值，即

于是上述數(shù)據(jù)擬合問(wèn)題便歸結(jié)為求多元函數(shù)的極值問(wèn)題，欲使取極小值,則必須滿(mǎn)足條件對(duì)(1.4)式求偏導(dǎo)數(shù)，可得10三峽大學(xué)理學(xué)院杜廷松

(1.5)由(1.5)式等于零,有

(1.6)令,則(1.6)式可表為:11三峽大學(xué)理學(xué)院杜廷松

(1.7)這是一個(gè)階對(duì)稱(chēng)的線性方程組，稱(chēng)為正規(guī)(Normal)方程組,具體寫(xiě)出來(lái)就是(1.8)此方程組的系數(shù)行列式不為零，故它有唯一解.將解得系數(shù),代入(1.3)即可得所要求的擬合多項(xiàng)式.12三峽大學(xué)理學(xué)院杜廷松

2、線性最小二乘法的一般形式一般地，設(shè)定數(shù)據(jù)組為已知的一組上線性無(wú)關(guān)的函數(shù)，選取近似函數(shù)為

（1.9）使得

（1.10）13三峽大學(xué)理學(xué)院杜廷松

其中為權(quán)系數(shù)，

為的

線性組合的全體，這就是線性最小二乘法的一般形式.特別地，取就是多項(xiàng)式擬合.與多項(xiàng)式擬合的討論相似，上述問(wèn)題的正規(guī)方程組為

即

（1.11）14三峽大學(xué)理學(xué)院杜廷松

如果記，方程組（1.11）可表成矩陣形式

（1.12）由線性無(wú)關(guān)可導(dǎo)出（1.12）的系數(shù)矩陣非奇異,從而保證了方程組（1.11）的解存在唯一.15三峽大學(xué)理學(xué)院杜廷松

定理6.1.1設(shè)為方程組（1.11）的解，則函數(shù)滿(mǎn)足關(guān)系式（1.10）,即它是數(shù)據(jù)組的最小二乘函數(shù).16三峽大學(xué)理學(xué)院杜廷松

例1.1對(duì)某個(gè)長(zhǎng)度，測(cè)量次，得個(gè)近似值通常取其平均值：作為所求的長(zhǎng)度值，試說(shuō)明理由.解：由誤差方組

得

17三峽大學(xué)理學(xué)院杜廷松

這表明，所得結(jié)果在最小二乘的意義下使誤差最小.

例1.2已知數(shù)據(jù)表如下．試用二次多項(xiàng)式來(lái)擬合18三峽大學(xué)理學(xué)院杜廷松§6.2和意義下的線性擬合

一、意義下的線性擬合二、意義下的線性擬合19三峽大學(xué)理學(xué)院杜廷松

一、意義下的線性擬合給定數(shù)據(jù)，,假設(shè)擬合函數(shù)的形式為(2.1)我們希望確定,使殘差向量在意義下最小,即

(2.2)達(dá)到最小.20三峽大學(xué)理學(xué)院杜廷松

記,這時(shí)數(shù)據(jù)擬合問(wèn)題就歸結(jié)為約束優(yōu)化問(wèn)題:

可以用線性規(guī)劃的方法求解21三峽大學(xué)理學(xué)院杜廷松

二、意義下的線性擬合

類(lèi)似地,如果希望確定,使殘差向量在意義下最小,即(2.3)

最小.記，這樣數(shù)據(jù)擬合問(wèn)題就變?yōu)?/p>

這是最優(yōu)化問(wèn)題中的極小---極大問(wèn)題,也可以用線性規(guī)劃方法求解.22三峽大學(xué)理學(xué)院杜廷松

例2.1給出一組數(shù)據(jù):用線性函數(shù)擬合這組數(shù)據(jù).分別在,和意義下確定。23三峽大學(xué)理學(xué)院杜廷松§6.3超定方程組的最小二乘解

給定線性方程組（3.1）式中

當(dāng)時(shí)，稱(chēng)為超定方程組.在線性代數(shù)中，這種超定方程組，方程的個(gè)數(shù)超過(guò)未知量的個(gè)數(shù)，一般來(lái)說(shuō)是沒(méi)有解的.也就是說(shuō)，對(duì)于任意一組數(shù)一般來(lái)說(shuō)24三峽大學(xué)理學(xué)院杜廷松

不會(huì)全為零.我們?cè)O(shè)想去求一組數(shù)使得（3.2）取最小值.利用多元函數(shù)求極值的方法，得

即

用矩陣形式給出，即

25三峽大學(xué)理學(xué)院杜廷松

可以證明如果是列滿(mǎn)秩的.則方程組（3.3）存在唯一解,且該解使得由式(3.2)定義的取得最小值.我們把方程組(3.3)的解稱(chēng)為超定方程組

(3.1)的最小二乘解.

例3.1用最小二乘法解下列矛盾方程組26三峽大學(xué)理學(xué)院杜廷松§6.4最佳平方逼近

一、最佳平方逼近問(wèn)題的提法

二、最佳平方逼近的解法27三峽大學(xué)理學(xué)院杜廷松

一、最佳平方逼近問(wèn)題的提法從離散數(shù)據(jù)的最小二乘曲線擬合,可以很自然地(幾乎是平行地)過(guò)渡到連續(xù)函數(shù)的最佳平方逼近.設(shè)函數(shù),函數(shù)類(lèi)其中對(duì),有(4.1)如果存在,使得其中是上的權(quán)函數(shù),這就是用逼近

的最佳平方逼近問(wèn)題.28三峽大學(xué)理學(xué)院杜廷松

二、最佳平方逼近的解法由問(wèn)題的提法可知，求解等價(jià)于求解多元函數(shù)

的極小值點(diǎn).而由多元函數(shù)極值的必要條件可得

從而利用內(nèi)積記號(hào)得方程組(4.3)其中29三峽大學(xué)理學(xué)院杜廷松

也稱(chēng)方程組（4.3）為法方程組或正規(guī)方程.這里，由于是基函數(shù)必線性無(wú)關(guān)，故根據(jù)內(nèi)積空間中的基本性質(zhì)，可知方程組（4.3）的系數(shù)矩陣（Gram矩陣）

非奇異.從而法方程組（4.3）存在唯一解于是可得

30三峽大學(xué)理學(xué)院杜廷松

例4.1求在上的一次最佳平方多項(xiàng)式.解：令，即取計(jì)算

得法方程組31三峽大學(xué)理學(xué)院杜廷松

解之得

于是得一次最佳平方逼近多項(xiàng)式為

平方誤差32三峽大學(xué)理學(xué)院杜廷松§6.5最佳一致逼近

對(duì)于用多項(xiàng)式一致逼近上的連續(xù)函數(shù),魏爾斯特拉斯(Weierstrass)給出了存在性定理.伯恩斯坦（Bernstein）構(gòu)造出一個(gè)具體的多項(xiàng)式（稱(chēng)為伯恩斯坦多項(xiàng)式）(5.1)其中，，說(shuō)明了在上一致成立.這不但證明了魏爾斯特拉斯存在性定理，而且給出了的一個(gè)逼近多項(xiàng)式，它是穩(wěn)定的，但收斂太慢.33三峽大學(xué)理學(xué)院杜廷松

切比雪夫從另一觀點(diǎn)研究一致逼近問(wèn)題.他不讓多項(xiàng)式的次數(shù)趨于，而是固定，在子空間中尋找應(yīng)該多項(xiàng)式來(lái)逼近，使其誤差(5.2)這稱(chēng)為最佳一致逼近或切比雪夫逼近問(wèn)題.其中

（5.3）稱(chēng)為與在上的偏差.34三峽大學(xué)理學(xué)院杜廷松

定義5.1設(shè)，若在處有

（5.5）則稱(chēng)為的偏差點(diǎn).當(dāng)時(shí)，為“負(fù)”偏差點(diǎn)；當(dāng)時(shí).為

“正”偏差點(diǎn).

根據(jù)閉區(qū)間上連續(xù)函數(shù)的性質(zhì)，的偏差點(diǎn)總是存在的.