§4曲線擬合的最小二乘法

1最小二乘法及其計算

在函數(shù)的最佳平方逼近中如果只在一組離散點集上給定，這就是科學(xué)實驗中經(jīng)常見到的實驗數(shù)據(jù)的曲線擬合.1記誤差則的各分量分別為個數(shù)據(jù)點上的誤差.問題為利用求出一個函數(shù)與所給數(shù)據(jù)擬合.2設(shè)是上線性無關(guān)函數(shù)族，在中找一函數(shù)，使誤差平方和這里3為了使問題的提法更有一般性，通常在最小二乘法中考慮加權(quán)平方和這里是上的權(quán)函數(shù)，它表示不同點處的數(shù)據(jù)比重不同.就是次多項式.若是次多項式，的一般表達式為線性形式.5這樣，最小二乘問題就轉(zhuǎn)化為求多元函數(shù)的極小點問題.用最小二乘法求擬合曲線的問題，就是在中求一函數(shù)，由求多元函數(shù)極值的必要條件，有使誤差取得最小.6若記上式可改寫為這個方程稱為法方程，可寫成矩陣形式7顯然在任意個點上滿足哈爾條件.哈爾條件，則法方程

的系數(shù)矩陣

非奇異，如果在上滿足函數(shù)的最小二乘解為定義10設(shè)的任意線性組合在點集上至多只有個不同的零點，則稱在點集上滿足哈爾(Haar)條件.方程存在唯一的解從而得到于是9這樣得到的，對任何的都有故確是所求最小二乘解.10一般可取，但這樣做當時，通常對的簡單情形都可通過求法方程得到給定的離散數(shù)據(jù)，求解法方程時將出現(xiàn)系數(shù)矩陣為病態(tài)的問題，我們在下面考慮用正交多項式的方法解決。11

解從圖中看到各點在一條直線附近，故可選擇線性函數(shù)作擬合曲線，將所給數(shù)據(jù)在坐標紙上標出，見圖3-4.圖3-413令這里故14解得可得方程組于是所求擬合曲線為15x=[11233345];f=[444.566688.5];aa=poly(x,f,1);y=polyval(aa,x);plot(x,f,’r+’,x,y,’k’)xlabel(‘x’);ylabel(‘y’);gtext(‘y=s1(x)’）17結(jié)果如下：18

有時根據(jù)給定數(shù)據(jù)圖形，其擬合函數(shù)表面上不是線性模型的形式，但通過變換仍可化為線性模型.例如，，若兩邊取對數(shù)得此時，若令這樣就變成了線性模型.19若令先將轉(zhuǎn)化為為確定，根據(jù)最小二乘法，取則得數(shù)據(jù)表見表3-1.得21故有法方程解得于是得最小二乘擬合曲線為22利用下面的程序，可在Matlab中完成曲線擬合.x=[1.001.251.501.752.00];y=[5.105.796.537.458.46];y1=log(y);aa=poly(x,y1,1);a=aa(1);b=exp(aa(2));y2=b*exp(a*x);plot(x,y,’r+’,x,y2,’k’)xlabel(‘x’);ylabel(‘y’);gtext(‘y=a*exp(bx))’;23

2用正交多項式做最小二乘擬合

如果是關(guān)于點集用最小二乘法得到的法方程組，其系數(shù)矩陣是病態(tài)的.帶權(quán)正交的函數(shù)族，即（5.6）25則方程的解為且平方誤差為26假定對及要證對均成立.有由的表達式，有均成立，29而，當時，另外，是首項系數(shù)為1的次多項式，它可由由歸納法假定，當時的線性組合表示.由歸納法假定又有30由假定有再考慮利用表達式及以上結(jié)果，得31至此已證明了此多項式組成一個關(guān)于點集的正交系.用正交多項式的線性組合作最小二乘曲線擬合，只要根據(jù)公逐步求的同時，相應(yīng)計算出系數(shù)最后，由和的表達式（5.11）有32并逐步把累加到中去，最后就可得到所求的用這種方法編程序不用解方程組，只用遞推公式，并且當逼近次數(shù)增加一次時，只要把程序中循環(huán)數(shù)加1，其余不用改變.這里可事先給定或在計算過程中根據(jù)誤差確定.擬合曲線33

以上述例1為例先求正交系

34

例3設(shè)X={1.00,1.25,1.50,1.75,2.00},在X上定義內(nèi)積5

(f,g)=∑xi

f(xi)g(xi)i=11)在函數(shù)系{1,x2}中求一個X上的正交函數(shù)系.2)用最小二乘法求一個形如y=a+bx2的經(jīng)驗公式，使它與下列數(shù)據(jù)擬合.xi1.001.251.501.752.00yi3.004.505.507.009.0035

36

37§5最佳一致逼近多項式

1.基本概念及其理論

設(shè)在中求多項式這就是最佳一致逼近或切比雪夫逼近問題.使其誤差38使誤差對連續(xù)函數(shù)，它不能用有限個線性無關(guān)的函數(shù)表示，故是無限維的，但它的任一元素均可用有限維的逼近，(為任給的小正數(shù))，這就是著名的魏爾斯特拉斯定理.39使

定理1總存在一設(shè)，則對任何，個代數(shù)多項式，在上一致成立.伯恩斯坦1912年給出的證明是一種構(gòu)造性證明.他根據(jù)函數(shù)整體逼近的特性構(gòu)造出伯恩斯坦多項式40為二項式展開系數(shù)，并證明了在上一致成立；若在上階導(dǎo)數(shù)連續(xù)，則其中這個結(jié)果不但證明了定理1，而且給出了的一個逼近多項式.41

定理2(最佳一致逼近的存在性）設(shè)f(x)在[a,b]上連續(xù)，則存在pn*(x)∈Hn使下面研究求pn*(x)的方法定義：設(shè)f(x)∈C[a,b],p(x)∈Hn,若x=x0時則稱x0為p(x)的偏差點.42要證明的是這樣的點組稱為切比雪夫交錯點組.

證明假定在上有個點使上式成立，

定理3即有個點，“負”的偏差點，在上至少有個輪流為“正”、是的最佳逼近多項式的充分必要條件是使是在上的最佳逼近多項式.只證充分性.43用反證法，若存在，由于故也在個點上輪流取“+”、“-”號.使由連續(xù)函數(shù)性質(zhì)，它在內(nèi)有個零點，但因是不超過次的多項式，不能超過.所以它的零點個數(shù)在點上的符號與一致，44這說明假設(shè)不對，故就是所求最佳逼近多項式.必要性證明略.

推論1若，充分性得證.則在中存在唯一的最佳逼近多項式.45

零偏差最小問題46

證明且點是的切比雪夫交錯點組，

定理4在區(qū)間上所有最高次項系數(shù)為1的次多項式中，與零的偏差最小，其偏差為由于47由定理3可知，即是與零的偏差最小的多項式.區(qū)間上在中最佳逼近多項式為定理得證.48由定理6可知，多項式與零偏差最小，

解由題意，所求最佳逼近多項式應(yīng)滿足當時，故例3求在上的最佳2次逼近多項式.49就是在上的最佳2次逼近多項式.50

2最佳一次逼近多項式

定理3給出了的特性，這里討論具體求法.先討論的情形.假定且在內(nèi)不變號，根據(jù)定理3可知,至少有3個點求最佳一次逼近多項式.我們要51即.由于在上不變號，故單調(diào)，在內(nèi)只有一個零點，記為，另外兩個偏差點必是區(qū)間端點，即且由此得到于是滿足52解出代入得這就得到最佳一次逼近多項式，其幾何意義如圖3-3.

5