最新資料推薦 1=1"?I最小二乘法的基本原理和多項(xiàng)式擬合1=1"?I第一節(jié)最小二乘法的基本原理和多項(xiàng)式擬合一最小二乘法的基本原理從整體上考慮近似函數(shù)xpr)()(xp同所給數(shù)據(jù)點(diǎn)),(iiyx(i=0,1,,m)誤差iiiy(i=0,1,,m)的大小，常用的方法有以下三種：一是誤差iiiyxpr)((i=0,1,,m)絕對(duì)值的最大值.. ，即誤差向量mTmrrrr),,(10 的范數(shù)；二是誤imirUmax差絕對(duì)值的和 ，即誤差向量r的1范數(shù)；三是誤差平m2iirO方和方法簡(jiǎn)單、自然，但不便于微分運(yùn)算，后一種方法相當(dāng)于考慮2范數(shù)的平方， 的算術(shù)平方根，即誤差向量r的2miirO范數(shù)；前兩種因此在曲線擬合中常采用誤差平方和體大小。來(lái)度量誤差ir(i=0，1，，m)的整數(shù)據(jù)擬合的iir02具體作法是：對(duì)給定數(shù)據(jù) )(xp,使誤差)，(iiyx(i=0,1,，m)，在取定的函數(shù)類(lèi)中，求iiiyxpr)((i=0,1,,m)的平方和最小,即 miir()2= imiiyxp02min)(從幾何意義上講，就是尋求與給定點(diǎn))(xpy(圖6-1)。函數(shù))(xp的方法稱(chēng)為曲線擬合的最小二乘法。在曲線擬合中，函數(shù)類(lèi)可有不同的選取方法.)，(iiyx(i=0,1,,m)的距離平方和為最小的曲線)(xp稱(chēng)為擬合函數(shù)或最小二乘解，求擬合函數(shù)61二多項(xiàng)式擬合假設(shè)

給定數(shù)據(jù)點(diǎn))，(iiyx(i=0,1,,給定數(shù)據(jù)點(diǎn))，(iiyx(i=0,1,,m),使得)(mnn的多項(xiàng)式構(gòu)kp)(min)(00202i mmnkikikiinyxayxpI式時(shí)，為所有次數(shù)不超過(guò)nkknxax0,成的函數(shù)類(lèi)，現(xiàn)求一i（1））（xpn當(dāng)擬合函數(shù)為多項(xiàng)稱(chēng)為多項(xiàng)式擬合，滿足式（1）的擬合多項(xiàng)式。特別地，當(dāng)n=1時(shí)，稱(chēng)為線性擬合或直線擬合。稱(chēng)為最小二乘顯然 iomnkikikyxaI20）（I為由多元函數(shù)求極值的必要條件，得 的多120naaa,,10元函數(shù)，因此上述問(wèn)題即為求），，（wnaaaI的極值問(wèn)題。njxyxaamijinkikikj,,1,0,0）（0 （2）即njyxaxnkmiijikmikji,,1,0,）（000（3） （3）是關(guān)于 的線性方程組，用矩陣表示為naaa,,10mniixxOOiimiiiiiimmimiinmnimnimniniimiimiyxyxyaaaxxxxxxm000100201001020minii1 （4）式（3）或式（4）稱(chēng)為正規(guī)方程組或法方程組。可以證明，方程組（4）的系數(shù)矩陣是一個(gè)對(duì)稱(chēng)正定矩陣，故存在唯一解。從式（4）中解出ka（k=0,1,，n）， 從而可得多項(xiàng)式naxpOkkknx）（ ⑸Pn可以證明，式（5）中的

mxp0)(xpn滿足式(1),即)(x為所求的擬合多項(xiàng)式。我們把iiiny2)(稱(chēng)為最小二乘擬合多項(xiàng)式)(xpn的平方誤差，記作 imiinyxpr0222)(由式(2)可得ikimnmikikiyxayr000222)( (6)多項(xiàng)式擬合的一般方法可歸納為以下幾步：(1)由已知數(shù)據(jù)畫(huà)出函數(shù)粗略的圖形散點(diǎn)圖，確定擬合多項(xiàng)式的次數(shù)n；和式的次數(shù)n；和mjinjxO列表計(jì)算i)2,,(3)(3)寫(xiě)出正規(guī)方程組，1,0(miijinjyx0)2,,1,0(；求出na； (4)寫(xiě)出擬合多項(xiàng)式 knkknxaxpO)(。在實(shí)際應(yīng)用中，頓插值多項(xiàng)式?；?；當(dāng) 時(shí)所得的擬合多項(xiàng)式就是拉格朗日或牛例口1測(cè)得銅導(dǎo)線在溫度的近似函數(shù)關(guān)系。i19.1iT(°C)時(shí)的電阻)(iR如表6-1，求電阻R與溫度T0123456iT(C)25.030.136.040.045.150.0)(jR76.3077.8079.2580.8082.3583.9085.10解畫(huà)出散點(diǎn)圖(圖6-2)，可見(jiàn)測(cè)得的數(shù)據(jù)接近一條直線，故取n=1，擬合函數(shù)為 列表如下aR iiTTalO iR2iTiiRT012345619.125.030.136.040.045.150.0245.376.3077.8079.2580.8082.3583.9085.10565.5364.81625.00906.011296.001600.002034.012500.009325.831457.3301945.0002385.4252908.8003294.0003783.8904255.00020199.正445規(guī)方 程 組 為445.201995.56583.93253.2453.245710aa解方程組得故得R921.0,572.7010aa與T的擬合直線為利用上述關(guān)系式，可以TR921.0572.70預(yù)測(cè)不同溫度時(shí)銅導(dǎo)線的電阻值。例如，由R=0得T=-242.5,即預(yù)測(cè)溫度 T=-242.5°C時(shí)，銅導(dǎo)線無(wú)電阻。6-2例2例2 已知實(shí)驗(yàn)數(shù)據(jù)如下表 i0113243546576879810ixiy1054211234試用最小二乘法求它的二次擬合多項(xiàng)式。解設(shè)擬合曲線方程為 列表如下2210xaxaayIixiy2ix3ix4ixiiyxiiyx201234567813456789105310542112343219162536496481100381127641252163435127291000301718125662512962401409665611000025317101516106716274014710456450得正規(guī)方程組36 49 128 243 400 1025解得2676.102514732253173017381301738152381529210aaa故擬合多項(xiàng)式為22676.06053.06053.3,4597.13210aaa三最小二乘擬合多項(xiàng)式的存在唯一性 xx,1034597.13xy*定理1設(shè)節(jié)點(diǎn)證由克萊姆法則，只需證明方程組（4）的系數(shù)矩陣非奇異即可。

用反證法，設(shè)方程組(4)的系數(shù)矩陣奇異，則其所對(duì)應(yīng)的齊次方程組 互異，則法方程組(4)的解存在唯一。nx,,imiiiiimiiiiiiimmminiiimiinmnimnimniniimiminimiiyxyxyaaaxxxxxxxxmOOO100201001020191(7) 有非零解。式(7)可寫(xiě)為n njaxkkmikji,,1,0,0)(00 (8)將式(8)中第j個(gè)方程乘以ja(j=0,1,，n)，然后將新得到的n+1個(gè)方程左nnmkjijxa000右兩端分別相加， 得其中naO iiikjjOjkO mmminnkikrijijnnkkjijknkmikjijxpxaxaxaaax00020190)())(()(knkknxaxpO)(所以0)(inxp(i=0,1,,m))(xPn是次數(shù)不超過(guò)n的多項(xiàng)式，它有m+1>n個(gè)相異零點(diǎn)，由代數(shù)基本定理，必 ，010aa與齊次方程組有非零解的假設(shè)矛盾。因此正規(guī)方程組(4)須有na必有唯一解。定理2設(shè)是滿足式(1)的最小二乘擬合多項(xiàng)式。是正規(guī)方程組(4)的解，則na,aa,1,0knkknxaxpO)(證 只需證明，對(duì)任意一組數(shù) nb,bb,1,組成的多項(xiàng)式knkknxbxQO)(，恒有iimiinmiinyxpyxQ0202)()(即可。mQOiOiOknmjirikikikjjmnjnikikjijjiinmininmininmiiniinxyxaabyxaxabyxpxpxQxpxQyxpyx00000020222)(20)()()(2)()()()(因?yàn)閗a(k=0,1,，n)是正規(guī)方程組(4)的解，所以滿足式(2)，因此有mmyxQ 0)0(0202 iiiiniinyxp故*四多項(xiàng)式擬合中克服正規(guī)方程組的病態(tài) 在多項(xiàng)式擬合中，當(dāng)擬合多項(xiàng)式的次數(shù)較高時(shí)，其正規(guī)方程組往往是病態(tài)的。而且 ①正規(guī)方程組系數(shù)矩陣的階數(shù)越高， 病態(tài)越嚴(yán)重；擬合節(jié)點(diǎn)分布的區(qū)間 偏離原點(diǎn)越遠(yuǎn)，病態(tài)越嚴(yán)重； )(xpn為最小二乘擬合多項(xiàng)式。m0③為了克服以上缺點(diǎn)，一般采用以下措施：盡量少作高次擬合多項(xiàng)式，而作不同的分段低次擬合；ix(i=0,1,，m)的數(shù)量級(jí)相差越大，病態(tài)越嚴(yán)重。不使用原始節(jié)點(diǎn)作擬合，將節(jié)點(diǎn)分布區(qū)間作平移，使新的節(jié)點(diǎn)稱(chēng)，可大大降低正規(guī)方程組的條件數(shù)，從而減低病態(tài)程度。平移公式為：xxxxii2ix關(guān)于原點(diǎn)對(duì)mim??1,0,0 (9)對(duì)平移后的節(jié)點(diǎn)ix(i=0,1,,m),再作壓縮或擴(kuò)張?zhí)幚恚?10)其中mixpxii,,1,0,rmirixmp202)()1( , (r是擬合次數(shù)) (11)經(jīng)過(guò)這樣調(diào)整可以使， ix的數(shù)量級(jí)不太大也不ihxxi太小，特別對(duì)于等距節(jié)點(diǎn))，m，作式(10)和式(11)兩項(xiàng)變換后，其正規(guī)方程組的系數(shù)矩陣設(shè)為A,則對(duì)1?4次多項(xiàng)式擬合，條件數(shù)都不太大，都可以得到滿意的結(jié)果。變換后的條件數(shù)上限表如下：擬合次數(shù)12=19.9,1,0(0i34)(2Acond50.3435在實(shí)際應(yīng)用中還可以利用正交多項(xiàng)式求擬合多項(xiàng)式。一種方法是構(gòu)造離散正交多項(xiàng)式；另一種方法是利用切比雪夫節(jié)點(diǎn)求出函數(shù)值后再使用正交多項(xiàng)式。這兩種方法都使正規(guī)方程組的系數(shù)矩陣為對(duì)角矩陣，從而避免了正規(guī)方程組的病態(tài)。我們只介紹第一種，見(jiàn)第三節(jié)。例如m=19,作二次多項(xiàng)式擬合時(shí)0x=328,h=1,1x=0x+ih，i=0,1,，19，即節(jié)點(diǎn)分布在［328,347］，①直接用ix構(gòu)造正規(guī)方程組系數(shù)矩陣0A，計(jì)算可得1025.2)1602(Acond嚴(yán)重病態(tài)，擬合結(jié)果完全不能用。②作平移變換347328xxiil9,,1,0,2i

用ix用ix構(gòu)造正規(guī)方程組系數(shù)矩陣1A,計(jì)算可得483868.4）（A161210cond比③取壓縮因子）（02Acond降