1、線性最小二線乘問題的存在與唯一,線性模型的正規(guī)方程,線性模型舉例,線性模型引深及推廣,線性最小二乘方法評注,正交多項式,問題的提出,最佳平方逼近,1,實例講解,某種合成纖維的強度與其拉伸倍數(shù)有直接關(guān)系，下表是實際測定的24個纖維樣品的強度與相應(yīng)拉伸倍數(shù)的記錄。 提示：將拉伸倍數(shù)作為x, 強度作為y,在座標(biāo)紙上標(biāo)出各點，可以發(fā)現(xiàn)什么?,2,數(shù)據(jù)表格,3,4,從上圖中可以看出強度與拉伸倍數(shù)大致成線形關(guān)系，可用一條直線來表示兩者之間的關(guān)系。 解：設(shè) y*=a+bxi ，令=yi-y*i=yi-a-bxi，根據(jù)最小二乘原理，即使誤差的平方和達(dá)到最小，也就是令 n Q=i2 i=1為最小 ，即求使 (a

2、,b)= 有最小值的a和b的值。,5,計算出它的正規(guī)方程得 解得： a=0.15 , b=0.859 直線方程為：y*=0.15+0.859x,6,一 問題的提出 插值法是使用插值多項式來逼近未知或復(fù)雜函數(shù)的，它 要求插值函 數(shù)與被插函數(shù)在插值節(jié)點上函數(shù)值相同 ，而在其他點上沒有要求。在非 插值節(jié)點上有時函數(shù)值會相差很大 。若要求在被插函數(shù)的定義區(qū)間上， 所選近似函數(shù)都能與被插函數(shù)有較好的近似，就是最佳逼近問題。 最佳逼近是在函數(shù)空間 M中選 P(x) 滿足 但由于絕對值函數(shù)不宜進(jìn)行分析運算,常將上式化為 來討論 ，于是最佳逼近問題變?yōu)樽罴哑椒奖平鼏栴} ,而離散的最佳平方逼 進(jìn)問題就是常說的曲

3、線擬合 它們都可用最小二乘法求解。,主頁,7,曲線擬合的最小二乘法,最小二乘原理 當(dāng)由實驗提供了大量數(shù)據(jù)時,不能要求擬合函數(shù) 在數(shù)據(jù)點 處的偏差,即 (i=1,2,m) 嚴(yán)格為零,但為了使近似曲線盡量反映所給數(shù)據(jù)點的變化趨勢 ,需對偏差有所要求.通常要求偏差平方和 最小,此即稱為最小二乘原理,8,最小二乘法的求法,9,10,最小二乘法的幾種特例,11,12,例 題,13,14,二 線性最小問題的存在與唯一,在科學(xué)實驗中，很多情況數(shù)據(jù)間存在線性或可轉(zhuǎn)化為線性的關(guān)系。線性最小二乘是最基本也是最重要的一種。 1 線性最小二乘問題與線性最小二乘求解 設(shè)Ax=b 其中 AR mn，bR m，x R n當(dāng)

4、mn 時，上方程超定方程組 令 r =b-Ax ， 一般，超定方程無通常意義下解， 既無x使 t=0。對這類方程求解意義是求x，使 r 22 = b-Ax 22為最小，稱x為Ax=b的最小二乘解。,主頁,15,2 最小二乘解的存在性與唯一性 定理 ：x* 為Ax=b 的最小二乘解充要條件 AT A X * =AT b 證明 ：充分性：若存在X* ，使 AT A X * =AT b 則對任意向量 令 x=x* +y 有 b Ax 22 = b AX* 222（y，AT（ b AX*）+ A y 22 = b AX* 22 + A y 22 b AX* 22 X*為Ax=b的最小二乘解。 必要性：

5、 令 b AX 22=（x1，x2，x n）= （x） 則由多元函數(shù)極值的必要條件知，若X*為極值點， 則 （x） | | =0 x i |x=x*,16,而（x1，x2，x n）=b T b 2Ax+（Ax）TAx （x） 由 =0 （i=1，2， n） ATAx=ATb。 x i 若x*為Ax=b最小二乘解，則AT A x *=ATb。證畢 AT A x =AT b 稱為最小二乘問題的 Ax=b法方程組。當(dāng)A =（aIj）mn 的秩為n ，既A的列線性無關(guān)時， AT A x =AT b有唯一解。,17,三 線形模型的正規(guī)方程,關(guān)于擬和模型必須能反映離散點分布基本特征。常選取是線性擬和模型，

6、既所屬函數(shù)類為M =Span 0，1， n， 其中 0，1， n 是線性無關(guān)的基函數(shù) m 于是 （x）= c j j（x） j=0 通常選取每個j是次數(shù)j的簡單多項式，即M 是次 數(shù) n 的n次多項式空間。取 j（x）=x j ， j=0，1，n M =Span1 ,x , x2，x n， 從而（x）= C0 +C1 x1 + + C n x n =Pn(x),主頁,18,n 設(shè)離散數(shù)據(jù)模型 （x）= c j j（x） j=0 則求解歸結(jié)為 n+1元函數(shù)S的 極值問題: m n S（c0，c1，c n）= i y i c j j（xi） 2 i=0 j=0 顯然S達(dá)最小值必要條件是 S m n

7、 =2 i y i c j j（xi） k（x i）= 0 C k i=0 j=0 （k=0 ，1，n） 這是關(guān)于 c0，c1，c n 的方程組， n 改寫成 （j ， k) c j =(y, k ) (k=0,1,2,n)稱為正規(guī)方程組 j=0 其中 m n （j ， k )= i j（xi） k（x i） i=0 j=0,19,一般，n m，函數(shù) 0，1，n，線性無關(guān)能保證 正規(guī)方程組的系數(shù)矩陣 （ 0， 0 ）（1， 0 ）， （n ， 0 ） G= ， (*) （ 0， n ） （1， n ） ， （ n ， n ） 的行列式不為零。因此正規(guī)方程組有唯一解。設(shè)其解為 c j =c j

8、*，j=0，1，n 則所要求的離散點的擬合函數(shù)(最佳平方逼近)為 n *（x）= c j *j（x）。 J=0 對已知連續(xù)函數(shù)f(x)的最佳平方逼近問題與離散點的最佳平方逼近有相同形式的正規(guī)方程組和結(jié)論,只不過內(nèi)積公式變?yōu)?20,表中提供離散數(shù)據(jù)（x i ， y i），（0i4） 試用二次多項式進(jìn)行擬合. i xi yi *（xi） yi - *（xi） 0 0 1.0000 1.0052 -0.0052 1 0.25 1.2840 1.2740 0.0100 2 0.50 1.6487 1.6482 0.0005 3 0.75 2.1170 2.1279 -0.0109 4 1.00 2.7

9、183 2.7130 0.0053,四線形模型舉例,主頁,21,解:取 M=Span（1，x，x2 ） 其三個基函數(shù)為 j （x）=x j j=0, 1, 2 擬和函數(shù) 是基函數(shù)的線性組合: （x）=c0+c1x+c2x2 取0=1=4=1 ,由公式 5 5 （ j，k）= xi j+k， （y， k）= y i x i k ， i=1 i=1 j，k=0，1，2 可以算出 （ 0 ，0 ）=5，（1， 1）=1.875，（ 2 ，2）=1.3828 （0 ，1）=（ 1 ，0）=2.5,（0 ，2）=（ 2 ，0）=1.875 （1 ，2）=（ 2 ，1）=1.5625 （y ， 0）=8.

10、7680，（y，1）=5.4514，（y，2）=4.4215,22,正規(guī)方程為 5C0+2.5C1+1.875C2 =8.7680 2.5C0+1.875C1+1.5625C2 =5.4514 1.875C0+1.5625C1+1.3828C2=4.415 解得 C0=1.0052，C1=0.8641，C2=0.8427 所求連續(xù)模型 * 為， *（x）=1.0052+0.8641x+0.8437x2 最小平方殘差 5 | y *|22 = （ yi *（x i)2 = 2.7610-4 i=1,23,由上述我 們已經(jīng)知到上述線性模型實際上是最小二乘法的推廣，實際上也就是多項式逼近函數(shù)的問題。

11、它不僅可以解決一元問題還可用于多元問題。除此外還可求解某些非線性問題。求解方法是將其通過一定的代數(shù)變換轉(zhuǎn)換為可用線性模型求解的問題。 比如對方程 y=a e b x 取對數(shù)，得l n y=l n a+b x， 令 Y=lny, A= l n a, B=b 則問題轉(zhuǎn)化為解 Y=A+Bx的線性問題。 類似的再如，對y=a+ b/ x擬和可對此方程取倒數(shù)，則新變量1/y于x成線性關(guān)系。,五線性模型引深及推廣,主頁,24,六最小二乘法方法評注,最小二乘法方曲線擬和是實驗數(shù)據(jù)處理的常用方法。最佳平方逼近可以在一個區(qū)間上比較均勻的逼近函數(shù)且具有方法簡單易行，實效性大，應(yīng)用廣泛等特點。但當(dāng)正規(guī)方程階數(shù)較高時

12、，往往出現(xiàn)病態(tài)。因此必須謹(jǐn)慎對待和加以巧妙處理。有效方法之一是引入正交多項式以改善其病態(tài)性。,主頁,25,正交多項式 在高等數(shù)學(xué)中介紹付立葉級數(shù)時，曾提到函數(shù)系 1,cosx,sinx,cos2x,sin2x,cosnx,sinnx, 中，由于任意兩個函數(shù)乘積在區(qū)間-，+上的積分都等于零，則說這個函數(shù)系在-，+上是正交的，并稱這個函數(shù)系為正交函數(shù)系。 下面給出正交函數(shù)系 定義：設(shè)函數(shù)f(x),g(x)a,b,且 則稱f(x)與g(x)在a,b上帶權(quán)(x)正交,26,在a,b上連續(xù)的函數(shù)0(x), 1(x), 2(x),. k(x)., 滿足 則稱該函數(shù)系是在區(qū)間a,b上帶權(quán)(x)正交函數(shù)系.

13、下面介紹與上述定義有關(guān)的幾個概念，然后引出正交多項的概念，最后再介紹正交多項式的性質(zhì)以及幾種常見的正交多項式。 1.權(quán)函數(shù):(1)設(shè)a,b是有限或無限區(qū)間, (x)是定義在a,b上的非零可積函數(shù)，若其滿足 則稱(x)是a,b上的一個權(quán)函數(shù)。,27,2 內(nèi)積與范數(shù) 設(shè)f(x),g(x)a,b, (x)是a,b上的一個權(quán)函數(shù)，稱 為f(x)與g(x)在為 a,b上以權(quán)函數(shù)(x)的內(nèi)積。 顯然，對于任意實數(shù)a,b,有 稱 為f(x)的帶權(quán)(x)的2范數(shù)。,28,正交多項式的性質(zhì) 定理1 a,b上帶權(quán)(x)的正交多項式系gn(x)一定是 a,b上線相關(guān)的函數(shù)系。 定理2 設(shè)是gn(x)a,b上帶權(quán)(x)的正交多項式系，則對于任何次數(shù)不高于n-1的多項式q(x),總有 (q(x), gn(x)=0 ( n=1,2,） 定理3 n次正交多項式gn(x)有n個互異定根，且全部若在(a,b)內(nèi)。,定理4:任何相鄰的三個正交多項式,都具有下列遞推關(guān)系式 gn+1(x)=(nx-n)gn(x)-n-1gn-1(x),29,常見的正交多項式,勒讓德多項式(Legendre) 切比雪夫多項式(Chebyshev) 拉蓋爾多項式(Laguerre) 埃爾米特多項式 (Hermite),30,勒讓德