第5章曲線擬合的最小二乘法

5.1最小二乘法原理

5.2超定方程組的最小二乘解

5.3可線性性化模型的最小二乘擬合

5.4多變量的數(shù)據(jù)擬合

5.5多項(xiàng)式擬合

5.6正交多項(xiàng)式及其最小二乘擬合5.1最小二乘原理設(shè)已知某物理過程y=f(x)在m個(gè)互異點(diǎn)的觀測(cè)數(shù)據(jù)

求一個(gè)簡(jiǎn)單的近似函數(shù)φ(x)，使之“最好”地逼近f(x)，而不必滿足插值原則。稱函數(shù)y=φ(x)為經(jīng)驗(yàn)公式或擬合曲線。這就是曲線擬合問題。

xix1x2

…..xmyiy1y2

…..ym5.2超定方程組的最小二乘解設(shè)線性方程組

(m>n)

即

如果有向量x使得

達(dá)到最小，則稱x為超定方程組的最小二乘解。

定理超定方程組Ax=b存在最小二乘解，且即為方程組ATAx=ATb

的解。當(dāng)A的列向量線性無關(guān)時(shí)ATA非奇異，這時(shí)有唯一的解。

稱方程組ATAx=ATb

為方程組Ax=b的正則方程組、正規(guī)方程組、法方程組

曲線擬合的最小二乘法可以看成求下述超定方程組的最小二乘解的問題

簡(jiǎn)寫為

一般計(jì)算步驟(1)計(jì)算

，其中

(2)計(jì)算ATA,ATb

，形成法方程組ATAx=ATb(3)求解法方程組，輸出

a1,a2,…,an,構(gòu)成

5.3可線性性化模型的最小二乘擬合

例已知觀測(cè)數(shù)據(jù)(1,–5),(2,0),(4,5),(5,6)，試用最小二乘法求形如的經(jīng)驗(yàn)公式。

解

作超定方程組即法方程組為求得a=1.537650114

b=－6.432976311所求經(jīng)驗(yàn)公式為5.5多項(xiàng)式擬合1直線擬合

作超定方程組

n記號(hào)

指對(duì)i從1到n取和法方程組

2二次擬合、拋物擬合

作超定方程組

有法方程組

3一般情形

超定方程組的系數(shù)矩陣

例給定函數(shù)y=f(x)的實(shí)例數(shù)據(jù)表。試用最小二乘法求二次擬合多項(xiàng)式。

解設(shè)二次擬合多項(xiàng)式寫出其正則方程組x1234678y2367532將計(jì)算結(jié)果代入正則方程組解得

a0=-1。3185,a1=3.4321,a2=-0.3864二次擬合曲線

第6章數(shù)值積分和數(shù)值微分

本章的問題：計(jì)算定積分∫abf(x)dx的近似值。必要性:如果f(x)的原函數(shù)是F(x)，則

等.

實(shí)際問題中常有些被積函數(shù)沒有表達(dá)式,只是通過觀測(cè)得到一些離散的數(shù)據(jù)點(diǎn),這樣的定積分也只能用數(shù)值方法近似計(jì)算.（牛頓-萊布尼茲公式）但有些定積分的被積函數(shù)的原函數(shù)不能用初等函數(shù)明顯表示,牛頓-萊布尼茲公式不能用.如第6章數(shù)值積分和數(shù)值微分6.1數(shù)值積分概述6.2牛頓-柯特斯公式6.3變步長(zhǎng)求積和龍貝格算法6.4高斯型求積公式6.5數(shù)值微分6.1.2代數(shù)精度代數(shù)精度與節(jié)點(diǎn)數(shù)的關(guān)系6.1.3插值求積公式6.1.4

構(gòu)造插值求積公式的步驟用待定系數(shù)法構(gòu)造插值求積公式6.2牛頓-柯特斯求積公式6.2.1公式的導(dǎo)出6.2.2牛頓-柯特斯公式的代數(shù)精度6.2.3低階求積公式的余項(xiàng)6.2.4復(fù)化求積法6.2牛頓-柯特斯求積公式

6.2.1

公式的導(dǎo)出2柯特斯系數(shù)的求取n

11/21/2

21/64/61/6

31/83/83/81/8

47/9016/452/1516/457/90

519/28825/9625/14425/14425/9619/288

641/8409/359/28034/1059/2809/3541/840

7751/172803577/172801323/172802989/172802989/172801323/172803577/17280751/17280

8989/283505888/28350-928/2835010496/28350-4540/2835010496/28350-928/283505888/28350989/28350柯特斯求積系數(shù)表：例如：n=1時(shí)，有n=2時(shí)，有柯特斯系數(shù)的性質(zhì)

(2)系數(shù)有對(duì)稱性。

(3)當(dāng)n≥8時(shí)開始出現(xiàn)負(fù)值的柯特斯系數(shù)。

(1)取f(x)≡1，則f(n+1)(x)≡0,Rn(f)≡0，于是梯形公式

當(dāng)n=1時(shí),有

相當(dāng)于用直線P(x)代替f(x)計(jì)算積分。3常用的低階牛頓-柯特斯公式拋物線(辛卜生)公式牛頓－柯特斯求積公式當(dāng)n=2時(shí)有

相當(dāng)于用過兩個(gè)端點(diǎn)和中點(diǎn)的二次拋物線P(x)代替f(x)計(jì)算積分。辛卜生公式的幾何意義

柯特斯公式牛頓－柯特斯求積公式當(dāng)n=4時(shí)有

6.2.2

牛頓－柯特斯公式的代數(shù)精度當(dāng)f(x)是1,x,x2,…,xm時(shí)，準(zhǔn)確成立，但當(dāng)f(x)=xm+1時(shí)，不準(zhǔn)確成立，則稱求積公式的代數(shù)精確度（簡(jiǎn)稱代數(shù)精度）為m。復(fù)習(xí)定義求積公式（Ai與f(x)無關(guān)）

牛頓－柯特斯公式是把積分區(qū)間分成n等分，用n+1個(gè)節(jié)點(diǎn)構(gòu)造的插值求積公式。因此，牛頓－柯特斯公式至少具有n

次代數(shù)精度，但當(dāng)n為偶數(shù)時(shí)具有n+1次代數(shù)精度。

定理當(dāng)n是偶數(shù)時(shí)，牛頓－柯特斯求積公式具有n+1次代數(shù)精確度。梯形公式，

n=1(2個(gè)節(jié)點(diǎn)）,有1次代數(shù)精度，應(yīng)用梯形公式不是因?yàn)槠浯鷶?shù)精度高，而是因?yàn)槠浜?jiǎn)單。辛卜生（拋物線）公式，n=2(3個(gè)節(jié)點(diǎn)）,有3次代數(shù)精度，柯氏公式，n=4(5個(gè)節(jié)點(diǎn)）,有5次代數(shù)精度。因?yàn)槠浯鷶?shù)精度高，所以常采用。當(dāng)n=3(4個(gè)節(jié)點(diǎn)）,因?yàn)閚=3不是偶數(shù)，只有3次代數(shù)精度，所以該公式不采用。

證

由于(x-a)(x-b)在[a,b]

中不變號(hào)，在[a,b]

中連續(xù)，根據(jù)廣義積分中值定理，存在一點(diǎn)η∈[a,b]

,使6.2.3牛頓－柯特斯公式的余項(xiàng)梯形公式、辛卜生公式和柯特斯公式的余項(xiàng)（誤差估計(jì)）定理（梯形公式的余項(xiàng)）設(shè)f(x)在[a,b]上具有連續(xù)的二階導(dǎo)數(shù)，則梯形公式的余項(xiàng)（誤差)

對(duì)梯形公式余項(xiàng)的說明負(fù)號(hào)f(x)的2階導(dǎo)數(shù)，有1次代數(shù)精度。3和區(qū)間的3次方成正比。例證梯形公式的代數(shù)精度為1。證明梯形公式是誤差當(dāng)f(x)=1,x

時(shí)，R1

(f)=0,梯形公式成為準(zhǔn)確等式.當(dāng)f(x)=x2

時(shí)，根據(jù)梯形公式，R1

(f)不為零。因此，梯形公式的代數(shù)精度為1。

定理（辛卜生公式的余項(xiàng)）設(shè)f(x)在[a,b]上具有連續(xù)的四階導(dǎo)數(shù)，則辛卜生公式的余項(xiàng)定理（柯特斯公式的余項(xiàng)）設(shè)f(x)在[a,b]上具有連續(xù)的六階導(dǎo)數(shù)，則柯特斯公式的余項(xiàng)

對(duì)辛卜生公式余項(xiàng)的說明負(fù)號(hào)f(x)的4階導(dǎo)數(shù)，有3次代數(shù)精度。3和區(qū)間的5次方成正比。例證明辛卜生公式的代數(shù)精度為3。證明辛卜生公式是誤差當(dāng)f(x)=1,x,x2,x3

時(shí)，R2

(f)=0,辛卜生公式成為準(zhǔn)確等式.當(dāng)f(x)=x4

時(shí)，因此，辛卜生公式的代數(shù)精確度為3?！?，辛卜生公式不能準(zhǔn)確成立。

對(duì)科特斯公式余項(xiàng)的說明負(fù)號(hào)f(x)的6階導(dǎo)數(shù)，有5次代數(shù)精度。3和區(qū)間的7次方成正比。

梯形公式、辛卜生公式和柯特斯公式在區(qū)間不大時(shí)，用來計(jì)算定積分是簡(jiǎn)單實(shí)用的。但當(dāng)區(qū)間比較大時(shí)，由余項(xiàng)可以看出精度差（梯形公式、辛卜生公式和柯特斯公式的余項(xiàng)分別和區(qū)間長(zhǎng)度的3，5，7次方成正比），為減小因區(qū)間過大造成的誤差過大，將積分區(qū)間等分成n

等份，對(duì)每等份（每個(gè)小區(qū)間）分別用低階的牛頓－柯特斯公式（如梯形公式、辛卜生公式或柯特斯公式）求積，然后將其結(jié)果加起來，得到積分的近似值。6.2.4復(fù)化求積法

復(fù)化求積法的基本思想：為減小因區(qū)間過大而造成的誤差過大，將積分區(qū)間等分成若干等份,每份成為一個(gè)子區(qū)間，然后對(duì)每個(gè)子區(qū)間用低階的求積公式（如梯形公式、辛卜生公式或科特斯公式等）求積，再利用積分的區(qū)間可加性，把各區(qū)間上的積分加起來，得到復(fù)化求積公式。

將積分區(qū)間等分成n個(gè)小區(qū)間，在每個(gè)小區(qū)間上分別用梯形求積公式求積，然后再將其結(jié)果加起來。設(shè)f(x)

在[a,b]上有連續(xù)的二階導(dǎo)數(shù)，n是正整數(shù).將[a,b]等分成n個(gè)小區(qū)間1復(fù)化梯形公式及其誤差在

，上運(yùn)用梯形公式然后對(duì)各子區(qū)間的積分值相加在[a,b]上的誤差由于f″(x)連續(xù)，對(duì)連續(xù)函數(shù)在[a,b]上存在，有（平均值）梯形公式的誤差已知為當(dāng)f(x)在[a,b]有連續(xù)的2階導(dǎo)數(shù)時(shí)，在子區(qū)間例

用n=6的復(fù)化梯形公式計(jì)算積分的近似值。解

44.24.44.64.855.21.827655

用n=6的復(fù)化梯形公式計(jì)算積分解

2復(fù)化辛卜生（拋物線）公式及其誤差記子區(qū)間的中點(diǎn)為

則復(fù)化辛卜生（拋物線）求積公式當(dāng)f(x)

在[a,b]上有連續(xù)的4階導(dǎo)數(shù)時(shí)，在子區(qū)間辛卜生公式的誤差為使絕對(duì)誤差小于10–6。例

用復(fù)化辛卜生公式計(jì)算積分的近似值,解解不等式求得n=6。用n=6的復(fù)化拋物線公式計(jì)算積分，見上例。3復(fù)化柯特斯公式及其誤差將子區(qū)間分成4等份，內(nèi)分點(diǎn)依次為則復(fù)化柯特斯求積公式當(dāng)f(x)在[a,b]有連續(xù)的6階導(dǎo)數(shù)時(shí)，復(fù)化柯特斯公式的誤差6.3變步長(zhǎng)求積和龍貝格算法

復(fù)化求積公式能提高精度，但要給出步長(zhǎng)，步長(zhǎng)太大精度低，步長(zhǎng)太小，計(jì)算量大。實(shí)際計(jì)算用變步長(zhǎng)計(jì)算，在步長(zhǎng)逐次二分過程中，反復(fù)利用復(fù)化求積公式進(jìn)行計(jì)算，直到所求積分值滿足精度要求為止。

將積分區(qū)間等分成n個(gè)子區(qū)間，則有n+1個(gè)分點(diǎn)對(duì)子區(qū)間再增加一個(gè)新節(jié)點(diǎn)，區(qū)間增加1倍，有對(duì)子區(qū)間運(yùn)用梯形公式，有6.3.1變步長(zhǎng)梯形法則

比較取（允許截?cái)嗾`差ε

）在步長(zhǎng)逐次二分的過程中，校驗(yàn)上式，取滿足精度的。若將區(qū)間再分半，為則有6.3.2

龍貝格（Romberg)求積法梯形法的加速梯形法計(jì)算簡(jiǎn)單，精度較低，收斂慢，當(dāng)把區(qū)間分成n等份，用復(fù)化公式計(jì)算積分的近似值為，截?cái)嗾`差為當(dāng)時(shí)，T2n即為所求的近似值。是T2n

的修正項(xiàng)，它與T2n

之和比T2n

、Tn更接近與真值，即它是一種補(bǔ)償。取設(shè)f″(x)在

[a,b]連續(xù)且變化不大時(shí)，有f″(ξn)≈f″(ξ2n),可得近似式驗(yàn)后誤差估計(jì)式下面說明將Tn,T2n的表達(dá)式代入，有2辛卜生法的加速當(dāng)把區(qū)間分成n等份，用復(fù)化辛卜生公式計(jì)算積分的近似值為，截?cái)嗾`差為若將區(qū)間再分半，為則有設(shè)

連續(xù)且變化不大時(shí)，有

,可得近似式具有5次代數(shù)精度。3龍貝格公式（柯特斯法的加速）當(dāng)把區(qū)間分成n等份，用復(fù)化柯特斯公式計(jì)算積分的近似值為，截?cái)嗾`差為若將區(qū)間再分半，為則有設(shè)連續(xù)且變化不大時(shí)，有,可得近似式具有7次代數(shù)精度。龍貝格積分法可以按下面表的順序進(jìn)行：

當(dāng)對(duì)角線上最后兩個(gè)相鄰項(xiàng)滿足時(shí),可停止計(jì)算并取作為所求積分的近似值。例用龍貝格積分法計(jì)算積分

,使精確度達(dá)到10-4。解最后得到………6.4.2高斯-勒讓德（Gauss-Legendre）求積公式

從定理可以看出，當(dāng)給定，節(jié)點(diǎn)就確定了。本題的精確解,求積公式具有4為有效數(shù)字。6.5數(shù)值微分

兩點(diǎn)公式第7章常微分方程初值問題的數(shù)值解法微分方程常微分方程一階常微分方程定階條件：初值問題數(shù)值解法：給定點(diǎn)a=x0<x1<…<xn=b,將初值問題離散化為差分方程,求出解函數(shù)(積分曲線)y(x)在這些點(diǎn)的近似值y1,y2,…,yn

。所求得的近似值y1,y2,…,yn稱為微分方程數(shù)值解。第7章常微分方程初值問題的數(shù)值解法7.1歐拉法7.2龍格-庫(kù)塔法7.3線性多步法7.4收斂性與穩(wěn)定性7.5微分方程組和高階微分方程7.1歐拉法和改進(jìn)的歐拉法7.1.1

歐拉公式7.1.2局部截?cái)嗾`差和階7.1.3隱式（后退）歐拉公式和兩步歐拉公式7.1.4

梯形公式7.1.5

改進(jìn)的歐拉法(預(yù)報(bào)-校正公式)7.1歐拉法

7.1.1歐拉公式3歐拉法數(shù)值微分推導(dǎo)用差商代替導(dǎo)數(shù)

設(shè)等距，步長(zhǎng)

令x=xn,x+h=xn+1,

y(xn)≈yn

，y(xn+1)≈yn+1,初值問題離散化為初值問題(歐拉公式)

，

局部截?cái)嗾`差和階：數(shù)值公式的精度定義局部截?cái)嗾`差：假設(shè)第n步是準(zhǔn)確的，即y(xn

)=yn，將y(xn+1)-yn+1定義為數(shù)值方法的局部截?cái)嗾`差。由于實(shí)際上yn不是準(zhǔn)確值，因此它的誤差會(huì)傳播下去。實(shí)際計(jì)算時(shí)，每一步都可能產(chǎn)生舍入誤差。定義若局部截?cái)嗾`差為O(hp+1),p為正整數(shù)，則稱數(shù)值公式是p階公式。

歐拉公式的截?cái)嗾`差是O(h2)，公式是1階的。二階泰勒公式

兩式相減，由設(shè)yn=y(xn

)，有

歐拉公式的局部截?cái)嗾`差和階7.1.3兩步歐拉公式

1隱式（后退）歐拉公式2兩步歐拉公式：中點(diǎn)方法

7.1.3梯形法對(duì)微分方程y′=f(x,y)兩邊求xn到x