1、第3章 曲線擬合的最小二乘法,給出一組離散點(diǎn)，確定一個(gè)函數(shù)逼近原函數(shù)，插值是這樣的一種手段。在實(shí)際中，數(shù)據(jù)不可避免的會(huì)有誤差，插值函數(shù)會(huì)將這些誤差也包括在內(nèi)。,因此，我們需要一種新的逼近原函數(shù)的手段： 不要求過(guò)所有的點(diǎn)（可以消除誤差影響）； 盡可能表現(xiàn)數(shù)據(jù)的趨勢(shì)，靠近這些點(diǎn)。,有時(shí)候，問(wèn)題本身不要求構(gòu)造的函數(shù)過(guò)所有的點(diǎn)。如：5個(gè)風(fēng)景點(diǎn)，要修一條公路S使得S為直線，且到所有風(fēng)景點(diǎn)的距離和最小。,先講些預(yù)備知識(shí),對(duì)如上2類問(wèn)題，有一個(gè)共同的數(shù)學(xué)提法：找函數(shù)空間上的函數(shù)g，使得g到f的距離最小。,向量范數(shù),映射：,滿足：,非負(fù)性,齊次性,三角不等式,稱該映射為向量的一種范數(shù),預(yù)備知識(shí),定義,常見的范

2、數(shù)有：,常用范數(shù)的等價(jià)關(guān)系：,我們定義兩點(diǎn)的距離為：,定義：函數(shù) f 的離散范數(shù)為,提示：該種范數(shù)的定義與向量的 2 范數(shù)一致,我們還可以定義函數(shù)的離散范數(shù)為：,特性：,f(x)為定義在區(qū)間a,b上的函數(shù)， 為區(qū)間上n+1個(gè)互不相同的點(diǎn)， 為給定的某一函數(shù)類。求 上的函數(shù) g(x) 滿足 f(x) 和 g(x) 的距離最小,如果這種距離取為2范數(shù)的話，稱為最小二乘問(wèn)題,曲線擬合的最小二乘問(wèn)題,定義,下面我們來(lái)看看最小二乘問(wèn)題：,求 使得 最小,設(shè),最小,則,即,關(guān)于系數(shù),即,寫成矩陣形式有：,法方程,第一步：函數(shù)空間的基,，然后列出法方程,第一步：函數(shù)空間的基,，然后列出法方程,例：,第一步：

3、函數(shù)空間的基,，然后列出法方程,由,，可以先做,求解一個(gè)矛盾方程組，計(jì)算的是在均方誤差,極小意義下的解,也就是最小二乘問(wèn)題。,我們有：,矛盾方程組恒有解，且,矛盾方程組的求解,定義：矩陣范數(shù),矩陣范數(shù)，是由向量的范數(shù)定義的,矩陣范數(shù)和條件數(shù),矩陣范數(shù)也是等價(jià)的,對(duì)應(yīng)于3種常見的向量范數(shù)，有3種矩陣范數(shù),列和的最大值,行和的最大值,定理：,若,為,的特征值，則,證：,x為A的特征值,#證畢,易知：,條件數(shù)和病態(tài)矩陣,條件數(shù)表示了對(duì)誤差的放大率,類似有,可以證明,注：一般判斷矩陣是否病態(tài)，并不計(jì)算A1，而由經(jīng)驗(yàn)得出。 行列式很大或很?。ㄈ缒承┬?、列近似相關(guān)）； 元素間相差大數(shù)量級(jí)，且無(wú)規(guī)則； 主元消去過(guò)程中出現(xiàn)小主元； 特征值相差大數(shù)量級(jí)。,精確解為,A1 =,解：考察 A 的特征根,39206 1, 測(cè)試病態(tài)程度：,此時(shí)精確解為,2.0102 200%,為對(duì)稱矩陣,Homework,對(duì)數(shù)據(jù)點(diǎn),估計(jì)如下兩組基函數(shù)的法方程的條件數(shù),Homework,對(duì)互不相同的點(diǎn),，在次數(shù)不超過(guò),