1、第五章 向量范數(shù)和矩陣范數(shù),對(duì)于實(shí)數(shù)和復(fù)數(shù)，由于定義了它們的絕對(duì)值或模，這樣我們就可以用這個(gè)度量來表示它們的大?。◣缀紊暇褪情L(zhǎng)度），進(jìn)而可以考察兩個(gè)實(shí)數(shù)或復(fù)數(shù)的距離。,對(duì)于 維線性空間，定義了內(nèi)積以后，向量就有了長(zhǎng)度（大小）、角度、距離等度量概念，這顯然是3維現(xiàn)實(shí)空間中相應(yīng)概念的推廣。利用公理化的方法，可以進(jìn)一步把向量長(zhǎng)度的概念推廣到范數(shù)。,1、向量范數(shù),一、 從向量的長(zhǎng)度或模談起,，當(dāng)且僅當(dāng) 時(shí)，等號(hào)成立。,例 1復(fù)數(shù) 的長(zhǎng)度或模指的是量,顯然復(fù)向量 的模 具有下列三條性質(zhì)：,，當(dāng)且僅當(dāng) 時(shí)，等號(hào)成立。,顯然向量 的模 也具有下列三條性質(zhì)：,例 2 維歐氏空間中向量 的長(zhǎng)度或模定義為,二、

2、向量范數(shù)的概念,定義3如果 是數(shù)域 上的線性空間，對(duì) 中的任意向量 ，都有一個(gè)非負(fù)實(shí)數(shù) 與之對(duì)應(yīng)，并且具有下列三個(gè)條件（正定性、正齊性和三角不等式）：,則稱 是向量 的向量范數(shù)，稱定義了范數(shù)的線性空間 為賦范線性空間。,拓?fù)淇臻g,線性空間,Hausdorff空間,賦范空間,距離空間 (度量空間),拓?fù)渚€性空間,完備距離線性空間,距離線性空間,內(nèi)積空間,Hilbert空間,Banach空間,歐氏空間 和,各類空間的層次關(guān)系,例 4 設(shè) 是內(nèi)積空間，則由,定義的 是 上的向量范數(shù)，稱為由內(nèi)積 導(dǎo)出的范數(shù)。這說明范數(shù)未必都可由內(nèi)積導(dǎo)出。例如后面介紹的 和 。,三、 常用的向量范數(shù),例 7 對(duì)任意 ，

3、由,定義的 是 上的向量范數(shù)，稱為p -范數(shù)或 范數(shù)。,例 8 對(duì)任意 ，由,定義的 是 上的向量范數(shù)，稱為1-范數(shù)或 范數(shù)或和范數(shù)，也被風(fēng)趣地稱為Manhattan范數(shù)。,特別地，p = 1 時(shí)，有,遺憾的是，當(dāng) 時(shí)，由,定義的 不是 上的向量范數(shù)。,因?yàn)?時(shí)，取 ，則,例 9 對(duì)任意 ，由,定義的 是 上的向量范數(shù)，稱為 -范數(shù)或 范數(shù)或極大范數(shù)。,在廣義實(shí)數(shù)范圍內(nèi)，P能否取到正無窮大呢？具體而言，如何計(jì)算這種范數(shù)呢？,也就是,證明： 驗(yàn)證 是向量范數(shù)顯然很容易。下證 。,令 ，則有,由極限的兩邊夾法則，并注意到 ，即得欲證結(jié)論。,解 ：,%ex501.m i=sqrt(-1);a=3*i

4、,0,-4*i,-12; norm(a),norm(a,1),norm(a,inf),ans = 13 ans = 19 ans = 12,這些范數(shù)在幾何上如何理解呢？,例11 對(duì)任意 ，對(duì)應(yīng)于 四種范數(shù)的閉單位圓 的圖形分別為,特別地， 范數(shù)、 范數(shù)和 范數(shù)分別為,對(duì)于任意 ，有,當(dāng) 時(shí)， ；當(dāng) 時(shí)由 對(duì)稱正定知 ，即 。,由于 為Hermite正定矩陣，故存在酉矩陣 ，使得,從而有,這里 的特征值 都為正數(shù)。,此時(shí),因此對(duì)任意 ，,這從幾何上可以理解成求可逆變換 的像的“長(zhǎng)度” 。這說明只要運(yùn)算 成立即可，因此對(duì)矩陣 的要求可放寬為列滿秩矩陣。,如果 ，此時(shí) ，這就是加權(quán)范數(shù)或橢圓范數(shù)名稱

5、的由來。,一般地，由于 是Hermite正定矩陣，從而存在Cholesky分解，即存在可逆矩陣 （未必是酉矩陣），使得 ，因此,為李雅普諾夫（Lyapunov）函數(shù)，這里 是正定對(duì)稱矩陣。大家已經(jīng)知道，此函數(shù)是討論線性和非線性系統(tǒng)穩(wěn)定性的重要工具。,在現(xiàn)代控制理論中，稱二次型函數(shù),例 14 （模式識(shí)別中的模式分類問題）,模式分類的問題指的是根據(jù)已知類型屬性的觀測(cè)樣本的模式向量 ，判斷未知類型屬性的模式向量 歸屬于哪一類模式。其基本思想是根據(jù) 與模式樣本向量 的相似度大小作出判斷。,最簡(jiǎn)單的方法是用兩向量之間的距離來表示相似度，距離越小，相似度越大。最典型的是Euclidean距離,其他距離測(cè)度

6、還包括,以及與橢圓范數(shù)類似的Mahalanobis距離：,這里 是從正態(tài)母體 中抽取的兩個(gè)樣本。,四、 向量范數(shù)的性質(zhì),定理15 Euclid范數(shù)是酉不變的，即對(duì)任意酉矩陣 以及任意 ，均有,這個(gè)定理的結(jié)論是顯然的，因?yàn)橛献儞Q保持向量的內(nèi)積不變，自然也保持了Euclid意義下的幾何結(jié)構(gòu)（長(zhǎng)度、角度或范數(shù)等）不變。,注意這個(gè)結(jié)論對(duì)無限維未必成立。另外，根據(jù)等價(jià)性，處理向量問題（例如向量序列的斂散性）時(shí)，我們可以基于一種范數(shù)來建立理論，而使用另一種范數(shù)來進(jìn)行計(jì)算。,定理16 有限維線性空間 上的不同范數(shù)是等價(jià)的，即對(duì) 上定義的任意兩種范數(shù) ，必存在兩個(gè)任意正常數(shù) ，使得,2、矩陣范數(shù),向量是特殊的

7、矩陣， 矩陣可以看成一個(gè) 維向量，因此自然想到將向量范數(shù)推廣到矩陣范數(shù)。,一、 矩陣范數(shù)的概念,定義1 對(duì) 中的任意矩陣 ，都有一個(gè)非負(fù)實(shí)數(shù) 與之對(duì)應(yīng)，并且具有下列三個(gè)條件（正定性、正齊性和三角不等式,矩陣乘法相容性）：,則稱 是矩陣 的矩陣范數(shù)。,(4) (矩陣乘法相容性),例 2 對(duì)任意 ，由,定義的 是 上的矩陣范數(shù)，稱為 范數(shù)。,例 3 對(duì)任意 ，由,定義的 是 上的（廣義）矩陣范數(shù)，稱為 范數(shù)。,例 4 對(duì)任意 ，由,定義的 是 上的矩陣范數(shù)，稱為 范數(shù)，Euclid 范數(shù)或Frobenius范數(shù)(F范數(shù))。,二、 算子范數(shù)和范數(shù)的相容性,矩陣不僅僅是向量，它還可以看成變換或算子。

8、實(shí)際中，從算子或變換的角度來定義范數(shù)更加有用。,定義5 對(duì) 中的任意矩陣 ，用一個(gè)非負(fù)實(shí)數(shù) 表示對(duì)于任意向量 ， 可以“拉伸”向量 的最大倍數(shù)，即使得不等式 成立的最小的數(shù) 。稱 為范數(shù) 和 誘導(dǎo)出的矩陣范數(shù)或算子范數(shù)。,由矩陣范數(shù)的正齊性可知 的作用是由它對(duì)單位向量的作用所決定，因此可以等價(jià)地用單位向量在 下的像來定義矩陣范數(shù)，即,從幾何上看，矩陣范數(shù)反映了線性映射把一個(gè)向量映射為另一個(gè)向量，向量的“長(zhǎng)度”縮放的比例 的上界。,而且考慮到矩陣乘法的重要地位，因此討論矩陣范數(shù)時(shí)一般附加“范數(shù)相容性”條件（這里的范數(shù)一般要求是同類的）：,注意到 即,可以證明，前面給出的矩陣范數(shù) 都滿足“相容性條

9、件”，即成立,但是矩陣范數(shù) 不滿足“相容性條件”。例如對(duì)于矩陣,就有,要使矩陣范數(shù) 滿足“相容性條件”，則可以修正其定義為：,在“相容性條件”中，如果 而且范數(shù) 與范數(shù) 相同時(shí)，即如果有 則稱矩陣范數(shù) 與向量范數(shù) 是相容的。,證明：,定理6 上的矩陣F-范數(shù)與 上的向量2-范數(shù)相容。,根據(jù)算子范數(shù)的定義，當(dāng)向量范數(shù) 分別為 時(shí)，我們可誘導(dǎo)出相應(yīng)的相容矩陣范數(shù) 。,設(shè)任意矩陣 ，則1-范數(shù)單位球,在 下的像中的任意向量 滿足,從而,如果 ，則選取 ，此時(shí)由 ，得,因此,類似地可得，,實(shí)際上，這些誘導(dǎo)矩陣范數(shù)具有如下的表示定理。,定理7 對(duì) 中的任意矩陣 ，有,最大列和,最大行和,最大譜,證明：,

10、所以 是半正定Hermite矩陣,因此特征值全部為非負(fù)實(shí)數(shù)。設(shè)為,并設(shè)對(duì)應(yīng)的兩兩互相正交且2-范數(shù)都為1的特征向量為 ，那么，對(duì)于任意的單位2-范數(shù)向量 ，必成立,由于,因此有,所以,因此成立,另外，由于 ，而且,同樣給出這些范數(shù)在幾何上的理解。,例 8 求矩陣 的 范數(shù)（ ），并考察對(duì)應(yīng)于 的三種向量范數(shù)的閉單位球 在矩陣 作用下的效果。,%ex502.m A=1 2;0 2; norm(A),norm(A,1),norm(A,inf),ans = 2.9208 ans = 4 ans = 3,定理9 上的譜范數(shù)具有下列性質(zhì)：,三、矩陣范數(shù)的一些性質(zhì),(1),設(shè)有 使 ，令 ，則有,證明：,

11、(2),(3),設(shè)有 使 ，則,定理10 上的矩陣F-范數(shù)和譜范數(shù)都是酉不變的，即對(duì)任意酉矩陣 ，恒有,令,則,即,對(duì)于譜范數(shù)的情形，利用定義即可。,對(duì)于譜范數(shù)， 這個(gè)定理的結(jié)論可以推廣到列正交酉矩陣，即 的情形，此時(shí)仍然成立,利用定理9可以證明這個(gè)推廣結(jié)論。,3、 范數(shù)的應(yīng)用,長(zhǎng)度和距離在實(shí)分析和復(fù)分析中的應(yīng)用，我們已經(jīng)有充分認(rèn)識(shí)，而范數(shù)是長(zhǎng)度和距離的推廣，因此范數(shù)作為一種推廣的度量，由于其抽象性和概括性，其應(yīng)用范圍自然也隨之?dāng)U展。至少在矩陣分析和數(shù)值線性代數(shù)領(lǐng)域，范數(shù)有著深刻的應(yīng)用。,一、譜半徑與矩陣范數(shù),根據(jù)矩陣的誘導(dǎo)范數(shù)的含義，結(jié)合特征值，,設(shè) 為 的任意特征對(duì)，則,從而,這說明矩陣特

12、征值的模都不超過它的范數(shù)。,定義1設(shè) 的特征值為 ，稱,為矩陣 的譜半徑。,定理2對(duì) 的任意矩陣范數(shù) ，恒有,當(dāng) 是正規(guī)矩陣時(shí)，等號(hào)對(duì)2-范數(shù)成立。,當(dāng) 是正規(guī)陣時(shí)，有特征值分解,從而,故結(jié)論成立。,證明：,%ex503.m A=-1 1 0;-4 3 0; 1 0 2; D=eig(A)； %eig函數(shù)雖然不能求出廣義特征向量，但能求出所%有特征值，這里D為所有特征值構(gòu)成的列向量 norm(D,inf),ans = 2,定理4 對(duì) ，存在 上矩陣范數(shù) ，對(duì)任意 ，恒有,定理2給出了矩陣譜半徑的的一個(gè)上界，那么矩陣譜半徑的下界呢？,注意這里的矩陣范數(shù)與矩陣 有關(guān)。,對(duì)任意矩陣 ，存在Jorda

13、n標(biāo)準(zhǔn)型,其中 ，,證明：,令 ，則,從而,易證函數(shù) 是 上的矩陣范數(shù)，這里,例5 設(shè) 為 的單位列向量 ,令 ， 則(1) ；(2) ；(3),(1) 因?yàn)?，所以,(2) 因?yàn)橹?，并且 是對(duì)稱矩陣，所以1是矩陣 唯一的非零特征值，因此矩陣 的特征值為 ，從而,(3),二、矩陣逆和線性方程組解的擾動(dòng)分析,例 6 線性方程組,的精確解為,如果系數(shù)矩陣和常數(shù)項(xiàng)分別有一個(gè)擾動(dòng),則擾動(dòng)后的線性方程組為,它的精確解為,顯然，由于原方程組本身的固有性質(zhì)導(dǎo)致原始數(shù)據(jù)的小擾動(dòng)引起解的很大變化，我們稱這樣的問題是病態(tài)的（敏感的）或不穩(wěn)定的。,下面定量分析系數(shù)矩陣和常數(shù)項(xiàng)的擾動(dòng)對(duì)線性方程組解的影響。,設(shè)非奇異

14、線性方程組 ，經(jīng)擾動(dòng)后仍有唯一解 ，即成立,因此,兩邊取范數(shù)，并縮放，得,如果有 ，則,絕對(duì)誤差估計(jì)式,再由 ，可得,即,因此,這里,相對(duì)誤差估計(jì)式,顯然在相對(duì)誤差估計(jì)式中，系數(shù) 反映了方程組解 的相對(duì)誤差對(duì)于系數(shù)矩陣 和常數(shù)項(xiàng) 的相對(duì)誤差的依賴程度。 越大，方程組解的相對(duì)誤差也越大。,定義7 對(duì)非奇異線性方程組 ，稱數(shù),為求解線性方程組的條件數(shù)。,問題是非奇異線性方程組 經(jīng)過擾動(dòng)后未必有唯一解，也即非奇異矩陣 經(jīng)過什么樣的擾動(dòng)后得到的矩陣 仍然是可逆的呢？擾動(dòng)對(duì)逆矩陣又有何影響？,由于,兩邊取范數(shù)，并縮放，得,因此,下一步需要縮放 ，由于,假定 可逆，兩邊取范數(shù)，并縮放，得,因此,令 ，由于

15、,即,兩邊取范數(shù)，并縮放，得,如果有 ，則,下一步需要縮放 。,并且 的任意特征值 ，從而 的特征值 均不為零，因此矩陣 可逆。,引理8 對(duì) ，若 ，則矩陣 非奇異，且,從而由引理8，得,由于 ，將條件 修改為 ，此時(shí)仍有,絕對(duì)誤差估計(jì)式,即,相對(duì)誤差估計(jì)式,定義9稱數(shù),為可逆矩陣 關(guān)于求逆的條件數(shù)。,定理10 設(shè) 非奇異，且 。如果擾動(dòng)矩陣 滿足條件,則擾動(dòng)后的矩陣 為非奇異矩陣，并且,定理11 設(shè) 非奇異，且 。如果擾動(dòng)矩陣 滿足條件,則非齊次線性方程組 經(jīng)過擾動(dòng)后的方程組 有唯一解有唯一解 ，并且,%ex504.m A1=1 0.99;0.99 0.98;b1=1;1; dA=0 0 ;

16、0 0.01;db=0 ; 0.001; %擾動(dòng) k=cond(A1) %矩陣A的條件數(shù) Ab1=A1 b1; UC1=rref(Ab1); %內(nèi)置函數(shù)rref化矩陣為最簡(jiǎn)形 x1=UC1(:,3) %原方程組的解 A2=A1+dA;b2=b1+db; Ab2=A2 b2; UC2=rref(Ab2); x2=UC2(:,3) %擾動(dòng)后的方程組的解 dx=x2-x1;rx=100*norm(dx)/norm(x1) %解的絕對(duì)誤差和相對(duì)誤差,k = 3.9206e+004 x1 = 100 -100 x2 = -0.1000 1.1111 rx = 100.6068,%ex504.m(續(xù)) A1=1 0.99;0.99 0.98;b1=1;1; dA=0 0 ;0 0.0