第6章范數(shù)與極限（normandlimit）理解向量范數(shù)、矩陣范數(shù)的概念;掌握幾種常用的范數(shù)；理解范數(shù)等價的定義，了解矩陣的譜半徑及其性質(zhì)。了解矩陣序列與極限的概念。了解矩陣的冪級數(shù)并掌握斂散性的基本判別方法。2021/5/91

對于n維線性空間，定義了內(nèi)積以后，向量就有了長度（大?。?、角度、距離等度量概念，這顯然是3維現(xiàn)實空間中相應(yīng)概念的推廣。利用公理化的方法，可以進(jìn)一步把向量長度的概念推廣到范數(shù)。2021/5/92§1向量范數(shù)

定義1：設(shè)V是數(shù)域P上的線性空間，

V，

表示以

為自變量的的非負(fù)實值函數(shù)，如果它具有下列性質(zhì)：（3）三角不等式：即對任意兩個向量

，

V，恒有

(1)

非負(fù)性：當(dāng)

0,

>0，當(dāng)

=0時，

=0(2)

齊次性：即對任何實數(shù)k

P，

V，則稱

為向量

的范數(shù)，并稱定義了范數(shù)的空間為賦范線性空間2021/5/93Cn中幾個常用范數(shù)：（1）1-范數(shù)（2）2-范數(shù)（3）

-范數(shù)

設(shè)x=(x1,x2,…,xn)T

Cn,則在Cn上定義范數(shù)

2021/5/94關(guān)于p-范數(shù)定理1

Holder不等式定理3對任意向量x，由（*）式定義的||x||p是向量范數(shù)，且有1-范數(shù),2-范數(shù),

-范數(shù)都是p-范數(shù)的特殊情形；定理2Minkowski不等式（*）2021/5/95幾何意義:對任意,對應(yīng)于四種范數(shù)1,2,,p的閉單位圓

||x||=1的圖形分別為注：內(nèi)積空間定義的向量長度等于這里的2-范數(shù)，稱為由內(nèi)積導(dǎo)出的范數(shù)，但范數(shù)不一定都是由內(nèi)積導(dǎo)出的。2021/5/96由已知的范數(shù)構(gòu)造新范數(shù)：定理4

設(shè)||·||

是Cm上的向量范數(shù)，A

Cm

n且rank(A)=n,則由

||x||

=||Ax||，x

Cn所定義的非負(fù)函數(shù)||·||

是Cn上的向量范數(shù)。構(gòu)造新范數(shù)2021/5/97定理5：有限維線性空間V上的任意兩個向量范數(shù)等價。稱范數(shù)||x||

，||x||

等價。定義2：在n維線性空間V上定義兩個向量范數(shù)||x||

，||x||

，若存在兩個正常數(shù)M

與m(M>m)使得對一切x

V，注

這個結(jié)論對無限維未必成立。另外，根據(jù)等價性，處理向量問題（例如向量序列的斂散性）時，我們可以基于一種范數(shù)來建立理論，而使用另一種范數(shù)來進(jìn)行計算。等價范數(shù)2021/5/98對常用范數(shù)，容易驗證下列不等式：

2021/5/99例1

計算C4的向量x=(3i,0,-4i,-12)T的1,2,

范數(shù)。解：||x||1=|3i|+|-4i|+|-12|=19||x||2=(xHx)1/2=[(3i)(-3i)+(-4i)(4i)+(-12)2]1/2=13||x||

=max(|3i|,|0|,|-4i|,|-12|)=12注：在同一線性空間中,不同定義的范數(shù)大小可能不同2021/5/910對任意

，

V，定義

與

之間的距離為

d(

，

)=||-

||稱為由范數(shù)||·||決定的距離。常用距離測度包括:歐氏距離Manhattan(曼哈頓)距離

Chebyshev(切比雪夫)距離距離2021/5/911例（模式識別中的模式分類問題）

模式分類問題指的是根據(jù)已知類型屬性的觀測樣本的模式向量s1,…sm，判斷未知類型屬性的模式向量x歸屬于哪一類模式。其基本思想是根據(jù)x與模式樣本向量si的相似度大小作出判斷。最簡單的方法是用兩向量之間的距離來表示相似度，距離越小，相似度越大。最典型的是Euclidean距離:2021/5/912定義4

設(shè){x(k)}是Cn中的向量序列，其中

x(k)=(x1(k)，x2(k)，…,xn(k))T,如果當(dāng)k

時，x(k)的每一個分量xi(k)都有極限xi(i=1,2,…,n),則稱向量序列{x(k)}是收斂的，并且向量x=(x1，x2，…,xn)T稱為{x(k)}的極限，記為注

不同的向量范數(shù)可能具有不同的大小，但在各種范數(shù)下，向量序列的收斂問題卻表現(xiàn)出簡潔性和一致性。向量序列的極限2021/5/913定理3：向量序列{xk}依坐標(biāo)收斂于x*的充要條件是向量序列依范數(shù)收斂與依坐標(biāo)收斂是等價的。注：若賦范線性空間中任一收斂的向量序列的極限仍屬于此賦范線性空間，稱此空間為完備的賦范線性空間或Banach空間。我們常根據(jù)不同的要求選擇一種方便的范數(shù)來研究向量序列的收斂性問題。2021/5/9141.（廣義）矩陣范數(shù)定義1（廣義）矩陣范數(shù)設(shè)A∈Cm×n，定義一個實值函數(shù)||A||，若滿足：

(1)非負(fù)性：||A||≥0，且||A||=0當(dāng)且僅當(dāng)A=0；(2)齊次性：||aA||=|a|||A||，a∈C；(3)三角不等式：||A+B||≤||A||+||B||，A,B∈Cm×n;則稱||A||為A的廣義矩陣范數(shù)?！?矩陣范數(shù)

2021/5/915例1

對于A=(aij)

Cm

n,都是廣義矩陣范數(shù)，稱為Frobenius范數(shù)，簡稱為F-范數(shù)。2021/5/916定理1（等價性定理）：||·||

與||·||

是Cm

n,上的矩陣范數(shù)，則存在僅與||·||

，||·||

有關(guān)的正數(shù)d1

，d2

，使得

A

Cm

n

，即||·||

與||·||

等價。2021/5/917

2.相容矩陣范數(shù)考慮到矩陣乘法運算的重要性，加入相容性條件。定義2

對任意兩個n階矩陣A、B，有則稱矩陣范數(shù)||·||是相容范數(shù)。2021/5/918定義2包含了矩陣范數(shù)與向量范數(shù)的相容性定義：例如矩陣的F-范數(shù)與向量的Euclid范數(shù)相容：即||Ax||2

||A||F

||x||2例1中的m1-范數(shù)，F(xiàn)-范數(shù)都是相容范數(shù)；注意，m

不具備相容條件；定理4：設(shè)||·||

是Cm

n上的相容矩陣范數(shù)，則在Cn存在與之相容的向量范數(shù)。2021/5/919矩陣不僅僅是向量，它還可以看成變換或算子。實際中，從算子或變換的角度來定義范數(shù)更加有用。下面對給定的向量范數(shù)，定義與之相容的矩陣范數(shù)3.算子范數(shù)2021/5/920定義3：設(shè)||·||

與||·||

分別是Cm與Cn上的兩個向量范數(shù)，對A

Cm

n

，令則||·||

,是Cm

n上的矩陣范數(shù)，且和||·||

與||·||

相容，即||AX||

||A||

,

||x||

稱該矩陣范數(shù)為Cm

n上的算子范數(shù)或由向量范數(shù)||·||

與||·||

誘導(dǎo)出的矩陣范數(shù)。定理5

Cn

n的算子范數(shù)是相容矩陣范數(shù)；2021/5/921定理6：設(shè)n階方陣A=(aij)n

n，則（Ⅰ）與相容的矩陣范數(shù)列和-范數(shù)（Ⅱ）與相容的矩陣范數(shù)譜范數(shù)（Ⅲ）與相容的矩陣范數(shù)行和范數(shù)即矩陣的1-范數(shù)，譜范數(shù)，

-范數(shù)都是由相應(yīng)的向量范數(shù)導(dǎo)出的矩陣范數(shù)。2021/5/922注：矩陣的m1-范數(shù)，m

-范數(shù)，F(xiàn)-范數(shù)不是算子范數(shù)(可由單位矩陣驗證),但F-范數(shù)的優(yōu)點是當(dāng)A左乘或右乘酉矩陣后F-范數(shù)的值不變（酉不變性），所以F-范數(shù)也是常用的范數(shù)之一.2021/5/923注2：譜范數(shù)雖然不便于計算，但它有很多好性質(zhì)：對于m階酉矩陣U和n階酉矩陣V，有

||UAV||2=||A||2

（5）2021/5/924例

S={x

P2|||x||p=1}在矩陣作用下的效果分別為2021/5/9252021/5/926注：矩陣范數(shù)和特征值有個很重要的關(guān)系定理7

對任意的矩陣A

Cn

n，總有

(A)||A||其中，

(A)是A的譜半徑。即A的譜半徑不會超過A的任何一種范數(shù)。2021/5/927計算，，和。解

例1因為所以2021/5/928補充：Hilbert空間定義

完備的內(nèi)積空間V稱為Hilbert空間，記作H即內(nèi)積空間V按距離是完備的，亦是Banach空間。完備空間：一個度量空間中的任何Cauchy列都收斂在該空間內(nèi)，稱該空間是完備的；直觀上講，一個空間完備就是指“沒有孔”且“不缺皮”，兩者都是某種“不缺點”。沒有孔是指內(nèi)部不缺點，不缺皮是指邊界上不缺點。

設(shè){xn}是度量空間中的向量序列，如果對于任意的ε>0，存在自然數(shù)N，當(dāng)m,n>N時，d(xm,xn)<ε，稱{xn}是一個Cauchy列。2021/5/929補充：Hilbert空間Hilbert空間是有限維歐幾里得空間向無窮維的推廣；完備性使得微積分中的大部分概念都可以無障礙地推廣到希爾伯特空間中。希爾伯特空間為基于任意正交系上的多項式表示的傅立葉級數(shù)和傅立葉變換提供了一種有效的表述方式。2021/5/930舉例例1

在n維（實或復(fù)數(shù)）向量空間Rn中，

范數(shù)

按范數(shù)是完備的內(nèi)積空間，即Hilbert空間。定義內(nèi)積2021/5/931在中，定義內(nèi)積

（滿足三條公理），則按范數(shù)是完備的內(nèi)積空間——Hilbert空間例2范數(shù)L2[a,b]指的是平方可積函數(shù)的集合，按照函數(shù)的加法和數(shù)乘構(gòu)成線性空間：其一組基最常用的是三角函數(shù)系2021/5/932例3在定義內(nèi)積

（滿足三條公理）l2是Hilbert空間。稱為平方可和空間范數(shù)

2021/5/933是內(nèi)積空間U中的標(biāo)準(zhǔn)正交基

則對于

x

U，x在M上的投影并且

標(biāo)準(zhǔn)正交基的性質(zhì)1.設(shè)通常稱

x0的長度為Bessel不等式。即x在M上的投影2021/5/9342.推廣到無窮維：是U中的標(biāo)準(zhǔn)正交基，則對

x

U有設(shè)2021/5/9353.最佳逼近定理設(shè)是U中的標(biāo)準(zhǔn)正交基，x

U，則對于任意一組數(shù)，恒有

（***）2021/5/936該定理說明：U中的任意元x，當(dāng)用作有限維線性組合去逼近時，以為最好逼近元，其中線性組合系數(shù)(x,ei)可見在有限維線性子空間M中求U中x的最佳逼近元等同于求投影。稱為Fourier系數(shù)。2021/5/937標(biāo)準(zhǔn)正交基的完全性及完備性是內(nèi)積空間U中的標(biāo)準(zhǔn)正交基,當(dāng)且僅當(dāng)時，則稱L={ei}是完全的。1.定義設(shè)（1）若對于

x

U此式稱為巴塞弗（Parseval）等式，也稱為廣義“商高定理”（2）若對于

x

U，都有則稱L={ei}是完備的。2021/5/9382021/5/939定理2

H空間中任意兩個完全標(biāo)準(zhǔn)正交基和具有相同的基之間存在一一對應(yīng)的關(guān)系）。（即2021/5/940定理3

無窮維H空間可分的H中存在完全標(biāo)準(zhǔn)正交基。注：H可分：在H中存在可數(shù)子集D，使得H中的每個元素都是D中元素序列的極限。2021/5/941定理4

無窮維可分的H空間必與l2空間線性及內(nèi)積同構(gòu)。即：存在H到l2的一一映射

，使其保持線性運算及內(nèi)積相等，即

例如：可取則

是由H到l2的一一映射，并且H與l2線性及內(nèi)積同構(gòu)。2021/5/942特別的，當(dāng)H中的完全標(biāo)準(zhǔn)正交基為有限集時，則H與Rn同構(gòu)，可取映射

由此可知，歐氏空間Rn可看作有限維H空間的模型，平方可和空間l2可以看作無限維H空間的模型。從而把對可分的H空間的研究轉(zhuǎn)化為對Rn或l2的研究。例如：是可分的H空間，要研究中的函數(shù)，只要研究該函數(shù)的傅立葉系數(shù)就夠了。2021/5/943根據(jù)模式識別理論，低維空間線性不可分的模式通過非線性映射到高維特征空間則可能實現(xiàn)線性可分，但是如果直接采用這種技術(shù)在高維空間進(jìn)行分類或回歸，則存在確定非線性映射函數(shù)的形式和參數(shù)、特征空間維數(shù)等問題，而最大的障礙則是在高維特征空間運算時存在的“維數(shù)災(zāi)難”。采用核函數(shù)技術(shù)可以有效地解決這樣問題。SVM2021/5/944設(shè)x,z∈X,X屬于R（n）空間,非線性函數(shù)Φ實現(xiàn)輸入空間X到特征空間F的映射,其中F屬于R（m）,n<<m。根據(jù)核函數(shù)技術(shù)有：K(x,z)=<Φ(x),Φ(z)>(1)其中：<,>為內(nèi)積,K(x,z)為核函數(shù)。從式(1)可以看出，核函數(shù)將m維高維空間的內(nèi)積運算轉(zhuǎn)化為n維低維輸入空間的核函數(shù)計算，從而巧妙地解決了在高維特征空間中計算的“維數(shù)災(zāi)難”等問題，從而為在高維特征空間解決復(fù)雜的分類或回歸問題奠定了理論基礎(chǔ)。如何定義K(x,z)？mercer定理：充要條件K(x,z)是對稱半正定矩陣2021/5/945由于n階矩陣可以看成n

n向量，所以矩陣序列的收斂問題可以和向量序列的收斂問題一樣考慮?！?矩陣序列與矩陣級數(shù)

定義1

設(shè)矩陣序列{A(k)}，其中

如果mn個數(shù)列都收斂，則稱矩陣序列{A(k)}收斂。進(jìn)一步，如果那么我們稱矩陣為矩陣序列的極限。記為

2021/5/946例12021/5/947定理1

矩陣序列收斂于A的充分必要條件是其中為任意一種矩陣范數(shù)。

2021/5/948（1）一個收斂的矩陣序列的極限是唯一的。（2）設(shè)矩陣序列的極限運算性質(zhì)（5）設(shè)，且，A均可逆，則也收斂，且則（3）設(shè)其中則（4）設(shè)，其中則

2021/5/949定義設(shè)如果有，則稱A為收斂矩陣。則的充分必要條件為定理6.3.2

設(shè)推論設(shè)如果存在上的相容矩陣范數(shù)使則有方陣的冪構(gòu)成的序列2021/5/950例2

判斷矩陣是否為收斂矩陣解：由知A為收斂矩陣。注意：是矩陣A為收斂矩陣的充分條件，不是必要條件。即：矩陣A的范數(shù)都大于1，該矩陣也有可能是收斂矩陣。2021/5/951

由中的矩陣序列構(gòu)成的無窮和稱為矩陣級數(shù)，記為，

若由矩陣級數(shù)的部分和構(gòu)成的矩陣序列收斂，且有極限S,即，則稱矩陣級數(shù)收斂，且有和S。

記為:為矩陣級數(shù)的部分和。稱:定義1矩陣級數(shù)不收斂的矩陣的級數(shù)稱之為發(fā)散的。2021/5/9523.若矩陣級數(shù)收斂（或絕對收斂），則矩陣級數(shù)