1、第三章第三章 判別函數(shù)分類器判別函數(shù)分類器矢量矢量矢量X可以看作是N維歐氏空間中的一個(gè)點(diǎn)，用一個(gè)列矢量表示： 12NxxxX矩陣矩陣矩陣可以看作是由若干個(gè)矢量構(gòu)成的： 12TTTMXXAX矩陣的秩矩陣的秩n矩陣所有行向量的最大無(wú)關(guān)組個(gè)數(shù)稱為行秩；n矩陣所有列向量的最大無(wú)關(guān)組個(gè)數(shù)稱為列秩；n一個(gè)矩陣的行秩等于列秩，稱為矩陣的秩。轉(zhuǎn)置轉(zhuǎn)置n列矢量W的轉(zhuǎn)置WT為一個(gè)行矢量；nN*M的矩陣A的轉(zhuǎn)置AT為一個(gè)M*N的矩陣。矢量與矢量的乘法矢量與矢量的乘法(1) n設(shè)W和X為N維列矢量1NTiiiw xW X結(jié)果是一個(gè)數(shù)。矢量與矢量的乘法矢量與矢量的乘法(2) n設(shè)W和X為N維列矢量結(jié)果是一個(gè)N*N維的矩

2、陣。1 11212122212NNTNNNNw xw xw xw xw xw xw xw xw xWX矢量與矩陣的乘法n設(shè)W為N維列矢量，A為一個(gè)N*M的矩陣：11211NiiiNiiTiNiiNiwawawaW A結(jié)果是一個(gè)N維列矢量。正交正交n設(shè)W和X為N維列矢量，如果W與X的內(nèi)積等于零：0TW X則稱W與X正交，也稱W垂直于X。 逆矩陣逆矩陣nA為一個(gè)N*N的方陣，A的逆陣用A-1表示，滿足：11AAA AI 其中I為單位陣。 一個(gè)矩陣的逆陣存在條件：1)是一個(gè)方陣，2)是一個(gè)滿秩矩陣，矩陣的秩為N矩陣的特征值和特征向量矩陣的特征值和特征向量nA為一個(gè)N*N的方陣，如果有：A 數(shù)稱為A的

3、特征值，矢量稱為A的特征矢量。矩陣的跡和行列式值矩陣的跡和行列式值nA為一個(gè)N*N的方陣，A的跡為主對(duì)角線元素之和：1NijitraAnA為一個(gè)N*N的方陣，A的跡為主對(duì)角線元素之和： det A矩陣的跡、行列式值與特征值矩陣的跡、行列式值與特征值之間的關(guān)系之間的關(guān)系n矩陣A有N個(gè)特征值1，2， N，則有如下關(guān)系：1NiitrA1det( )NiiA矩陣對(duì)數(shù)值變量微分矩陣對(duì)數(shù)值變量微分n矩陣A(t)=aij(t)M*N，元素aij(t)是變量t的函數(shù)，矩陣A(t)對(duì)t的微分：( )( )ijM Nda tdtdtdtA矩陣函數(shù)對(duì)矩陣的微分矩陣函數(shù)對(duì)矩陣的微分n矩陣X=(xij)M*N，M*N元

4、函數(shù)f(X)，定義f(X)對(duì)矩陣X的導(dǎo)數(shù)：1111NijM NMMNffxxdffdxffxx X常用矢量微分的性質(zhì)nX和W為N維矢量，A為M*N的矩陣： TfXX W dfdXWX TfXW X dfdXWX TfXX AX ()TdfdXAAXX3.1 線性判別函數(shù)線性判別函數(shù)n一、兩類問(wèn)題一、兩類問(wèn)題n二、多類問(wèn)題二、多類問(wèn)題兩類問(wèn)題的線性判別函數(shù)兩類問(wèn)題的線性判別函數(shù)nX0=(x1, x2, xN)T為待識(shí)模式的特征矢量；nW0=(w1, w2, , wN)T稱為權(quán)矢量。01 1221001Tnnnndw xw xw xwwXW X線性判別函數(shù)的增廣形式線性判別函數(shù)的增廣形式nX=(x

5、1, x2, xN, 1) T稱為增廣的特征矢量；nW=(w1, w2, , wN , 1)T稱為增廣的權(quán)矢量。 TdXW X兩類問(wèn)題線性判別準(zhǔn)則兩類問(wèn)題線性判別準(zhǔn)則 120,0,0,TdXXW XX拒識(shí)多類問(wèn)題（情況一）多類問(wèn)題（情況一）n每一類模式可以用一個(gè)超平面與其它類別分開(kāi)；n這種情況可以把M個(gè)類別的多類問(wèn)題分解為M個(gè)兩類問(wèn)題解決；多類問(wèn)題（情況一）多類問(wèn)題（情況一） 112dxx X 2125dxxX 321dx X類別一類別二x1x2類別三 IR IR IR IRd3(X)=0d2(X)=0d1(X)=0多類問(wèn)題（情況一）判別規(guī)則多類問(wèn)題（情況一）判別規(guī)則n當(dāng)d1(X)0，而d2(

6、X)0且d3(X)0時(shí)，判別X屬于1；n當(dāng)d2(X)0，而d1(X)0且d3(X)0時(shí)，判別X屬于2；n當(dāng)d3(X)0，而d1(X)0且d2(X)dj(Xk)，對(duì)任意的ji，則： W i(k+1)=W i(k)，i=1,L若Xk屬于i，而dl(Xk)dj(Xk)，則： W i(k+1)=Wi(k)+CXk； W l(k+1)=Wl(k)+CXk W j(k+1)=Wj(k)，jI, l擴(kuò)展的感知器算法擴(kuò)展的感知器算法4.重復(fù)2，3步，當(dāng)k=M時(shí)，檢測(cè)L個(gè)判別函數(shù)是否能夠?qū)θ坑?xùn)練樣本正確分類，如正確分類，則結(jié)束，否則k=1，轉(zhuǎn)2，繼續(xù)。3.4 非線性判別函數(shù)的學(xué)習(xí)非線性判別函數(shù)的學(xué)習(xí)n一、二次判別函數(shù)一、二次判別函數(shù)n二、分段線性函數(shù)二、分段線性函數(shù)n三、其它非線性判別函數(shù)方法三、其它非線性判別函數(shù)方法XOR問(wèn)題二次判別函數(shù)二次判別函數(shù)n增加特征的高次項(xiàng)，降低維特征轉(zhuǎn)化為高維特征；n2維特征的二次判別函數(shù)。 221 1223 1425 126da xa xa xa xa x xaXXOR問(wèn)題的二次函數(shù)解 221212120.66361.00560.41890.85783.39080.6207dxxxxx xX分段線性函數(shù)分段線