1、第二章 模式判別 模式判別的基本任務(wù)：判斷一個(gè)未知模式判別的基本任務(wù)：判斷一個(gè)未知類別的樣本屬于哪一個(gè)待選類別。類別的樣本屬于哪一個(gè)待選類別。 模式判別的基本思路：模式判別的基本思路：對(duì)待選的對(duì)待選的c個(gè)類別有個(gè)基本的了解個(gè)類別有個(gè)基本的了解給出每個(gè)類別的代表樣本，也就是訓(xùn)練給出每個(gè)類別的代表樣本，也就是訓(xùn)練樣本，這些樣本分別代表的待選類別的樣本，這些樣本分別代表的待選類別的典型特征典型特征選擇選擇n個(gè)合適的特征對(duì)提供的訓(xùn)練樣本進(jìn)個(gè)合適的特征對(duì)提供的訓(xùn)練樣本進(jìn)行描述行描述將特征進(jìn)行量化描述，則每個(gè)訓(xùn)練樣本將特征進(jìn)行量化描述，則每個(gè)訓(xùn)練樣本就可以用特征空間中的一個(gè)點(diǎn)來(lái)表示。就可以用特征空間中的一

2、個(gè)點(diǎn)來(lái)表示。 模式判別的基本思路（續(xù)）：模式判別的基本思路（續(xù)）：所有的訓(xùn)練樣本都表示為特征空間中的所有的訓(xùn)練樣本都表示為特征空間中的點(diǎn)的形式點(diǎn)的形式1232x1x 模式判別的基本思路（續(xù)）：模式判別的基本思路（續(xù)）：對(duì)于空間中的訓(xùn)練樣本，希望能夠找到對(duì)于空間中的訓(xùn)練樣本，希望能夠找到合適的分界面將各個(gè)類別所在的空間分合適的分界面將各個(gè)類別所在的空間分割開來(lái)割開來(lái)1232x1x 模式判別的基本思路（續(xù)）：模式判別的基本思路（續(xù)）：獲得合適的分界面后，分界面將整個(gè)空獲得合適的分界面后，分界面將整個(gè)空間分割成若干個(gè)區(qū)域，這樣空間中每個(gè)間分割成若干個(gè)區(qū)域，這樣空間中每個(gè)區(qū)域分別屬于一個(gè)類別區(qū)域分別屬

3、于一個(gè)類別當(dāng)出現(xiàn)未知類別樣本時(shí)，也將其特征量當(dāng)出現(xiàn)未知類別樣本時(shí)，也將其特征量化，表示成空間中的點(diǎn)化，表示成空間中的點(diǎn)根據(jù)點(diǎn)落在空間中的具體區(qū)域，來(lái)判別根據(jù)點(diǎn)落在空間中的具體區(qū)域，來(lái)判別該未知類別樣本屬于哪一類別。該未知類別樣本屬于哪一類別。這樣判別未知類別樣本該屬于哪一類的這樣判別未知類別樣本該屬于哪一類的工作就轉(zhuǎn)換為獲取合適的分界面的問(wèn)題工作就轉(zhuǎn)換為獲取合適的分界面的問(wèn)題1232x1x維空間的一個(gè)向量是n),.,(321XxxxxXTn決策函數(shù)決策函數(shù) 假設(shè)對(duì)一模式假設(shè)對(duì)一模式X已抽取已抽取n個(gè)特征，表示為：個(gè)特征，表示為： 模式識(shí)別問(wèn)題就是根據(jù)模式模式識(shí)別問(wèn)題就是根據(jù)模式X的的n個(gè)特征來(lái)

4、個(gè)特征來(lái)判別模式屬于判別模式屬于1 ,2 , , m 類中的那一類中的那一類。類。/表示類別的符號(hào)是表示類別的符號(hào)是，不是，不是w123邊界2x1x決策函數(shù)決策函數(shù)(續(xù)續(xù)) 例如下圖：三類的分類問(wèn)題，它們的例如下圖：三類的分類問(wèn)題，它們的邊界線就是一個(gè)決策函數(shù)邊界線就是一個(gè)決策函數(shù)決策函數(shù)決策函數(shù)(續(xù)續(xù)) 決策函數(shù)包含兩類決策函數(shù)包含兩類線性決策函數(shù)線性決策函數(shù) 線性決策函數(shù)線性決策函數(shù) 廣義線性決策函數(shù)廣義線性決策函數(shù) 分段線性決策函數(shù)分段線性決策函數(shù)非線性決策函數(shù)非線性決策函數(shù)線性線性決策決策函數(shù)函數(shù) 兩類問(wèn)題兩類問(wèn)題 即即 兩個(gè)特征，組成二維特征向量?jī)蓚€(gè)特征，組成二維特征向量 這種情況下

5、線性決策函數(shù)可表示為這種情況下線性決策函數(shù)可表示為: 直線的參數(shù)用直線的參數(shù)用WT=(w1,w2)表示，表示，注意是注意是w不是不是/課本課本P.21有印刷錯(cuò)誤有印刷錯(cuò)誤12(,),2C ,() ,T12Xx xn2X此時(shí) 代表一個(gè)樣本1 12 23( )g Xwxw xwl兩類別情況，要求決策函數(shù)兩類別情況，要求決策函數(shù) g (X) 具有以下性質(zhì)：具有以下性質(zhì)：l二維情況下判別由判別邊界分類二維情況下判別由判別邊界分類. .120,()0,iXgXX()0,g XX不 定1 1223()g Xw xw xw211x2x 推廣至兩類、推廣至兩類、n個(gè)特征個(gè)特征 決策函數(shù)決策函數(shù) TnxxxxX

6、),.,(3211 12211212n1nT1().nnnnng Xw xw xw xwxxwwwwxwW X1212(,.,)( ,.,)TnTnWw wwXx xx向向量量特特征征向向量量為權(quán)為*121*12(,.,)( ,.,1)TnnTnWw ww wXx xx增廣權(quán)向量， 增廣特征向量 另外一種表示方法另外一種表示方法1 12211212n1n*T*().,1nnnng Xw xw xw xwxxwwwwxWXl兩類問(wèn)題分類兩類問(wèn)題分類l當(dāng)當(dāng) g(X) =W*TX*=0 為決策邊界為決策邊界 。l當(dāng)當(dāng)n=2時(shí)，二維情況的決策邊界為一直線。時(shí)，二維情況的決策邊界為一直線。l當(dāng)當(dāng)n=3時(shí)

7、，決策邊界為一平面時(shí)，決策邊界為一平面l當(dāng)當(dāng)n3時(shí)，決策邊界為一超平面。時(shí)，決策邊界為一超平面。1*20 ,()0 ,TXgXWXX 求取合適的決策函數(shù)的基本原理求取合適的決策函數(shù)的基本原理對(duì)于用對(duì)于用g(X)表示的分界面表示的分界面 當(dāng)點(diǎn)落在分界面上時(shí)當(dāng)點(diǎn)落在分界面上時(shí)g(X)=0； 當(dāng)點(diǎn)落在分界面正側(cè)時(shí)，當(dāng)點(diǎn)落在分界面正側(cè)時(shí)， g(X)0； 當(dāng)點(diǎn)落在分界面負(fù)側(cè)時(shí)，當(dāng)點(diǎn)落在分界面負(fù)側(cè)時(shí)， g(X)0 另一類訓(xùn)練樣本落在另一類訓(xùn)練樣本落在g(X)表示的分界面的另一側(cè)；表示的分界面的另一側(cè)；即對(duì)該類所有的訓(xùn)練樣本即對(duì)該類所有的訓(xùn)練樣本Y, g(Y)0,i=1k 它對(duì)于代表另外一類的訓(xùn)練樣本集它對(duì)

8、于代表另外一類的訓(xùn)練樣本集Y=Y1,Y2,Ym，有，有g(shù)(Yi)0,W指向指向1，為，為H的正側(cè)，反之為的正側(cè)，反之為H的負(fù)側(cè)的負(fù)側(cè).1121120()0TTnnTWwWwWXXXX性質(zhì)一性質(zhì)一1X2x1x2XWH12g(x)0g(x)0,則決策面則決策面H在原點(diǎn)正側(cè)在原點(diǎn)正側(cè) 若若wn+10，否則，反之，否則，反之2x1xpXWXH( )grWX1nwqW 要想求得決策函數(shù)要想求得決策函數(shù)g(X),就需要求解權(quán)向量就需要求解權(quán)向量W*，其實(shí)也就是分類器的訓(xùn)練過(guò)程，使用，其實(shí)也就是分類器的訓(xùn)練過(guò)程，使用已知類別的訓(xùn)練樣本來(lái)獲得分類器的權(quán)向已知類別的訓(xùn)練樣本來(lái)獲得分類器的權(quán)向量被稱為有監(jiān)督的分類

9、量被稱為有監(jiān)督的分類 利用已知類別學(xué)習(xí)樣本來(lái)獲得權(quán)向量的原利用已知類別學(xué)習(xí)樣本來(lái)獲得權(quán)向量的原理：理： 已知已知X1*1, 通過(guò)檢測(cè)調(diào)整增廣權(quán)向量通過(guò)檢測(cè)調(diào)整增廣權(quán)向量W* ，最終使，最終使W*TX1* 0 ； 已知已知X2*2, 通過(guò)檢測(cè)調(diào)整增廣權(quán)向量通過(guò)檢測(cè)調(diào)整增廣權(quán)向量W* ，最終使，最終使W *TX2*0，則，則W*保持不變保持不變 若若Y*2，而，而W*TY*0,對(duì)樣本對(duì)樣本Y1Yn,g(Yi)0,則則Z 1 ,若g(Z)0,g2(X) 0,g3(X) 0 ， g2(Z) 0 ， g3(Z) 0 則該則該模式屬于模式屬于1類。相應(yīng)類。相應(yīng)1類的區(qū)域由直類的區(qū)域由直線線-x2+1=0的

10、正邊、直線的正邊、直線-x1+x2-5=0 和和直線直線-x1+x2=0的負(fù)邊來(lái)確定。的負(fù)邊來(lái)確定。3121x2x4IR3IR1IR2IR0)(0)(0)(321xgxgxg0)(0)(0)(321xgxgxg0)(0)(0)(321xgxgxg 0)(1xg0)(2xg0)(3xg 問(wèn)當(dāng)問(wèn)當(dāng)Z1 =(6,5)T, Z2 =(0,8)T時(shí)屬于那一類時(shí)屬于那一類 g1(Z1)0,g3(Z1) 0,g2(Z2)0,g3(Z2) 0 無(wú)法判無(wú)法判別別Z2類別類別11221232()()5()1gXxxgXxxgXx 112131122232()1,()6,()4()8,()3,()7gZgZgZgZ

11、gZgZ 得：成對(duì)可分成對(duì)可分 有C(C-1)/2個(gè)決策面ij0X()0XijgXij當(dāng)當(dāng)212()0gX23()0gX13()0gX 3 1212()0gX23()0gX13()0gX 3 1特征空間尺度特征空間尺度 度量?jī)蓚€(gè)特征向量度量?jī)蓚€(gè)特征向量(即兩個(gè)樣本即兩個(gè)樣本)X,Y之間的之間的距離的度量準(zhǔn)則距離的度量準(zhǔn)則d(X,Y)具有以下性質(zhì)才能具有以下性質(zhì)才能稱為尺度稱為尺度 d(X,Y)d0 等號(hào)僅當(dāng)?shù)忍?hào)僅當(dāng)X=Y時(shí)成立時(shí)成立 非負(fù)性非負(fù)性 d(X,Y)=d(Y,X) 對(duì)稱性對(duì)稱性 d(X,Y)d(X,Z)+d(Z,Y) 三角不等式三角不等式 若若d(aX,aY)=|a|d(X,Y) a

12、為實(shí)數(shù)則稱為范數(shù)為實(shí)數(shù)則稱為范數(shù) p 是控制各維之間差異的權(quán)重是控制各維之間差異的權(quán)重 r 是控制樣本之間逐漸分開時(shí)，它們之是控制樣本之間逐漸分開時(shí)，它們之間距離增長(zhǎng)的速度間距離增長(zhǎng)的速度rdipiirpMXMX11/)|(1；rp樣本之間的距離,離量的加和為兩個(gè)直接定義每個(gè)維度上分1r2,p增長(zhǎng)速度更快,隨著樣本的分離，和歐幾里得范數(shù)相比，幾2pr義方式,是我們最常見的距離定diiicdiiisdiiiemxmXmxmXmxmX1122112|)()(棋盤格范數(shù)：歐幾里得范數(shù)：；里得平方范數(shù)：歐)()()()(max111mXmXmXmxmXmxmXTMrdiriimiiiC：馬哈拉諾必斯范數(shù)閔可夫斯基范數(shù)：車比雪夫范數(shù)：pr 樣本間的距離；那一維的距離來(lái)衡量用所有維上分離最大的 歐幾里得距離尺度下的等距面歐幾里得距離尺度下的等距面到原點(diǎn)的歐幾里德距離:(x1-0)2+(x2-0)2)1/2=111-1-1x1 棋盤格距離下的等距面棋盤格距離下