2.1、判別函數(shù)2.2、線性判別函數(shù)2.3、廣義線性判別函數(shù)2.4、非線性判別函數(shù)第二章判別函數(shù)和分類器假設(shè)對(duì)一模式X已抽取n個(gè)特征，表示為：模式識(shí)別問題就是根據(jù)模式X的n個(gè)特征來判別模式屬于ω1,ω2,

…,

ωm類中的那一類。2.1判別函數(shù)

例如下圖：三類的分類問題，它們的邊界線就是一個(gè)判別函數(shù)2.1判別函數(shù)判別函數(shù)包含兩類：一類是線性判別函數(shù)：線性判別函數(shù)廣義線性判別函數(shù)（所謂廣義線性判別函數(shù)就是把非線性判別函數(shù)映射到另外一個(gè)空間變成線性判別函數(shù)）分段線性判別函數(shù)另一類是非線性判別函數(shù)2.1判別函數(shù)2.2線性判別函數(shù)我們現(xiàn)在對(duì)兩類問題和多類問題分別進(jìn)行討論。(一)兩類問題即:

1.二維情況：取兩個(gè)特征向量這種情況下判別函數(shù):在兩類別情況，判別函數(shù)g

(x)具有以下性質(zhì)：這是二維情況下判別由判別邊界分類.情況如圖：1.二維情況2.n維情況現(xiàn)抽取n個(gè)特征為：判別函數(shù)：

另外一種表示方法：模式分類：

當(dāng)g1(x)=WTX=0為判別邊界。當(dāng)n=2時(shí)，二維情況的判別邊界為一直線。當(dāng)n=3時(shí)，判別邊界為一平面，n>3時(shí)，則判別邊界為一超平面。2.n維情況(二)

多類問題對(duì)于多類問題，模式有ω1,ω2,

…,

ωm個(gè)類別?？煞秩N情況：1。第一種情況：每一模式類與其它模式類間可用單個(gè)判別平面把一個(gè)類分開。這種情況，M類可有M個(gè)判別函數(shù)，且具有以下性質(zhì)：如圖所示，每一類別可用單個(gè)判別邊界與其它類別相分開。如果一模式X屬于ω1，則由圖可清楚看出:這時(shí)g1(x)>0而g2(x)<0，g3(x)<0。ω1類與其它類之間的邊界由g1(x)=0確定.

1.第一種情況例：已知三類ω1,ω2,ω3的判別函數(shù)分別為：因此三個(gè)判別邊界為：1.第一種情況（續(xù)）作圖如下：1.第一種情況（續(xù)）對(duì)于任一模式X如果它的g1(x)>0，g2(x)<0，g3(x)<0則該模式屬于ω1類。相應(yīng)ω1類的區(qū)域由直線-x2+1=0的正邊、直線-x1+x2-5=0和直線-x1+x2=0的負(fù)邊來確定。1.第一種情況（續(xù)）必須指出，如果某個(gè)X使二個(gè)以上的判別函數(shù)gi(x)>0，則此模式X就無法作出確切的判決。如圖中IR1,IR3，IR4區(qū)域。另一種情況是IR2區(qū)域，判別函數(shù)都為負(fù)值。IR1，IR2，IR3，IR4。都為不確定區(qū)域。1.第一種情況（續(xù)）問當(dāng)x=(x1,x2)T=(6,5)T時(shí)屬于那一類結(jié)論：g1(x)<0，g2(x)>0，g3(x)<0所以它屬于ω2類1.第一種情況（續(xù)）這樣有M(M_1)/2個(gè)判別平面。對(duì)于兩類問題，M=2，則有一個(gè)判別平面。同理，三類問題則有三個(gè)判別平面。

判別函數(shù)：判別邊界：判別條件：2.第二種情況：每個(gè)模式類和其它模式類間可分別用判別平面分開。判別函數(shù)性質(zhì)：假設(shè)判別函數(shù)為：判別邊界為：2.第二種情況（續(xù)）用方程式作圖：問:未知模式X=(x1,x2)T=(4,3)T屬于那一類代入判別函數(shù)可得:把下標(biāo)對(duì)換可得:因?yàn)榻Y(jié)論：所以X屬于ω3類結(jié)論：判別區(qū)間增大，不確定區(qū)間減小，比第一種情況小的多.2.第二種情況（續(xù)）3.第三種情況判別函數(shù)：

判別規(guī)則：判別邊界：gi(x)=gj(x)或gi(x)-gj(x)=0就是說，要判別模式X屬于那一類，先把X代入M個(gè)判別函數(shù)中，判別函數(shù)最大的那個(gè)類別就是X所屬類別。類與類之間的邊界可由gi(x)=gj(x)或gi(x)-gj(x)=0來確定。每類都有一個(gè)判別函數(shù),存在M個(gè)判別函數(shù)右圖所示是M=3的例子。對(duì)于ω1類模式，必然滿足g1(x)>g2(x)和g1(x)>g3(x)。假設(shè)判別函數(shù)為：則判別邊界為：3.第三種情況（續(xù)）結(jié)論：不確定區(qū)間沒有了，所以這種是最好情況。用上列方程組作圖如下：3.第三種情況（續(xù)）問假設(shè)未知模式x=(x1,x2)T=(1,1)T

，則x屬于那一類。把它代入判別函數(shù)：得判別函數(shù)為：因?yàn)樗阅Ｊ絰=(1,1)T屬于類。3.第三種情況（續(xù)）關(guān)于線性判別函數(shù)的結(jié)論：模式類別若可用任一線性判別函數(shù)來劃分，這些模式就稱為線性可分；一旦線性判別函數(shù)的參數(shù)確定，這些函數(shù)即可作為模式分類的基礎(chǔ)。對(duì)于M（M≥2）類模式分類，第一、三種情況需要M個(gè)判別函數(shù)，第兩種情況需要M(M-1)/2個(gè)判別函數(shù)。對(duì)于第一種情況，每個(gè)判別函數(shù)都要把一種類別（比如i類）的模式與其余M-1種類別的模式劃分開，而不是僅將一類與另一類劃分開。實(shí)際上，一個(gè)類的模式分布要比M-1類模式分布更聚集，因此后兩種情況實(shí)現(xiàn)模式線性可分的可能性要更大一些。2.3廣義線性判別函數(shù)研究動(dòng)機(jī)線性判別函數(shù)簡單，容易實(shí)現(xiàn)；非線性判別函數(shù)復(fù)雜，不容易實(shí)現(xiàn)；若能將非線性判別函數(shù)轉(zhuǎn)換為線性判別函數(shù)，則有利于模式分類的實(shí)現(xiàn)?；舅枷朐O(shè)一模式集{x}，在模式空間x中線性不可分，但在模式空間x*中線性可分，其中x*的各個(gè)分量是x的單值實(shí)函數(shù)，x*的維數(shù)k高于x的維數(shù)n，即

x*=(f1(x),f2(x),….,fk(x)),k>n

則分類界面在x*空間是線性的，在x空間是非線性的，此時(shí)只要將模式x進(jìn)行非線性變換，使之變換后得到維數(shù)更高的模式x*，就可用線性判別函數(shù)進(jìn)行分類。2.3、廣義線性判別函數(shù)這樣一個(gè)非線性判別函數(shù)通過映射，變換成線性判別函數(shù)。判別函數(shù)的一般形式：2.3、廣義線性判別函數(shù)（續(xù)）例：如右圖。2.3、廣義線性判別函數(shù)（續(xù)）要用二次判別函數(shù)才可把二類分開：2.3、廣義線性判別函數(shù)（續(xù)）結(jié)論：在X空間的非線性判別函數(shù)通過變換到Y(jié)空間成為線性的，但X變?yōu)楦呔S空間1.分段線性判別函數(shù)（用線性無法分開,可用分段線性判別函數(shù)）①、基于距離的分段線性判別函數(shù)。（用均值代表一類，通過均值連線中點(diǎn)的垂直線分開）把ωi類可以分成li個(gè)子類:∴分成l個(gè)子類?，F(xiàn)在定義子類判別函數(shù)：在同類的子類中找最近的均值。判別規(guī)則：這是在M類中找最近均值。則把x歸于ωj類完成分類。2.4非線性判別函數(shù)Ⅱ

Ⅲ

例：未知x,如圖：先與ω1類各子類的均值比較，即，找一個(gè)最近的與ω2各子類均值比較取最近的因g2(x)<g1(x)，所以x∈ω2類。

設(shè)ω＝ω1,ω2,……ωm而每一類又可以分為子類。對(duì)每個(gè)子類定義一個(gè)線性判別函數(shù)為：則定義ωi類的線性判別函數(shù)為：②、基于函數(shù)的分段線性判別函數(shù)利用均值代表一類有時(shí)有局限性，如圖所示。若用線性判別函數(shù)代表一類，就會(huì)克服上述情況。

在各子類中找最大的判別函數(shù)作為此類的代表，則對(duì)于M類，可定義M個(gè)判別函數(shù)gi(x),i=1,2,…..M,因此，決策規(guī)則：對(duì)未知模式x，把x先代入每類的各子類的判別函數(shù)中，找出一個(gè)最大的子類判別函數(shù)，M類有M個(gè)最大子類判別函數(shù)，在M個(gè)子類最大判別函數(shù)中，再找一個(gè)最大的，則x就屬于最大的子類判別函數(shù)所屬的那一類。③、基于凹函數(shù)的并分段線性判別函數(shù)（針對(duì)多峰情況）設(shè)li子類判別函數(shù)，i=1,2,…..r則分段線性判別函數(shù)有如下特性：(a)：l1,l2,……lr都是分段線性判別函數(shù)(b)：若A,B都是分段線性判別函數(shù)，則：A∧B，A∨B也是分段線性判別函數(shù)。A∧B取最小，A∨B取最大。(c)：對(duì)任何分段線性函數(shù)都可以表示成如下二種形式：1)、析取范式(這是經(jīng)常采用的形式)P=(L11∧L12∧…∧L1m)∨…∨(Lq1∧Lq2∧…∧Lqm)2)、合取范式Q=(L11∨L12∨…∨L1m)∧…∧(Lq1∨Lq2∨…∨Lqm)每個(gè)(L11∨L12∨…∨L1m)都稱為凹函數(shù)。對(duì)于多峰二類問題：設(shè)第一類有q個(gè)峰，則有q個(gè)凹函數(shù)。即P=P1∨P2∨……∨Pq每個(gè)凹函數(shù)Pi由m個(gè)線性判別函數(shù)來構(gòu)成。∴Pi=Li1∧Li2∧…∧Lim假設(shè)對(duì)于每個(gè)子類線性判別函數(shù)Lij都設(shè)計(jì)成：例、設(shè)如圖∴P=(L11∧L12∧L13∧L14∧L15)∨(L21∧L22∧L23∧L24)∨(L31∧L32∧L33∧L34)2、二次判別函數(shù)二次判別函數(shù)一般可表示成：2、二次判別函數(shù)(續(xù))2、二次判別函數(shù)(續(xù))關(guān)于二次判別函數(shù)，我們將在貝葉斯分類器中詳細(xì)論述。線性分類器的設(shè)計(jì)

上面我們討論了線性判別函數(shù)形式為:g(x)=WTX

其中

X=(X1,X2…Xn)n維特征向量

W=(W1,W2…

Wn,Wn+1)n維權(quán)向量

通常通過特征抽取可以獲得n維特征向量，因此n維權(quán)向量是要按某種準(zhǔn)則（準(zhǔn)則函數(shù)）求解的。求解權(quán)向量的過程就是分類器的訓(xùn)練過程，使用已知類別的有限學(xué)習(xí)樣本來獲得分類器的權(quán)向量被稱為有監(jiān)督的分類。設(shè)計(jì)線性分類器的主要步驟：(1)收集一組具有類別標(biāo)識(shí)的樣本。若把每個(gè)樣本看成確定的觀測值，則這組樣本稱為確定性樣本集；若把每個(gè)樣本看成隨機(jī)變量，則這組樣本稱為隨機(jī)樣本集。(2)根據(jù)實(shí)際情況確定一個(gè)準(zhǔn)則函數(shù)J。J必須滿足：a)J是樣本集X和、的函數(shù)；b)J的值反映分類器的性能，其極值解對(duì)應(yīng)于“最好”的決策。(3)用最優(yōu)化技術(shù)求出準(zhǔn)則函數(shù)的極值解。權(quán)向量的訓(xùn)練過程：利用已知類別學(xué)習(xí)樣本來獲得權(quán)向量的訓(xùn)練過程如下：已知x1∈ω1,通過檢測調(diào)整權(quán)向量，最終使x1∈ω1已知x2∈ω2,通過檢測調(diào)整權(quán)向量，最終使x2∈ω2這樣就可以通過有限的樣本去決定權(quán)向量。>0x∈ω1

<0x∈ω2

x1

x2…….

xn

1

w1

w2

wn

wn+1∑

檢測(已知類別)

W1X1

W2X2

WnXn

Wn+1g(x)=wTx

利用方程組來求解權(quán)向量對(duì)二類判別函數(shù)g(x)=W1X1+W2X2+W3已知訓(xùn)練集：Xa,Xb,Xc,Xd且當(dāng)(Xa,Xb)∈W1時(shí)

g(x)＞0

當(dāng)(Xc,Xd)∈W2時(shí)

g(x)＜0設(shè)Xa=(X1a,X2a)TXb=(X1b,X2b)TXc=(X1c,X2c)TXd=(X1d,X2d)T判別函數(shù)可聯(lián)立成：

X1aW1+X2aW2+W3