第二章貝葉斯決策理論2.1引言2.2基于最小錯誤率的貝葉斯決策2.3基于最小風險的貝葉斯決策2.4分類器、判別函數(shù)及決策面2.5正態(tài)分布下的統(tǒng)計決策第二章貝葉斯決策理論2.1引言2.2基于最小錯誤率的貝葉斯決策2.3基于最小風險的貝葉斯決策2.4分類器、判別函數(shù)及決策面2.5正態(tài)分布下的統(tǒng)計決策統(tǒng)計決策理論是模式分類問題的基本理論之一貝葉斯決策理論是統(tǒng)計決策理論中的一個基本方法貝葉斯決策的兩個要求各個類別的總體概率分布(先驗概率和類條件概率密度)是已知的要決策分類的類別數(shù)是一定的2.1引言黑色：第一類粉色：第二類綠色：哪一類？統(tǒng)計決策理論就是根據(jù)每一類總體的概率分布決定未知類別的樣本屬于哪一類決策2.1引言評價決策有多種標準，對于同一個問題，采用不同的標準會得到不同意義下“最優(yōu)”的決策貝葉斯決策常用的準則：

最小錯誤率準則

最小風險準則

Neyman-Pearson(黎曼皮爾遜)準則最小最大決策準則決策準則2.1引言在連續(xù)情況下，假設(shè)對要識別的物理對象有d種特征觀察量x1,x2,…xd，這些特征的所有可能的取值范圍構(gòu)成了d維特征空間。稱向量假設(shè)要研究的分類問題有c個類別，類型空間表示為：為d維特征向量?；靖拍?.1引言先驗概率:類條件概率：后驗概率：

幾個重要概念2.1引言先驗概率:類條件概率：后驗概率：

未獲得觀測數(shù)據(jù)之前類別的分布幾個重要概念2.1引言先驗概率:類條件概率：后驗概率：

未獲得觀測數(shù)據(jù)之前類別的分布表示在類條件下x的概率分布密度幾個重要概念2.1引言先驗概率:類條件概率：后驗概率：

未獲得觀測數(shù)據(jù)之前類別的分布表示在類條件下x的概率分布密度在x出現(xiàn)條件下類出現(xiàn)的概率幾個重要概念2.1引言第二章貝葉斯決策理論2.1引言2.2基于最小錯誤率的貝葉斯決策2.3基于最小風險的貝葉斯決策2.4分類器、判別函數(shù)及決策面2.5正態(tài)分布密度(TheNormalDensity)2.6正態(tài)分布的判別函數(shù)鱸魚/鮭魚例子自然狀態(tài)下，先驗的類別狀態(tài)，

i,i=1,2

i類別狀態(tài)是一個隨機變量,P(

i)表示為先驗概率。捕獲鱸魚和鮭魚的幾率相等。P(

1)=P(

2)(先驗)P(

1)+P(

2)=1(排除其它魚的種類)2.2基于最小錯誤率的貝葉斯決策僅含先驗信息的判別規(guī)則這種分類決策沒有意義由先驗概率所提供的信息太少2.2基于最小錯誤率的貝葉斯決策采用類條件信息——類條件概率密度函數(shù)p(x|

1)：鱸魚的屬性分布p(x|

2)：鮭魚的屬性分布。2.2基于最小錯誤率的貝葉斯決策采用類條件信息——類條件概率密度函數(shù)p(x|

1)：鱸魚的屬性分布p(x|

2)：鮭魚的屬性分布。2.2基于最小錯誤率的貝葉斯決策鱸魚和鮭魚判別中的類條件概率密度函數(shù)（以光澤度為例）貝葉斯公式先驗概率，后驗概率，概率密度函數(shù)之間關(guān)系貝葉斯公式通過類條件概率密度形式的觀察值，將先驗概率轉(zhuǎn)化為后驗概率。2.2基于最小錯誤率的貝葉斯決策后驗概率含義

P(ω1|x)：當觀測向量為x值時,是鱸魚的概率。P(ω2|x)：當觀測向量為x值時,是鮭魚的概率。2.2基于最小錯誤率的貝葉斯決策P(error|x)=P(

2|x)判定為

1(錯誤選擇

2);基于后驗概率的決策規(guī)則：存在一個觀察值x(特征)如果P(

1|x)>P(

2|x)類別狀態(tài)=

1如果P(

1|x)<P(

2|x)類別狀態(tài)=

2因此，無論何時觀測到某一個特定值x，概率誤差為：P(error|x)=P(

1|x)判定為

2(錯誤選擇

1);2.2基于最小錯誤率的貝葉斯決策因此，P(error|x)=min[P(

1|x),P(

2|x)]錯誤概率的最小化判定規(guī)則：如果P(

1|x)>P(

2|x)，判定為

1；否則，判定為

2。(最大后驗概率準則可以保證最小錯誤率，所以又稱最小錯誤率準則)基于后驗分布的判別規(guī)則：2.2基于最小錯誤率的貝葉斯決策基于最小錯誤率的貝葉斯決策：20等價形式2.2基于最小錯誤率的貝葉斯決策例：假設(shè)在某個局部地區(qū)細胞識別中正常和異常兩類的先驗概率分別為正常狀態(tài)：異常狀態(tài)：現(xiàn)有一待識別的細胞，其觀察值為x，類條件概率密度分別為,試對該細胞x進行分類。

2.2基于最小錯誤率的貝葉斯決策例：假設(shè)在某個局部地區(qū)細胞識別中正常和異常兩類的先驗概率分別為正常狀態(tài)：異常狀態(tài)：現(xiàn)有一待識別的細胞，其觀察值為x，類條件概率密度分別為,試對該細胞x進行分類。解：2.2基于最小錯誤率的貝葉斯決策以一維情況為例討論基于最小錯誤率的貝葉斯決策確實對應(yīng)最小錯誤率統(tǒng)計意義上的錯誤率，即平均錯誤率，用P(e)表示23最小錯誤率的討論2.2基于最小錯誤率的貝葉斯決策24最小錯誤率的討論2.2基于最小錯誤率的貝葉斯決策在C類別情況下最小錯誤率貝葉斯決策規(guī)則的后驗概率形式：

先驗概率與類條件概率密度相聯(lián)系的形式：25C類別情況下最下錯誤率2.2基于最小錯誤率的貝葉斯決策26小結(jié)基于最小錯誤率的貝葉斯決策規(guī)則：貝葉斯公式：2.2基于最小錯誤率的貝葉斯決策第二章貝葉斯決策理論2.1引言2.2基于最小錯誤率的貝葉斯決策2.3基于最小風險的貝葉斯決策2.4分類器、判別函數(shù)及決策面2.5正態(tài)分布下的統(tǒng)計決策28例子1：鱸魚和桂魚的出售Seabass：鱸魚Salmon：鮭魚2.3基于最小風險的貝葉斯決策29例子2：良性和惡性腫瘤的診斷2.3基于最小風險的貝葉斯決策30主要思想：上述最小錯誤率決策中，使錯誤率達到最小是重要的。但實際上，有時候需要考慮一個比錯誤率更廣泛的概念—風險，而風險又是和損失緊密相連的。我們對樣本的分類不僅要考慮到盡可能作出正確的判斷，而且還要考慮到作出錯誤判斷時會帶來什么后果。最小風險貝葉斯決策正是考慮各種錯誤造成損失不同而提出的一種決策規(guī)則。2.3基于最小風險的貝葉斯決策(3)決策/行動指將模式x判定為ωi或者是拒判。決策空間是由a個決策組成(4)損失函數(shù)為表示當樣本x真實狀態(tài)為ωj而所采取的決策為

時所帶來的損失。31x是d維隨機向量(2)狀態(tài)空間Ω由c個自然狀態(tài)(c類)組成：

2.3基于最小風險的貝葉斯決策32條件風險：由于引入了“損失”的概念，在考慮錯判所造成的損失時，就不能只根據(jù)后驗概率的大小來做決策，而必須考慮所采取的決策是否使損失最小。對于給定的x，如果采取決策αi

，從決策表可見，λ可以在c個λ(αi,ωj),j=1,2,…,c值中任取一個,其相應(yīng)概率為P(ωj|x)。因此在采取決策αi情況下的條件期望損失(也稱為條件風險)R(αi|x)為：2.3基于最小風險的貝葉斯決策期望風險：對于x的不同觀察值，采取決策αi時，其條件風險大小是不同的。所以究竟采取哪一種決策將隨x的取值而定。這樣，決策α可以看成隨機向量x的函數(shù)，記為α(x)?？梢远x期望風險Rexp為：期望風險反映對整個空間上所有x的取值采取相應(yīng)的決策α(x)所帶來的平均風險。2.3基于最小風險的貝葉斯決策34決策規(guī)則：在考慮錯判帶來的損失時，總是希望損失最小。如果在采取每一個決策或行動時，都使其條件風險最小，則對所有的x作出決策時，其期望風險也必然最小。這就是最小風險貝葉斯決策。最小風險貝葉斯決策規(guī)則為：2.3基于最小風險的貝葉斯決策352.3基于最小風險的貝葉斯決策36舉例例：在某個局部地區(qū)細胞識別中正常（

1）和異常（

2）兩類的先驗概率為：P(ω1)=0.9，P(ω2)=0.1，滿足：對于未知細胞x，利用最小風險貝葉斯決策和最小錯誤率貝葉斯決策，問該細胞屬于正常細胞還是異常細胞？決策狀態(tài)ω1ω2α106α210P(x/ω1)=0.2，

P(x/ω2)=0.42.3基于最小風險的貝葉斯決策37舉例例：在某個局部地區(qū)細胞識別中正常（

1）和異常（

2）兩類的先驗概率為：P(ω1)=0.9，P(ω2)=0.1，滿足：對于未知細胞x，利用最小風險貝葉斯決策和最小錯誤率貝葉斯決策，問該細胞屬于正常細胞還是異常細胞？決策狀態(tài)ω1ω2α106α210P(x/ω1)=0.2，

P(x/ω2)=0.4解：計算出后驗概率2.3基于最小風險的貝葉斯決策38舉例因為，決策為ω2，即判別待識別細胞為異常細胞。利用基于最小錯誤率的準則，判定為ω1，這里損失函數(shù)起了決定性作用。各種錯誤造成的損失不同，正常細胞判定為異常細胞的損失遠大于異常判定為正常的損失。

計算條件風險：分析：最小風險決策必須要有合適的損失函數(shù)λ，實際中要列出合適的決策表很不容易，往往要根據(jù)所研究的具體問題，分析錯誤決策造成損失的嚴重程度，與有關(guān)專家共同商討來確定，才能做出更有效的決策。2.3基于最小風險的貝葉斯決策39兩分類問題下的最小風險準則決策行動：

1

:對應(yīng)于類別判別

1；

2:對應(yīng)于類別判別

2。損失：表示當實際類別為

j時誤判為

i

所引起的損失。條件風險（條件期望損失）：最小風險決策規(guī)則：如果，則根據(jù)決策行動

1

，判決類別

1。2.3基于最小風險的貝葉斯決策40似然比形式

等價于：與x無關(guān)，對于某個問題，是個可以事先計算的常量。

似然比大于某個閾值，則采取行動決策

1(判決

1)；否則為：

22.3基于最小風險的貝葉斯決策41

兩分類問題下的最小風險準則在兩類問題中，若有，決策規(guī)則變?yōu)?.3基于最小風險的貝葉斯決策42

多類問題下的最小風險準則在c個類別的問題中，如果損失函數(shù)為“0-1”損失函數(shù)：“0-1”損失函數(shù)：1）對于c類問題只有c個決策，2）實際類別正確判定為第j類時，損失為0。3）實際類別誤判為第類時，損失均為1。2.3基于最小風險的貝葉斯決策43“0-1”

損失函數(shù)下的最小風險準則最小錯誤率貝葉斯決策是在0-1損失函數(shù)條件下的最小風險貝葉斯決策，最小錯誤率貝葉斯決策是最小風險貝葉斯決策的特例。2.3基于最小風險的貝葉斯決策第二章貝葉斯決策理論2.1引言2.2基于最小錯誤率的貝葉斯決策2.3基于最小風險的貝葉斯決策2.4分類器、判別函數(shù)及決策面2.5正態(tài)分布下的統(tǒng)計決策判別函數(shù)（DiscriminantFunction）：用于表示決策規(guī)則的某些函數(shù)gi(x）稱為判別函數(shù)。每個類別對應(yīng)一個判別函數(shù)，。判別函數(shù)與決策面方程密切相關(guān)，且都由相應(yīng)的決策規(guī)則所確定。表達同樣的判決規(guī)則可能采用不同的判別函數(shù)，只要滿足如下條件：例如：

gi(x)kgi(x),k為正常數(shù)

gi(x)gi(x)+k,k為任意常數(shù)

gi(x)ln(gi(x))用f(gi(x))替換gi(x)，其中f(*)為單調(diào)遞增函數(shù)2.4分類器、判別函數(shù)及決策面決策面（DecisionSurface）：對于c類分類問題，按照決策規(guī)則可以把d維特征空間分成c個決策域，將劃分決策域的邊界面稱為決策面，在數(shù)學上用解析形式可以表示成決策面方程。

判決區(qū)域Ri是特征空間中的一個子空間，判決規(guī)則將所有落入Ri的樣本x分類為類別ωi；判決邊界是特征空間中劃分判決區(qū)域的（超）平面；在判決邊界上，通常有兩類或多類的判別函數(shù)值相等。2.4分類器、判別函數(shù)及決策面2.4分類器、判別函數(shù)及決策面分類器設(shè)計（Classifier）：分類器設(shè)計就是設(shè)計判別函數(shù)，求出判定面方程g(x)分類器最常用的表述方式為判別函數(shù)：每個類別對應(yīng)一個判別函數(shù)?；谂袆e函數(shù)的判決：如果：，則屬于決策面方程：基于最小錯誤率的判決函數(shù)基于最小風險的判決函數(shù)2.4分類器、判別函數(shù)及決策面兩分類下的判別函數(shù)特殊的，對于兩分類問題，也可以只用一個判別函數(shù)

令：判決規(guī)則例如：決策面：如果：則模式為否則為2.4分類器、判別函數(shù)及決策面50兩分類下的判別函數(shù)2.4分類器、判別函數(shù)及決策面例子求：利用最小錯誤率和最小風險決策分別寫出判別函數(shù)和決策面方程。2.4分類器、判別函數(shù)及決策面52例子求：利用最小錯誤率和最小風險決策分別寫出判別函數(shù)和決策面方程。利用最小錯誤率決策，其對應(yīng)的判別函數(shù)為：決策面方程為：利用最小風險決策，其對應(yīng)的判別函數(shù)為：決策面方程為：2.4分類器、判別函數(shù)及決策面53多分類下的判別函數(shù)判決函數(shù)：決策面：則模式為：2.4分類器、判別函數(shù)及決策面54多分類下的判別函數(shù)分類器設(shè)計：它的功能是先計算出c個判別函數(shù)gi，再從中選出對應(yīng)于判別函數(shù)為最大值的類作為決策結(jié)果。2.4分類器、判別函數(shù)及決策面55判別函數(shù)、決策面2.4分類器、判別函數(shù)及決策面判別函數(shù)，決策面2.4分類器、判別函數(shù)及決策面第二章貝葉斯決策理論2.1引言2.2基于最小錯誤率的貝葉斯決策2.3基于最小風險的貝葉斯決策2.4分類器、判別函數(shù)及決策面2.5正態(tài)分布下的統(tǒng)計決策2.5正態(tài)分布下的統(tǒng)計決策為什么研究正態(tài)分布？物理上的合理性：較符合很多實際情況，觀測值通常是很多種因素共同作用的結(jié)果，根據(jù)中心極限定理（這組定理是數(shù)理統(tǒng)計學和誤差分析的理論基礎(chǔ)，指出了大量隨機變量累積分布函數(shù)逐點收斂到正態(tài)分布的積累分布函數(shù)的條件），服從正態(tài)分布。數(shù)學上比較簡單：參數(shù)個數(shù)少單變量正態(tài)分布多元正態(tài)分布59單變量正態(tài)分布

2.5正態(tài)分布下的統(tǒng)計決策多元正態(tài)分布函數(shù)期望(均值向量)協(xié)方差矩陣(對稱非負定)2.5正態(tài)分布下的統(tǒng)計決策多變量正態(tài)分布

二次型xT∑x≥0●協(xié)方差矩陣總是對稱陣，協(xié)方差矩陣為

的方差就是對角線上的元素非對角線上的元素就是和的協(xié)方差。2.5正態(tài)分布下的統(tǒng)計決策●協(xié)方差矩陣總是非負定陣?！駥τ谌我怆S機向量x，xT∑x是∑的二次型。如果對x≠0的一切x

有

xT∑x≥0都成立，則稱∑為非負定陣?！袢魓T∑x>0，則∑為正定陣?！駥τ谡ň仃嚕麟A主子式非零（包括|∑|≠0）。多元正態(tài)分布的性質(zhì)參數(shù)個數(shù)：d+d(d+1)/2

均值向量：d個參數(shù)協(xié)方差矩陣：對稱的d維矩陣，d(d+1)/2個參數(shù)等密度點的軌跡為一超橢球面要使密度p(x)值不變，需指數(shù)項為常數(shù)，即：超橢球面2.5正態(tài)分布下的統(tǒng)計決策多元正態(tài)分布的性質(zhì)馬氏距離：與歐式距離：馬氏距離考慮數(shù)據(jù)各個維度間的相關(guān)性，x到的馬氏距離為常數(shù)時，所組成的超橢球面為等密度點。2.5正態(tài)分布下的統(tǒng)計決策2.多元正態(tài)分布的性質(zhì)⑴參數(shù)μ和∑對分布的決定性⑵等密度點的軌跡為一超橢球面⑶不相關(guān)性等價于獨立性⑷邊緣分布和條件分布的正態(tài)性⑸線性變換的正態(tài)性⑹線性組合的正態(tài)性⑴參數(shù)μ和∑對分布的決定性多元正態(tài)分布被均值向量μ和協(xié)方差矩陣∑所完全確定。均值向量μ由d個分量組成;協(xié)方差矩陣∑由于其對稱性故其獨立元素有p(x)~N(μ,∑)多元正態(tài)分布概率密度函數(shù)常記為⑵等密度點的軌跡為一超橢球面從正態(tài)分布總體中抽取的樣本大部分落在由μ和∑所確定的一個區(qū)域里。從一個以均值μ為中心的云團內(nèi)的二維高斯分布中取出的樣本。橢圓顯示了等概率密度的高斯分布軌跡?！霎斨笖?shù)項為常數(shù)時，密度p(x)值不變，因此等密度點應(yīng)是此式的指數(shù)項為常數(shù)的點，即應(yīng)滿足■

證明上式的解是一個超橢球面，且它的主軸方向由∑陣的特征向量所決定，主軸的長度與相應(yīng)的協(xié)方差矩陣∑的本征值成正比。在數(shù)理統(tǒng)計中上式所表示的數(shù)量：為x到μ的Mahalanobis距離的平方。所以等密度點軌跡是x到μ的Mahalanobis距離為常數(shù)的超橢球面。這個超橢球體大小是樣本對于均值向量的離散度度量?？梢宰C明對應(yīng)于Mahalanobis距離為超橢球的體積是其中Vd是d維單位超球體的體積。⑶不相關(guān)性等價于獨立性不相關(guān)與獨立的定義：若E{xi

xj}=E{xi}·E{xj}則定義隨機變量xi和xj是不相關(guān)的。若p(xi,xj)=

p(xi)p(xj)則定義隨機變量xi和xj是獨立的。

■一般情況下相關(guān)與獨立的關(guān)系獨立性是比不相關(guān)性更強的條件，獨立性要求

p(xi,xj)=p(xi)p(xj)對于xi和xj都成立。不相關(guān)性是兩個隨機變量的積的期望等于兩個隨機變量的期望的積，它反映了xi與xj總體的性質(zhì)。若xi和xj相互獨立，則它們之間一定不相關(guān)；反之則不一定成立。■多元正態(tài)分布情況對多元正態(tài)分布的任意兩個分量xi和xj而言，若xi與xj互不相關(guān)，則它們之間一定獨立。在正態(tài)分布中不相關(guān)性等價于獨立性。（證明見P27)推論:如果多元正態(tài)隨機向量的協(xié)方差陣是對角陣，則x的分量是相互獨立的正態(tài)分布隨機變量。⑷邊緣分布和條件分布的正態(tài)性多元正態(tài)分布的邊緣分布和條件分布仍然是正態(tài)分布。二元正態(tài)分布協(xié)方差矩陣∑及其逆矩陣∑-1為根據(jù)邊緣分布定義其中由于所以x1的邊緣分布

就是說邊緣分布p(x1)服從以均值為方差為的正態(tài)分布。

同理可以推出x2的邊緣分布為對于給定x1的條件下x2的分布，有定義p(x2|x1)=p(x1,x2)/p(x1)同理可以寫出給定x2條件下x1的分布:⑸線性變換的正態(tài)性若對x用線性變換矩陣A(A是非奇異(|A|≠0)的)作線性變換，y

=Ax則y服從以均值向量為Aμ，協(xié)方差矩陣為A∑AT的多元正態(tài)分布。即p(y)~N(Aμ，A∑AT)⑹線性組合的正態(tài)性若x為多元正態(tài)隨機向量，則線性組合是一維的正態(tài)隨機變量，則y服從：其中是與x同維的向量。根據(jù)最小錯誤率貝葉斯判別函數(shù)，在多元正態(tài)概型(p(x|ωi)~N(μi，∑i),i=1,…，c)下就可以立即寫出其相應(yīng)的表達式。判別函數(shù)為:決策面方程為:

即

(1)2.5正態(tài)分布下的統(tǒng)計決策情況一：各類協(xié)方差陣相等，且每類各特征獨立，方差相等（對角矩陣）情況二：各類協(xié)方差陣相等情況三：各類協(xié)方差陣不相等

任意的2.5正態(tài)分布下的統(tǒng)計決策情況一：將代入得到?jīng)Q策函數(shù)展開決策函數(shù)其中，二次項與i無關(guān)2.5正態(tài)分布下的統(tǒng)計決策正交因此，等價的判決函數(shù)為：其中：決策面可以寫成：其中：過與的超平面此時，寫成了一個線性判別函數(shù)的形式。2.5正態(tài)分布下的統(tǒng)計決策當，當，向先驗概率小的方向偏移。位于兩中心的中點；在先驗概率相等的情況下，最優(yōu)判決的規(guī)則為：為將某特征向量x歸類，通過測量每一x到c個均值向量中心的每一個歐氏距離，并將x歸為離它最近的那一類。這樣的分類器稱為“最