1、,第二章 統(tǒng)計決策方法,計算機與通信工程學(xué)院,計算機與通信工程學(xué)院,模式識別,課前思考,機器自動識別分類，能不能避免錯分類 ? 怎樣才能減少錯誤？ 不同錯誤造成的損失一樣嗎？ 先驗概率，后驗概率，概率密度函數(shù)？ 什么是貝葉斯公式？ 正態(tài)分布？期望值、方差？ 正態(tài)分布為什么是最重要的分布之一？,2020/7/22,學(xué)習(xí)指南,本章要說明分類識別中為什么會有錯分類，在何種情況下會出現(xiàn)錯分類？錯分類的可能性會有多大？怎樣才能使錯分類最少？ 不同的錯分類造成的危害是不同的，有的錯分類種類造成的危害更大，因此控制這種錯分類則是更重要的。為此引入了一種“風(fēng)險”與“損失”概念，希望做到使風(fēng)險最小。要著重理解“

2、風(fēng)險”與“損失”的概念，以及在引入“風(fēng)險”概念后的處理方法。,2020/7/22,理解本章的關(guān)鍵 要正確理解先驗概率，類概率密度函數(shù)，后驗概率這三種概率 對這三種概率的定義，相互關(guān)系要搞得清清楚楚 Bayes公式正是體現(xiàn)這三者關(guān)系的式子，要透徹掌握。,2020/7/22,統(tǒng)計決策理論 是模式分類問題的基本理論之一 貝葉斯決策理論 是統(tǒng)計決策理論中的一個基本方法,最小風(fēng)險貝葉斯決策,2,聶曼-皮爾遜判決,3,最小錯誤率貝葉斯決策,1,第二章 統(tǒng)計決策理論,6,2020/7/22,正態(tài)分布決策理論,4,7,2020/7/22,模式識別系統(tǒng)的基本構(gòu)成,分類決策：把樣本分到哪一類最合理,樣本空間到?jīng)Q策

3、空間的一個映射,采用不同的標(biāo)準(zhǔn)會得到不同意義下的“最優(yōu)”的決策,最小錯誤率貝葉斯決策,8,2020/7/22,基于最小錯誤率的貝葉斯決策,基本思想 使錯誤率為最小的分類規(guī)則 稱之為基于最小錯誤率的貝葉斯決策,例子：挑選西瓜,10,2020/7/22,貝葉斯公式,先驗,似然,后驗,11,2020/7/22,當(dāng)敲擊聲音為清脆時, 該西瓜是好瓜的概率,挑選西瓜,這種決策信息沒有意義,如何根據(jù)敲聲挑選出好的西瓜？,根據(jù)貝葉斯公式,只根據(jù)先驗知識挑選西瓜,12,2020/7/22,如果有：,則為好瓜，反之亦然,分母相同，實際只需要比較分子,這種根據(jù)后驗概率進行決策的方法稱為最小錯誤率貝葉斯決策,13,2

4、020/7/22,判別函數(shù)的幾種等價形式,2020/7/22,等價,決策規(guī)則：,討論,類條件概率密度函數(shù)直接用來分類是否合理？,2020/7/22,具有一定的合理性,不滿足最小錯誤率要求,但是沒有考慮先驗概率,類條件概率和后驗概率區(qū)別？ 后驗概率: P(1|x)和P(|x) 同一條件x下，比較1與2出現(xiàn)的概率 兩類1和2，則有P(1|x)+P(2|x)=1 如P(1|x) P(2|x)則可以下結(jié)論，在x條件下，事件1出現(xiàn)的可能性大 類條件概率: P(x|1)和P(x|2) 是在不同條件下討論的問題 即使只有兩類1與2，P(x|1)+P(x|1)1 P(x|1)與P(x|2)兩者沒有聯(lián)系,問題,

5、問題,為什么先驗概率和類條件概率密度函數(shù)可以作為已知，而后驗概率需要通過計算獲得？ 計算概率都要擁有大量數(shù)據(jù) 估計先驗概率與類條件概率密度函數(shù)時都可搜集到大量樣本 對某一特定事件要搜集大量樣本是不太容易 只能借助Bayes公式來計算得到,2020/7/22,錯誤率分析,對待分類模式的特征我們得到一個觀察值 x ， 合理的決策規(guī)則：,決策錯誤的條件概率（隨機變量x 的函數(shù)）：,18,2020/7/22,平均錯誤率,(連續(xù)情況),(離散情況),19,2020/7/22,如果我們把作出w1決策的所有觀測值區(qū)域稱為R1，則在R1區(qū)內(nèi)的每個x值，條件錯誤概率為p(w2|x)。 另一個區(qū)R2中的x,條件錯

6、誤概率為p(w1|x),因此平均錯誤率P(e)可表示成,2020/7/22,優(yōu)點：,癌細(xì)胞篩查：是癌細(xì)胞但是判斷為正常細(xì)胞的風(fēng)險應(yīng)該比正常細(xì)胞判斷為癌細(xì)胞的風(fēng)險大得多,只是在最小錯誤率下的最優(yōu),21,2020/7/22,缺點：,基于后驗概率決策的貝葉斯分類器具有最小錯誤率,小結(jié),22,2020/7/22,基本思想,使錯誤率最小并不一定是一個普遍適用的最佳選擇。 例如：癌細(xì)胞分類，兩種錯誤的代價(損失)不同 兩種錯誤: 癌細(xì)胞正常細(xì)胞 正常細(xì)胞癌細(xì)胞 寧可擴大一些總的錯誤率，但也要使總的損失減少。 引進一個與損失有關(guān)聯(lián)的，更為廣泛的概念風(fēng)險。 在作出決策時，要考慮所承擔(dān)的風(fēng)險。,2020/7/2

7、2,相關(guān)概率,損耗函數(shù)ii=(i/i)表示模式樣本X本來屬于i類而判決為i類所受損失。 損耗函數(shù)ij=(i/j)表示模式樣本X本來屬于j類錯判為i所受損失 風(fēng)險R（期望損失）：對未知x采取一個判決行動(x)所付出的代價（損耗） 條件風(fēng)險（也叫條件期望損失） 在整個特征空間中定義期望風(fēng)險，期望風(fēng)險,2020/7/22,最小風(fēng)險貝葉斯決策,2020/7/22,決策規(guī)則：,最小風(fēng)險 VS 最小錯誤率,2020/7/22,二類問題：把x歸于1時風(fēng)險： 把x歸于2時風(fēng)險：,27,2020/7/22,聶曼皮爾遜準(zhǔn)則,聶曼皮爾遜準(zhǔn)則是在取某類錯誤率為常數(shù)時，另一類錯誤率盡可能小。例如：,2020/7/22,

8、兩類錯誤率,Lagrange乘子法將有約束極值問題問題轉(zhuǎn)化為,2020/7/22,注：可以看出聶曼-皮爾遜決策規(guī)則與最小錯誤率貝葉斯決策規(guī)則都是以似然比為基礎(chǔ)的，不同地是最小錯誤決策閾值為先驗概率之比，而聶曼-皮爾遜決策閾值則是Lagrange乘子。,2020/7/22,優(yōu)點：,32,2020/7/22,缺點： 必須知道類條件概率（似然）,可以設(shè)計理論上最優(yōu)分類器,小結(jié),33,2020/7/22,本節(jié)和前三節(jié)的關(guān)系,前三節(jié): 基本概念 階段性的總結(jié) 本節(jié): 概念具體化 結(jié)合一種比較典型的概率分布來進一步分析基于最小錯誤貝葉斯決策分類器的種種情況,本節(jié)重點,什么叫正態(tài)分布 高斯分布的表達(dá)式 如何

9、將正態(tài)分布與基于最小錯誤率的貝葉斯決策結(jié)合起來 如何簡化方式表示正態(tài)分布,研究正態(tài)分布的原因 數(shù)學(xué)上比較簡單 N(, ) 只有均值和方差兩個參數(shù) 物理上的合理性,單變量正態(tài)分布,單變量正態(tài)分布概率密度函數(shù)定義為,思考:正態(tài)分布，或高斯分布是先驗概率P(i)，還是分布P(X|i),還是后驗概率P(i|X)？ 不是我們所討論的先驗概率P(i)，也不是后驗概率P(i|X)，而是p(x|i)。,2020/7/22,（多變量）多維正態(tài)分布,2020/7/22,2020/7/22,性質(zhì),、與對分布起決定作用P(x)=N(, ), 由n個分量組成，由n(n+1)/2元素組成。多維正態(tài)分布由n+n(n+1)/

10、2個參數(shù)組成。 、等密度點的軌跡是一個超橢球面。區(qū)域中心由決定，區(qū)域形狀由決定。 、不相關(guān)性等價于獨立性。若xi與xj互不相關(guān),則xi與xj一定獨立。 、邊緣分布與條件分布的正態(tài)性。 、線性變換的正態(tài)性Y=AX，A為線性變換矩陣。若X為正態(tài)分布，則Y也是正態(tài)分布。 、線性組合的正態(tài)性。,2020/7/22,正態(tài)分布時最小錯誤率貝葉斯決策,2020/7/22,判別函數(shù)：類條件概率密度用正態(tài)來表示：,決策面方程：,第一種情況,各個特征統(tǒng)計獨立，且同方差情況,2020/7/22,判別函數(shù)：,2020/7/22,如果M類先驗概率相等：,最小距離分類器 未知樣本x與i相減，找最近的i把x歸類,2020/

11、7/22,討論,對于未知樣本x，把x與各類均值相減，把x歸于最近一類，即為最小距離分類器。,i 相等，即各類協(xié)方差相等。幾何上看，相當(dāng)于各類樣本集中于以均值點為中心的同大小和形狀的超橢球內(nèi)。,第二種情況,討論：針對1，2二類情況，如圖：,i為任意，各類協(xié)方差矩陣不等，二次項xT i x與i有關(guān)，所以判別函數(shù)為二次型函數(shù)。,第三種情況(一般情況),討論,對于(a)圖， 的方差比 小，因此來自 的樣本更加可能在該類的均值附近找到，且由于圓的對稱性，決策面是包圍 的一個圓,若把 軸伸展，圖(b)的決策面就伸展為一個橢圓,討論,若兩類的條件概率在 方向上具有相同的方差，但在 方向上 的方差比 的方差大，此時 值大的樣本可能來自類 ，且決策面為圖(c)的拋物線,若對