模式識別第四章統(tǒng)計判決第1頁，共53頁，2023年，2月20日，星期五例子——癌癥普查：

1癌癥患者：112682正常者：2242282總?cè)藬?shù)：n=2253550對每一類的概率做一個估計（先驗概率）4·1最小誤判概率準則判決第2頁，共53頁，2023年，2月20日，星期五對人們測量細胞的特征向量

代表的某個人屬于第i類的后驗概率：決策規(guī)律：例子——癌癥普查（續(xù)1）：

第3頁，共53頁，2023年，2月20日，星期五若已知兩類特征向量分布的類條件概率密度函數(shù)貝葉斯公式、全概率公式例子——癌癥普查（續(xù)2）：

第4頁，共53頁，2023年，2月20日，星期五將P(i|x)代入判別式，判別規(guī)則可表示為或改寫為l12稱為似然比（likelihoodratio），12稱為似然比的判決閥值。例子——癌癥普查（續(xù)3）：

第5頁，共53頁，2023年，2月20日，星期五概念和符號

---總概率

---后驗概率

---類概密，表示在類i條件下的概率密度，即類i模式x的概率分布密度

---先驗概率，表示類i出現(xiàn)的先驗概率，簡稱類i的概率第6頁，共53頁，2023年，2月20日，星期五例：對一批人進行癌癥普查，1:患癌癥者;2:正常人。模式特征x=x(化驗結(jié)果),x=1：陽性；x=0：陰性。已知：（統(tǒng)計結(jié)果）先驗概率：P(1)=0.005

P(2)=1-P(1)=0.995條件概率：p(x=陽|1)=0.95

p(x=陰|1)=0.05

p(x=陽|2)=0.01求：呈陽性反映的人是否患癌癥？第7頁，共53頁，2023年，2月20日，星期五解：利用Bayes公式因為，P(2|x=陽)=1-P(1|x=陽)=1-

0.323=0.677P(1|x=陽)<P(2|x=陽)故判決：(x=陽)2

，即正常。第8頁，共53頁，2023年，2月20日，星期五寫成似然比形式第9頁，共53頁，2023年，2月20日，星期五最小誤判概率準則判決域示意圖12xp(x|1)P(1)p(x|2)P(2)12P(1)21P(2)該規(guī)則使得分類的錯誤率最小

第10頁，共53頁，2023年，2月20日，星期五兩種錯誤設(shè)和類出現(xiàn)的概率分別為和，則總的誤判概率是誤判概率最小等價于使正確分類概率最大，即第11頁，共53頁，2023年，2月20日，星期五多類問題，最小誤判概率準則有如下幾種等價的判決規(guī)則

(1)(2)第12頁，共53頁，2023年，2月20日，星期五多類問題，最小誤判概率準則有如下幾種等價的判決規(guī)則

(3)(4)第13頁，共53頁，2023年，2月20日，星期五12xp(x|1)P(1)p(x|2)P(2)p(x|3)P(3)33第14頁，共53頁，2023年，2月20日，星期五4.1.2正態(tài)模式最小誤判概率判決準則的具體形式在c類問題中，屬于i類的n維模式的正態(tài)分布密度函數(shù)為式中，為均值矢量，為協(xié)方差第15頁，共53頁，2023年，2月20日，星期五i類的判決函數(shù)可以表為去掉與類別無關(guān)的項并不影響分類判決結(jié)果，故可簡化為第16頁，共53頁，2023年，2月20日，星期五決策-損失表4.2.1損失概念、損失函數(shù)與平均損失對一個實屬i類的模式采用了決策j所造成損失記為…

…

ac

l(ac/w1)

l(ac/w2)

…

l(ac/wc)

ac+1

l(ac+1/w1)

l(ac+1/w2)

…

l(ac+1/wc)

w1

w2

…

wc

a1

l(a1/w1)

l(a1/w2)

…

l(a1/wc)

a2

l(a2/w1)

l(a2/w2)

…

l(a2/wc)

第17頁，共53頁，2023年，2月20日，星期五條件平均風(fēng)險

令決策的數(shù)目a等于類數(shù)c，如果決策j

定義為判屬于j

類，那么對于給定的模式在采取決策j

的條件下?lián)p失的期望為條件期望損失刻劃了在模式為、決策為j條件下的平均損失，故也稱為條件平均損失或條件平均風(fēng)險（Risk）。（做決策j的平均損失）第18頁，共53頁，2023年，2月20日，星期五由貝葉斯公式，上式可以寫為平均損失或平均風(fēng)險平均風(fēng)險該式表明，R是損失函數(shù)關(guān)于各類及的的數(shù)學(xué)期望，故稱其為（總）平均損失或平均風(fēng)險。第19頁，共53頁，2023年，2月20日，星期五4.2.2最小損失準則判決可以將最小條件平均損失判決規(guī)則表為如果則判

定理

使條件平均損失最小的判決也必然使總的平均損失最小。所以最小條件平均損失準則也稱為最小平均損失準則或最小平均風(fēng)險準則，簡稱為最小損失準則。第20頁，共53頁，2023年，2月20日，星期五對于兩類問題兩類問題的最小損失準則的似然比形式的判決規(guī)則為如果 則判第21頁，共53頁，2023年，2月20日，星期五若記似然比閾值則兩類問題的判決規(guī)則為如果則判0-1損失（ii=0,ij=1

）條件下最小損失判決最小錯誤判決第22頁，共53頁，2023年，2月20日，星期五例4.2.2：設(shè),正常細胞1

，異常細胞2

，已知

P(1)=0.9,P(2)=0.1

；；

11=0,12=1,21=6,

22=0。試用最小誤判概率準則和最小損失準則判斷該細胞是正常的還是異常?

解(1)由貝葉斯定理可以分別算出1

和2的后驗概率。因為，所以把歸于正常細胞。第23頁，共53頁，2023年，2月20日，星期五(2)當依據(jù)損失進行判決時，計算條件平均損失由于,因此判。之所以這兩個判決結(jié)果相反，是因為21取得較大的緣故。第24頁，共53頁，2023年，2月20日，星期五4.2.3含拒絕判決的最小損失判決

拒絕判決可以作為最小損失判決中的一個可能判決。設(shè)c+1=“拒絕判決”。令表示模式實屬類但拒絕作出判決所造成的損失，于是在模式條件下拒絕判決的平均損失為

如果，j=1,2,…,c，則

作出拒絕判決。第25頁，共53頁，2023年，2月20日，星期五設(shè),,這時要使即亦即一般有：第26頁，共53頁，2023年，2月20日，星期五含拒判決策的最小損失判決規(guī)則為如果，則對拒判；如果，則判。當即時恒成立，故此時不存在拒判。第27頁，共53頁，2023年，2月20日，星期五對于兩類問題，存在拒判決策的條件是

判決規(guī)則如下：如果，則判；

如果，則判；

如果，則對拒判。第28頁，共53頁，2023年，2月20日，星期五4·3最小最大損失準則

實際中，類先驗概率P(i)

往往不能精確知道或在分析過程中是變動的，從而導(dǎo)致判決域不是最佳的。所以應(yīng)考慮如何解決在P(i)

不確知或變動的情況下使平均損失變大的問題。

第四章 統(tǒng)計判決第29頁，共53頁，2023年，2月20日，星期五對于兩類問題，設(shè)一種分類識別決策將特征空間分劃為兩個子空間1和2，記ij為將實屬i類的模式判為j的損失函數(shù)，各種判決的平均損失為第30頁，共53頁，2023年，2月20日，星期五利用則平均損失可寫為由于0P(1)1，所以平均損失值有aRa+b第31頁，共53頁，2023年，2月20日，星期五由上式可見，當類概密、損失函數(shù)ij

、類域i

取定后，R是P(1)的線性函數(shù)?？紤]P(1)的各種可能取值情況，為此在區(qū)間(0,1)中取若干個不同的P(1)值，并分別按最小損失準則確定相應(yīng)的最佳決策類域1

、2

，然后計算出其相應(yīng)的最小平均損失R*，從而可得最小平均損失R*與先驗概率P(1)的關(guān)系曲線第32頁，共53頁，2023年，2月20日，星期五PA(1)1P(1)ACDR*BR*B0D’C’在此決策類域下，無論)(1wP如何變化，因0=b而使R與)(1wP無關(guān)，從而使得平均損失R恒等于常數(shù),此時的)(1wP使*R取所有最小損失的最大值第33頁，共53頁，2023年，2月20日，星期五

按最小損失準則找出P(ω1)對應(yīng)于(0,1)中的各個

不同P(ω1)值的最佳決策類域1、2;

計算相應(yīng)各個最佳決策類域的最小平均損失，得

R*～P(ω1)曲線;

找出使R*取最大值的P*(ω1);

運用P*(ω1)、P*(ω2)=1-P*(ω1)及ij構(gòu)造似然比閾值;

運用最小損失準則下的決策規(guī)則對具體的模式分類識別:設(shè)計步驟第34頁，共53頁，2023年，2月20日，星期五當采用0-1損失函數(shù)時，由b=0可得上式表明，最小最大損失判決導(dǎo)出的最佳分界面應(yīng)使兩類錯誤概率相等，此時的平均損失為：第35頁，共53頁，2023年，2月20日，星期五12xp(x|1)p(x|2)最小最大損失準則判決域示意圖若采用0-1損失函數(shù)，則：第36頁，共53頁，2023年，2月20日，星期五4·4N-P(Neyman—Pearson)判決實際問題中，可能存在以下幾種情況：⑴不知道各類的先驗概率P(i)；⑵難于確定誤判的代價ij；⑶某一種錯誤較另一種錯誤更為重要。針對⑴，可以采用最小最大損失準則或令各類概率相等的辦法克服；針對⑵，如果允許，可以避開使用損失函數(shù)而采用

最小誤判概率準則；針對(3)，可以采用最小損失準則判決。針對上面三個問題，更主要的是針對⑶，可采用N-P準則。

第四章 統(tǒng)計判決第37頁，共53頁，2023年，2月20日，星期五對兩類問題,設(shè)已知且

將實屬1類的模式判為屬2類的誤判概率為

將實屬2類的模式判為屬1類的誤判概率為第38頁，共53頁，2023年，2月20日，星期五令21=0=常數(shù)，求使12最小的判決域運用Lagrage乘子法求條件極值，做輔助函數(shù)第39頁，共53頁，2023年，2月20日，星期五選擇滿足條件的的全體作為1*,保證所求得的y值y*比1的其它取法的y值都小在1*中,同理，由下式可得在2*中,將其中一類錯誤概率作為控制量而使另一類錯誤概率最小的N-P判決規(guī)則為其中是N-P判決閾值。第40頁，共53頁，2023年，2月20日，星期五p(l|w2)p(l|w1)的值決定著類域1、2，由0確定，即選取，使21=

0為求，設(shè)是似然比在條件下的概率密度，當時判，所以當0給定后，Lagrange乘子可由下式確定。

e21llW1W2e12第41頁，共53頁，2023年，2月20日，星期五

媽媽新開了個淘寶店，歡迎前來捧場

媽媽的淘寶點開了快半年了，主要賣的是毛絨玩具、坐墊、抱枕之類的，但生意一直不是很好，感覺媽媽還是很用心的，花了不少功夫，但是就是沒有人氣，所以我也來出自己的一份力，幫忙宣傳一下。 并且媽媽總是去五亭龍?zhí)糇詈玫耐婢哒?、發(fā)貨，質(zhì)量絕對有保證。 另外我家就在揚州五亭龍玩具城旁邊，貨源豐富，質(zhì)量可靠，價格便宜。歡迎大家來逛逛【揚州五亭龍玩具總動員】

99個人小廣告：第42頁，共53頁，2023年，2月20日，星期五N-P判決要點由確定判決似然比門限第43頁，共53頁，2023年，2月20日，星期五第四章 統(tǒng)計判決總結(jié)

概念和符號

---后驗概率

---類條件概率密度，表示在類i條件下的概率密度，即類i模式x的概率分布密度

---先驗概率，表示類i出現(xiàn)的先驗概率，簡稱類i的概率第44頁，共53頁，2023年，2月20日，星期五4·1最小誤判概率準則判決

總的誤判概率t12xp(