統(tǒng)計(jì)決策理論定理第1頁(yè)，課件共28頁(yè)，創(chuàng)作于2023年2月1關(guān)于統(tǒng)計(jì)學(xué)的一個(gè)笑話(huà)：

有一個(gè)從沒(méi)帶過(guò)小孩的統(tǒng)計(jì)學(xué)家，因?yàn)槠拮映鲩T(mén)勉強(qiáng)答應(yīng)照看三個(gè)年幼好動(dòng)的孩子。妻子回家時(shí)，他交出一張紙條，寫(xiě)的是：

“擦眼淚11次；系鞋帶15次；給每個(gè)孩子吹玩具氣球各5次,累計(jì)15次；每個(gè)氣球的平均壽命10秒鐘；警告孩子不要橫穿馬路26次；孩子堅(jiān)持要穿馬路26次；我還要再過(guò)這樣的星期六0次”。統(tǒng)計(jì)學(xué)真的這樣呆板嗎？?jī)H僅收集數(shù)據(jù)，整理分析，累加平均…第2頁(yè)，課件共28頁(yè)，創(chuàng)作于2023年2月2統(tǒng)計(jì)學(xué)以數(shù)據(jù)為研究?jī)?nèi)容，但僅僅收集數(shù)據(jù)，決不構(gòu)成統(tǒng)計(jì)學(xué)研究的全部。下面介紹幾種最常用、也是最基本的統(tǒng)計(jì)決策方法。這些方法是以后各種模式識(shí)別方法的基礎(chǔ)。第3頁(yè)，課件共28頁(yè)，創(chuàng)作于2023年2月3貝葉斯決策理論方法是統(tǒng)計(jì)模式識(shí)別中的一個(gè)基本方法，用這種方法進(jìn)行分類(lèi)時(shí)要求滿(mǎn)足以下兩個(gè)條件：（1）各類(lèi)別總體的概率分布是已知的；（2）要決策的類(lèi)別數(shù)是一定的。在連續(xù)的條件下，假設(shè)要識(shí)別的對(duì)象有d種特征測(cè)量值，每一種特征都是一個(gè)隨機(jī)變量，因此組成d維隨機(jī)向量,d種特征的所有的取值范圍構(gòu)成了d維特征空間。2.1Bayes定理第4頁(yè)，課件共28頁(yè)，創(chuàng)作于2023年2月4貝葉斯決策理論方法所討論的問(wèn)題是：已知總共有c個(gè)類(lèi)別及各類(lèi)別ωi=1,2,…,c的先驗(yàn)概率P(ωi)及類(lèi)條件概率密度函數(shù)p(x|ωi)已知的條件下，如何對(duì)某一樣本按其特征向量分類(lèi)的問(wèn)題。由于屬于不同類(lèi)的待識(shí)別對(duì)象存在著呈現(xiàn)相同觀察值的可能，即所觀察到的某一樣本的特征向量為X，而在c類(lèi)中又有不止一類(lèi)可能呈現(xiàn)這一X值，這種可能性可用P(ωi|X)表示。如何作出合理的判決就是貝葉斯決策理論所要討論的問(wèn)題。第5頁(yè)，課件共28頁(yè)，創(chuàng)作于2023年2月5先驗(yàn)概率預(yù)先已知的或者可以估計(jì)的模式識(shí)別系統(tǒng)位于某種類(lèi)型的概率，即根據(jù)大量統(tǒng)計(jì)確定某類(lèi)事物出現(xiàn)的比例。如我國(guó)理工科大學(xué)男女生比例大約為8:2，則在這類(lèi)學(xué)校一個(gè)學(xué)生是男生的先驗(yàn)概率為0.8，而為女生的概率是0.2，兩個(gè)概率之和為1。第6頁(yè)，課件共28頁(yè)，創(chuàng)作于2023年2月6類(lèi)條件概率密度函數(shù)系統(tǒng)位于某種類(lèi)型條件下模式樣本出現(xiàn)的概率密度分布函數(shù)。男女生比例是男生與女生這兩類(lèi)事物之間的關(guān)系，而男生高度的分布則與女生的分布無(wú)關(guān)。為了強(qiáng)調(diào)是同一類(lèi)事物內(nèi)部，因此這種分布密度函數(shù)往往表示成條件概率的形式。例如X表示某一個(gè)學(xué)生的特征向量，則男生的類(lèi)條件概率密度表示成P(X|男生)，女生的表示成P(X|女生)，這兩者之間沒(méi)有任何關(guān)系，可為從0~1之間的任意值。

第7頁(yè)，課件共28頁(yè)，創(chuàng)作于2023年2月7

后驗(yàn)概率一個(gè)具體樣本屬于某種類(lèi)別的概率。例如一個(gè)學(xué)生用特征向量X表示，它是男性或女性的概率表示成P(男生|X)和P(女生|X)，這就是后驗(yàn)概率。由于一個(gè)學(xué)生只可能為兩個(gè)性別之一，因此有P(男生|X)+P(女生|X)=1，這一點(diǎn)是與類(lèi)分布密度函數(shù)不同的。后驗(yàn)概率與先驗(yàn)概率也不同，后驗(yàn)概率涉及一個(gè)具體事物，而先驗(yàn)概率是泛指一類(lèi)事物，因此P(男生|X)和P(男生)是兩個(gè)不同的概念。第8頁(yè)，課件共28頁(yè)，創(chuàng)作于2023年2月8貝葉斯公式兩個(gè)事物X與w聯(lián)合出現(xiàn)的概率稱(chēng)為聯(lián)合概率，可寫(xiě)成P(X，w)，它們又可與條件概率聯(lián)系起來(lái)，即P(X，w)=P(X|w)P(w)=P(w|X)P(X)，這就是貝葉斯公式。如果將上式中各個(gè)項(xiàng)與先驗(yàn)概率，類(lèi)條件概率密度函數(shù)以及后驗(yàn)概率聯(lián)合起來(lái)，可以找到利用先驗(yàn)概率，類(lèi)條件概率分布密度函數(shù)計(jì)算后驗(yàn)概率的方法。

第9頁(yè)，課件共28頁(yè)，創(chuàng)作于2023年2月92.1Bayes定理假設(shè)每個(gè)要識(shí)別的細(xì)胞已作過(guò)預(yù)處理，并抽取出了d個(gè)特征描述量，用一個(gè)d維的特征向量X表示，識(shí)別的目的是要依據(jù)該X向量將細(xì)胞劃分為正常細(xì)胞或者異常細(xì)胞。這里我們用ω１表示是正常細(xì)胞，而ω２則屬于異常細(xì)胞。

下面我們從一個(gè)兩類(lèi)情況的例子——癌細(xì)胞識(shí)別出發(fā)來(lái)討論，然后推廣到一般情況。第10頁(yè)，課件共28頁(yè)，創(chuàng)作于2023年2月102.1Bayes定理根據(jù)醫(yī)院細(xì)胞病理檢查的大量統(tǒng)計(jì)資料可以對(duì)某一地區(qū)正常細(xì)胞和異常細(xì)胞出現(xiàn)的比例作出估計(jì)，即已知先驗(yàn)概率P(ω1)和P(ω2)，P(ω1)＋P(ω2)＝1。顯然一般情況下P(ω1)>P(ω2)，因此如果不仔細(xì)觀察具體的細(xì)胞化驗(yàn)值，該細(xì)胞是正常細(xì)胞的判決，在統(tǒng)計(jì)的意義上來(lái)說(shuō)，錯(cuò)判可能性比判為異常細(xì)胞時(shí)小。但僅按先驗(yàn)概率來(lái)決策，就會(huì)把所有細(xì)胞都劃歸為正常細(xì)胞，并沒(méi)有達(dá)到將正常細(xì)胞與異常細(xì)胞區(qū)分開(kāi)的目的。這表明由先驗(yàn)概率所提供的信息太少。

第11頁(yè)，課件共28頁(yè)，創(chuàng)作于2023年2月11為此必須利用抽取到的d維觀測(cè)向量。為簡(jiǎn)單起見(jiàn)，假定d=1，并已知兩類(lèi)的類(lèi)條件概率密度函數(shù)分布，如圖所示，其中P(x|ω1)是正常細(xì)胞的屬性分布，P(x|ω2)是異常細(xì)胞的屬性分布。類(lèi)條件概率密度圖第12頁(yè)，課件共28頁(yè)，創(chuàng)作于2023年2月12由Bayes公式得到：

式中

于是由先驗(yàn)概率轉(zhuǎn)化為后驗(yàn)概率P(ωj|x)。

如果對(duì)待分類(lèi)模式的特征我們得到一個(gè)觀察值x，經(jīng)上式計(jì)算出結(jié)果，則判決X屬于，反之，屬于。第13頁(yè)，課件共28頁(yè)，創(chuàng)作于2023年2月132.2Bayes決策第14頁(yè)，課件共28頁(yè)，創(chuàng)作于2023年2月14

例1：在細(xì)胞的化驗(yàn)中，要區(qū)分正常和異常的兩種類(lèi)型，分別用w1和w2表示，已知p(w1)=0.85,p(w2)=0.15,現(xiàn)有一待測(cè)細(xì)胞，其觀測(cè)值為X，從類(lèi)條件概率密度分析曲線(xiàn)上查得p(x/w1)=0.15,p(x/w2)=0.45,試對(duì)該細(xì)胞進(jìn)行分類(lèi)。2.2Bayes決策第15頁(yè)，課件共28頁(yè)，創(chuàng)作于2023年2月15所以這次化驗(yàn)的細(xì)胞被判斷為正常類(lèi)型細(xì)胞。第16頁(yè)，課件共28頁(yè)，創(chuàng)作于2023年2月162.2Bayes決策2.2.2最小風(fēng)險(xiǎn)Bayes決策最小風(fēng)險(xiǎn)Bayes決策是考慮各種錯(cuò)誤造成損失不同而提出的一種決策規(guī)則。例如，通過(guò)化驗(yàn)判斷細(xì)胞是不是癌細(xì)胞，可能做出兩種錯(cuò)誤判決：一是把癌細(xì)胞錯(cuò)判為正常細(xì)胞；一種是把正常細(xì)胞錯(cuò)判為癌細(xì)胞。這兩種錯(cuò)誤判決帶來(lái)的風(fēng)險(xiǎn)顯然是不同的。第17頁(yè)，課件共28頁(yè)，創(chuàng)作于2023年2月17第18頁(yè)，課件共28頁(yè)，創(chuàng)作于2023年2月18一般決策表第19頁(yè)，課件共28頁(yè)，創(chuàng)作于2023年2月19第20頁(yè)，課件共28頁(yè)，創(chuàng)作于2023年2月20第21頁(yè)，課件共28頁(yè)，創(chuàng)作于2023年2月21例2：在細(xì)胞化驗(yàn)中要區(qū)分正常的和異常的兩種類(lèi)型，分別是分別用w1和w2表示，要得到的判決也是兩種，分別為a1和a2，需要匯集專(zhuān)家們的知識(shí)和經(jīng)驗(yàn)，針對(duì)具體問(wèn)題進(jìn)行深入的分析，了解各種判決可能造成的風(fēng)險(xiǎn)或損失。細(xì)胞識(shí)別中的風(fēng)險(xiǎn)矩陣第22頁(yè)，課件共28頁(yè)，創(chuàng)作于2023年2月22解：根據(jù)風(fēng)險(xiǎn)矩陣表所以這次化驗(yàn)的細(xì)胞被判斷為異常類(lèi)型細(xì)胞。第23頁(yè)，課件共28頁(yè)，創(chuàng)作于2023年2月232.3分類(lèi)器的設(shè)計(jì)第24頁(yè)，課件共28頁(yè)，創(chuàng)作于2023年2月242.3分類(lèi)器的設(shè)計(jì)

按最小錯(cuò)誤率作決策時(shí)，決策規(guī)則的形式為

則相應(yīng)的判別函數(shù)為：

gi(X)＝P(ωi|X),i=1,2

而決策面方程則可寫(xiě)成

g1(X)＝g2(X)

決策規(guī)則也可以寫(xiě)成用判別函數(shù)表示的形式

如果gi(X)＞gj(X)i,j=1,2且i≠j則X∈ωi，否則X∈ωj

第25頁(yè)，課件共28頁(yè)，創(chuàng)作于2023年2月25至于多類(lèi)別情況，則對(duì)應(yīng)于一種決策規(guī)則要定義一組判別函數(shù)：

gi(X)，i=1,2,…，c

而決策規(guī)則可表示成