1、 內(nèi)容綱要 研究目的和意義研究目的和意義14251 130011 0010 1010 1101 0001 0100 1011第二章貝葉斯決策理論01 內(nèi)容綱要 研究目的和意義研究目的和意義2 2.1 分類器設(shè)計（以統(tǒng)計概率為基礎(chǔ)） 2.2 Bayes決策的討論/基本概念 2.3 基于最小錯誤率的Bayes決策 2.4 基于最小風(fēng)險的Bayes決策 2.5 Bayes決策比較 2.6 Bayes分類實現(xiàn) 2.7 兩類錯誤率與ROC曲線 2.8 本章小結(jié)第二章 貝葉斯決策理論第二章 內(nèi)容綱要 內(nèi)容綱要 研究目的和意義研究目的和意義31.5 模式識別系統(tǒng)第一章 緒論計算機分類識別計算機分析 內(nèi)容綱要

2、 研究目的和意義研究目的和意義41.5 模式識別系統(tǒng)第一章 緒論一個典型的模式識別系統(tǒng)（監(jiān)督模式識別） 一個典型的模式識別系統(tǒng)一般由數(shù)據(jù)獲取，預(yù)處理，特征提取選擇、分類決策及分類器設(shè)計五部分組成。 分類器設(shè)計在訓(xùn)練過程中完成，利用樣本進行訓(xùn)練，確定分類器的具體參數(shù)。而分類決策在識別過程中起作用，對待識別的樣本進行分類決策。 內(nèi)容綱要 研究目的和意義研究目的和意義52.1 分類器設(shè)計（以特征值的統(tǒng)計概率為基礎(chǔ)）第二章 貝葉斯決策理論 內(nèi)容綱要 研究目的和意義研究目的和意義6 2.基于數(shù)據(jù)的方法 基本思想：確定了描述樣本所采用的特征之后，收集一定數(shù)量的已知樣本，用這些樣本作訓(xùn)練集來訓(xùn)練一定的模式識

3、別機器，使之在訓(xùn)練后能夠?qū)ξ粗獦颖具M行分類。（主要的方法，基礎(chǔ)是統(tǒng)計模式識別。）1.3 模式識別的主要方法第一章 緒論 內(nèi)容綱要 研究目的和意義研究目的和意義7 （1）由于樣本的統(tǒng)計變化的原因，以“特征值的統(tǒng)計概率為基礎(chǔ)”開始。 （2）基本思路基本思路：設(shè)計分類器，將未知類型的樣本分類到最可能的類別中！ （3）需要定義，什么是“最可能”？2.1.1 基本思路第二章 貝葉斯決策理論？X？X 內(nèi)容綱要 研究目的和意義研究目的和意義8第二章 貝葉斯決策理論“可能性” “概率” )|(BAP“條件概率”？ 如何計算？ 貝葉斯規(guī)則（公式）！ 2.1.1 基本思路 內(nèi)容綱要 研究目的和意義研究目的和意義9

4、2.1.2 Bayes公式第二章 貝葉斯決策理論 內(nèi)容綱要 研究目的和意義研究目的和意義102.1.2 Bayes公式第二章 貝葉斯決策理論Bayes公式如下：njjjiiiPXPPXPXP1)()|()()|()|(Bayes公式體現(xiàn)了先驗概率、類概率密度函數(shù)、后驗概率三者之間的關(guān)系。)(iP)|(iXP先驗概率類條件概率密度函數(shù)后驗概率)|(XPi 內(nèi)容綱要 研究目的和意義研究目的和意義11第二章 貝葉斯決策理論貝葉斯準(zhǔn)則 內(nèi)容綱要 研究目的和意義研究目的和意義12第二章 貝葉斯決策理論對于待測樣品，Bayes公式可以計算出該樣品分屬各類別的概率，叫做后驗概率?？碭屬于哪個類的可能性最大，

5、就把X歸于可能性最大的那個類，后驗概率作為識別對象歸屬的依據(jù)。 基本的貝葉斯決策思路！2.1.2 Bayes公式 內(nèi)容綱要 研究目的和意義研究目的和意義132.2 Bayes決策的討論第二章 貝葉斯決策理論 內(nèi)容綱要 研究目的和意義研究目的和意義142.2.1 Bayes決策所討論的問題第二章 貝葉斯決策理論分類問題解決了嗎？ 內(nèi)容綱要 研究目的和意義研究目的和意義152.2 Bayes決策的討論第二章 貝葉斯決策理論例：某制藥廠生產(chǎn)的藥品檢驗識別目的：說明Bayes決策所要解決的問題！如圖所示，正常藥品“，異常藥品”-”。識別的目的是要依據(jù)X向量將藥品劃分為兩類。 內(nèi)容綱要 研究目的和意義研

6、究目的和意義16 對于圖來說，可以用一直線作為分界線，這條直線是關(guān)于X的線性方程，稱為線性分類器線性分類器。2.2 Bayes決策的討論第二章 貝葉斯決策理論Feature Space 內(nèi)容綱要 研究目的和意義研究目的和意義17 問題在于出現(xiàn)模棱兩可的情況，如圖問題在于出現(xiàn)模棱兩可的情況，如圖4-24-2所示。所示。2.2 Bayes決策的討論第二章 貝葉斯決策理論1.1.此時，任何決策此時，任何決策都存在判錯的可能都存在判錯的可能性。性。2.2.所觀察到的某一所觀察到的某一樣品的特征向量樣品的特征向量X X，在在M M類中又有不止一類中又有不止一類可能呈現(xiàn)這一類可能呈現(xiàn)這一X X值，值，無論

7、直線參數(shù)如何無論直線參數(shù)如何設(shè)計，總會有錯分設(shè)計，總會有錯分類發(fā)生。類發(fā)生。 內(nèi)容綱要 研究目的和意義研究目的和意義18 （1）按什么規(guī)則設(shè)計分類器（完成分類）？ （2）當(dāng)分類器的設(shè)計完成后，對待測樣品進行分類，一定能正確分類嗎？ （3）如果有錯分類情況發(fā)生，是在何種情況下出現(xiàn)的？錯分類的可能性會有多大？2.2.1 Bayes決策所討論的問題第二章 貝葉斯決策理論 內(nèi)容綱要 研究目的和意義研究目的和意義19 如果以錯分類最小為原則分類，則圖中A直線可能是最佳的分界線，它使錯分類的樣品數(shù)量為最小。2.2 Bayes決策的討論第二章 貝葉斯決策理論選A，將“”誤為“+”，錯分3個樣本選B，將“+”

8、誤為“”，錯分4個樣本 內(nèi)容綱要 研究目的和意義研究目的和意義20 如果將一個“樣品錯分為”“類所造成的損失要比將”“分成”“類嚴(yán)重。 偏向使對”“類樣品的錯分類進一步減少，可以使總的損失最小，那么B直線就可能比A直線更適合作為分界線。2.2 Bayes決策的討論第二章 貝葉斯決策理論將“”誤為“+”，將“+”誤為“”+ 內(nèi)容綱要 研究目的和意義研究目的和意義21 分類器參數(shù)的選擇或者學(xué)習(xí)過程得到的結(jié)果取決于設(shè)計者選擇什么樣的準(zhǔn)則函數(shù)。 不同準(zhǔn)則函數(shù)的最優(yōu)解對應(yīng)不同的學(xué)習(xí)結(jié)果，得到性能不同的分類器。2.2 Bayes決策的討論第二章 貝葉斯決策理論 內(nèi)容綱要 研究目的和意義研究目的和意義22

9、（1）按什么規(guī)則設(shè)計分類器（完成分類）？ （2）當(dāng)分類器的設(shè)計完成后，對待測樣品進行分類，一定能正確分類嗎？ （3）如果有錯分類情況發(fā)生，是在何種情況下出現(xiàn)的？錯分類的可能性會有多大？2.2.1 Bayes決策所討論的問題第二章 貝葉斯決策理論 內(nèi)容綱要 研究目的和意義研究目的和意義23 錯分類往往難以避免，這種可能性可用 表示。2.2 Bayes決策的討論第二章 貝葉斯決策理論)|(XPi 內(nèi)容綱要 研究目的和意義研究目的和意義24 錯分類往往難以避免，這種可能性可用 表示。 如何做出合理的判決就是Bayes決策所要討論的問題。2.2 Bayes決策的討論第二章 貝葉斯決策理論)|(XPi

10、內(nèi)容綱要 研究目的和意義研究目的和意義25 錯分類往往難以避免。 如何做出合理的判決就是Bayes決策所要討論的問題。 其中最有代表性的是:2.2 Bayes決策的基本概念第二章 貝葉斯決策理論基于錯誤率的Bayes決策基于最小風(fēng)險的Bayes決策 內(nèi)容綱要 研究目的和意義研究目的和意義261）基于最小錯誤率的Bayes決策 指出了機器自動識別出現(xiàn)錯分類的條件； 錯分類的可能性如何計算； 如何實現(xiàn)使錯分類出現(xiàn)可能性最小。2.2 Bayes決策的基本概念第二章 貝葉斯決策理論 內(nèi)容綱要 研究目的和意義研究目的和意義27 如果將一個“樣品錯分為”“類所造成的損失要比將”“分成”“類嚴(yán)重。 偏向使對

11、”“類樣品的錯分類進一步減少，可以使總的損失最小，那么B直線就可能比A直線更適合作為分界線。2.2 Bayes決策的討論第二章 貝葉斯決策理論將“”誤為“+”，將“+”誤為“”+ 內(nèi)容綱要 研究目的和意義研究目的和意義282）基于最小錯誤風(fēng)險的Bayes決策 在最小錯誤率的決策基礎(chǔ)上，引入了“風(fēng)險”與“損失”概念，希望做到使風(fēng)險最小，減小危害大的錯分類情況。 2.2 Bayes決策的討論第二章 貝葉斯決策理論本頁圖片來自百度搜索引擎 內(nèi)容綱要 研究目的和意義研究目的和意義29 從圖42可見，錯分類有不同情況，兩種錯誤造成的損失不一樣，不同的錯誤分類造成的損失會不相同，后一種錯誤更可怕，因此就要

12、考慮減小因錯分類的危害損失。2.2 Bayes決策的討論第二章 貝葉斯決策理論 內(nèi)容綱要 研究目的和意義研究目的和意義302.2.2 Bayes公式第二章 貝葉斯決策理論 內(nèi)容綱要 研究目的和意義研究目的和意義312.2 Bayes決策的基本概念第二章 貝葉斯決策理論對于待測樣品，Bayes公式可以計算出該樣品分屬各類別的概率，叫做后驗概率?？碭屬于哪個類的可能性最大，就把X歸于可能性最大的那個類，后驗概率作為識別對象歸屬的依據(jù)。 內(nèi)容綱要 研究目的和意義研究目的和意義322.2 Bayes決策的基本概念第二章 貝葉斯決策理論Bayes公式如下：njjjiiiPXPPXPXP1)()|()()

13、|()|(Bayes公式體現(xiàn)了先驗概率、類概率密度函數(shù)、后驗概率三者之間的關(guān)系。)(iP)|(iXP先驗概率類條件概率密度函數(shù)后驗概率)|(XPi 內(nèi)容綱要 研究目的和意義研究目的和意義332.2 Bayes決策的基本概念第二章 貝葉斯決策理論)(iP)(iP1、先驗概率先驗概率針對M個事件出現(xiàn)的可能性而言，不考慮其他任何條件。 內(nèi)容綱要 研究目的和意義研究目的和意義342.2 Bayes決策的基本概念第二章 貝葉斯決策理論)(iP1n2n1、舉例說明：什么是先驗概率 ？，異常藥品數(shù)為由統(tǒng)計資料表明總藥品數(shù)為n，其中正常藥品數(shù)為則 nnP11)(nnP22)(先驗概率! 顯然在一般情況下正常藥

14、品占比例大，即)()(21PP由先驗概率所提供的信息太少！ 內(nèi)容綱要 研究目的和意義研究目的和意義352.2 Bayes決策的基本概念第二章 貝葉斯決策理論)|(iXP類條件概率密度函數(shù) )|(iXP是指在已知某類別的特征空間中，出現(xiàn)特征值X的概率密度， i即第 類樣品它的屬性X是如何分布的。 2、類條件概率密度函數(shù) 內(nèi)容綱要 研究目的和意義研究目的和意義362.2 Bayes決策的基本概念第二章 貝葉斯決策理論假定只用某一個特征進行分類，即d1。并已知這兩類的類條件概率函數(shù)分布，如圖43所示。 概率密度函數(shù) )|(1XP是正常藥品的屬性分布，概率密度函數(shù) )|(2XP是異常藥品的屬性分布。

15、內(nèi)容綱要 研究目的和意義研究目的和意義372.2 Bayes決策的基本概念第二章 貝葉斯決策理論如果采用正態(tài)密度函數(shù)作為類條件概率密度的函數(shù)形式，則函數(shù)內(nèi)的參數(shù)（如期望和方差）是未知的，那么問題就變成了如何利用大量樣品對這些參數(shù)進行估計。)|(iXP也就確定了。 在工程上的許多問題中，統(tǒng)計數(shù)據(jù)往往滿足正態(tài)分布規(guī)律。正態(tài)分布簡單，分析簡單，參量少，是一種適宜的數(shù)學(xué)模型。只要估計出這些參數(shù)，類條件概率密度函數(shù) 內(nèi)容綱要 研究目的和意義研究目的和意義382.2 Bayes決策的基本概念第二章 貝葉斯決策理論單變量正態(tài)分布概率密度函數(shù)為：)(21exp21)(2xxP為數(shù)學(xué)期望（均值） dxxxPxE

16、)()(2為方差： dxxPxxE)()()(222 內(nèi)容綱要 研究目的和意義研究目的和意義392.2 Bayes決策的基本概念第二章 貝葉斯決策理論多維正態(tài)概率密度函數(shù)為：)()(21exp|)2(1)(12/12/XSXSXPTN),.,(21NxxxX 為 N維特征向量； 為 N),.,(21N)(TXXES維均值向量； 為 N維協(xié)方差矩陣； 1S是 S的逆矩陣； | S是 S的行列式。 內(nèi)容綱要 研究目的和意義研究目的和意義402.2 Bayes決策的基本概念第二章 貝葉斯決策理論在大多數(shù)情況下，類條件概率密度函數(shù)可以采用多維變量的正態(tài)概率密度函數(shù)類模擬，即|ln212ln2)()(2

17、1)()(21exp|)2(1ln)|(112/12/iiiTiiiTiiNiSNXSXXSXSXP 內(nèi)容綱要 研究目的和意義研究目的和意義412.2 Bayes決策的基本概念第二章 貝葉斯決策理論3、后驗概率 后驗概率是指呈現(xiàn)狀態(tài)X時，該樣品分屬各類別的概率，這個概率值可以作為識別對象歸屬的依據(jù) 。 內(nèi)容綱要 研究目的和意義研究目的和意義422.2 Bayes決策的基本概念第二章 貝葉斯決策理論由于屬于不同類的待識別對象存在著呈現(xiàn)相同觀察值的可能，即所觀察到的某一樣品的特征向量為X，而在M類中又有不止一類可能呈現(xiàn)這一X值，它屬于各類的概率又是多少呢？ 這種可能性可用 )|(XPi表示！ 后驗

18、概率！ 內(nèi)容綱要 研究目的和意義研究目的和意義432.2 Bayes決策的基本概念第二章 貝葉斯決策理論njjjiiiiPXPPXPXP1)()|()()|()|()|(XPi是表示在X出現(xiàn)條件下，樣品為 i類的概率。在這里要弄清楚條件概率這個概念。 內(nèi)容綱要 研究目的和意義研究目的和意義442.2 Bayes決策的基本概念第二章 貝葉斯決策理論4、 )|(1XP和 )|(2XP與 )|(1XP和 )|(2XP的區(qū)別 )|(1XP和 )|(2XP是在同一條件X下，比較 1和 2出現(xiàn)的概率。 內(nèi)容綱要 研究目的和意義研究目的和意義452.2 Bayes決策的基本概念第二章 貝葉斯決策理論 如 )

19、|()|(21XPXP則可以下結(jié)論，在X條件下，事件 1出現(xiàn)的可能性大。兩類情況下，則有 1)|()|(21XPXP如圖44所示。 內(nèi)容綱要 研究目的和意義研究目的和意義462.2 Bayes決策的基本概念第二章 貝葉斯決策理論 )|(1XP與 )|(2XP兩者之間沒有聯(lián)系，比較兩者沒有意義。 都是指各自條件下出現(xiàn)X的可能性， 內(nèi)容綱要 研究目的和意義研究目的和意義472.3 基于最小錯誤率的Bayes決策 第二章 貝葉斯決策理論 內(nèi)容綱要 研究目的和意義研究目的和意義482.3 基于最小錯誤率的Bayes決策第二章 貝葉斯決策理論假定得到一個待識別量的特征X后，每個樣品X有 N個特征，即 T

20、NxxxX),.,(21 通過樣品庫，計算先驗概率 )(iP及類條件概率密度函數(shù) )|(iXP，得到呈現(xiàn)狀態(tài)X時，該樣品分屬各類別的概率， 顯然這個概率值可以作為識別對象判屬的依據(jù)。 內(nèi)容綱要 研究目的和意義研究目的和意義492.3 基于最小錯誤率的Bayes決策第二章 貝葉斯決策理論基于最小錯誤概率的貝葉斯決策就是按后驗概率的大小做判決的。這個規(guī)則又可以根據(jù)類別數(shù)目，寫成不同的幾種等價形式。 從后驗概率分布圖44可見，在X值小時，藥品被判為正常是比較合理的，判斷錯誤的可能性小。 內(nèi)容綱要 研究目的和意義研究目的和意義50第二章 貝葉斯決策理論兩類問題若每個樣品屬于 1， 2類中的一類，已知兩

21、類的先驗概率分別為 )(1P和 )(2P，兩類的類條件概率密度分別為 )|(1XP和 )|(2XP則任給一X，判斷X的類別。 2.3 基于最小錯誤率的Bayes決策由Bayes公式可知：)(/ )()|()|(XPPXPXPjjj由全概率公式可知：MjjjPXPXP1)()|()(其中M為類別。 內(nèi)容綱要 研究目的和意義研究目的和意義51第二章 貝葉斯決策理論對于兩類問題)()|()()|()(2211PXPPXPXP所以用后驗概率來判別為：2121)|()|(XXPXP2.3 基于最小錯誤率的Bayes決策 內(nèi)容綱要 研究目的和意義研究目的和意義52第二章 貝葉斯決策理論判別函數(shù)還有另外兩種

22、形式，即似然比形式： 211221)()()|()|()(XPPXPXPxl其中，式中的 )(xl在統(tǒng)計學(xué)中稱為似然比。 )()(12PP稱為似然比閾值，其對數(shù)形式： 212112)(/ )(ln)|(ln)|(lnXPPXPXP三種判別函數(shù)是一致的。也可以用后驗概率來表示判別函數(shù)。2.3 基于最小錯誤率的Bayes決策 內(nèi)容綱要 研究目的和意義研究目的和意義53第二章 貝葉斯決策理論判別函數(shù)的一般形式，如圖45所示。2.3 基于最小錯誤率的Bayes決策2.多類問題 內(nèi)容綱要 研究目的和意義研究目的和意義54第二章 貝葉斯決策理論若樣品分為M類 M,.,21各類的先驗概率分別為 )(1P)(

23、2P )(MP各類的類條件概率密度分別為 )|(1XP)|(2XP )|(MXP就有M個判別函數(shù)。 2.3 基于最小錯誤率的Bayes決策2.多類問題 內(nèi)容綱要 研究目的和意義研究目的和意義55第二章 貝葉斯決策理論在取得一個觀察特征X之后，在特征X的條件下，看哪個類的概率最大，應(yīng)該把X歸于概率最大的那個類。2.3 基于最小錯誤率的Bayes決策因此對于任一模式X，可以通過比較各個判別函數(shù)來確定X的類別。ijjMjiiXXPPXPP)|()()|()(max1其中， Mi,.,2 , 1 把X代入M個判別函數(shù)中，看哪個判別函數(shù)最大，就把X歸于這一類。 內(nèi)容綱要 研究目的和意義研究目的和意義56

24、第二章 貝葉斯決策理論判別函數(shù)的對數(shù)形式為：ijjMjiiXXPPXPP)|(ln)(lnmax)|(ln)(ln12.3 基于最小錯誤率的Bayes決策其中， Mi,.,2 , 1 內(nèi)容綱要 研究目的和意義研究目的和意義57第二章 貝葉斯決策理論在大多數(shù)情況下，類條件概率密度可以采用多維變量的正態(tài)概率密度函數(shù)來模擬。)(ln|ln212ln2)()(21)()()(21exp|)2(1ln)()|()(112/12/iiiiTiiiiTiiNiiiPSNXSXPXSXSPxPxh2.3 基于最小錯誤率的Bayes決策此時正態(tài)分布的Bayes分類器判別函數(shù)為： 內(nèi)容綱要 研究目的和意義研究目的

25、和意義58第二章 貝葉斯決策理論使用什么樣的決策原則可以做到錯誤率最小呢？)|(XPi然后根據(jù)后驗概率最大的類來分類。2.3 基于最小錯誤率的Bayes決策這個條件是要知道一個樣品X分屬不同類別的可能性，表示成后驗概率要通過Bayes公式從先驗概率與類分布函數(shù)來計算。 直觀的想法！確認(rèn)是最明智的選擇嗎？ 內(nèi)容綱要 研究目的和意義研究目的和意義59第二章 貝葉斯決策理論基于最小錯誤率的Bayes決策根據(jù)：如果 )|(max)|(2, 1XPXPjji則 iX注意：由于統(tǒng)計判別方法是基于統(tǒng)計參數(shù)做出決策，因此錯誤率也只能從平均的意義上講，表示為在觀測值可能取值的整個范圍內(nèi)錯誤率的均值。2.3 基于

26、最小錯誤率的Bayes決策3.最小錯誤率證明 內(nèi)容綱要 研究目的和意義研究目的和意義60第二章 貝葉斯決策理論為了直觀，假設(shè)X只有一個特征， 1N，于是 )|(1XP， )|(2XP都是一元函數(shù)。 將整個特征空間分為不相交的兩個部分 1R和 2R當(dāng)模式落在 1R內(nèi)判它屬于 1類， 求分類器相當(dāng)于求 1R和 2R的界線。 2.3 基于最小錯誤率的Bayes決策1R2R12Feature SpaceFeature Space！ 內(nèi)容綱要 研究目的和意義研究目的和意義61第二章 貝葉斯決策理論1) 第一類判錯 如果X原屬于 1類，卻落在 2R內(nèi)，稱為第一類判錯。2)|()|()(1121RdXXPR

27、XPeP2.3 基于最小錯誤率的Bayes決策錯誤率為：1R2R12XX 內(nèi)容綱要 研究目的和意義研究目的和意義62第二章 貝葉斯決策理論2) 第二類判錯如果X原屬于 2類，卻落在 1R內(nèi)，稱為第二類判錯。12122( )(|)(|)RP eP XRP XdX2.3 基于最小錯誤率的Bayes決策錯誤率為：1R2R12XX 內(nèi)容綱要 研究目的和意義研究目的和意義63第二章 貝葉斯決策理論平均錯誤率 )(eP可表示成： 12)()|()()|()(2211RRdXpXPdXpXPeP因此，錯誤率為圖中兩個劃線部分之和，如圖46所示。2.3 基于最小錯誤率的Bayes決策 內(nèi)容綱要 研究目的和意義

28、研究目的和意義64第二章 貝葉斯決策理論表明每個樣品所屬類別都使 )|(XPi這時總的錯誤率為最小。12)()|()()|(2211RRdXpXPdXpXP2.3 基于最小錯誤率的Bayes決策如果 )|(max)|(2, 1XPXPjji則 iXBayes決策公式！為最大，實際上使X判錯的可能性達到最小，按Bayes決策分類時， 內(nèi)容綱要 研究目的和意義研究目的和意義652.4 基于最小風(fēng)險的Bayes決策 第二章 貝葉斯決策理論 內(nèi)容綱要 研究目的和意義研究目的和意義66第二章 貝葉斯決策理論2.4 基于最小風(fēng)險的Bayes決策可見使錯誤率最小并不一定是最佳選擇! 內(nèi)容綱要 研究目的和意義

29、研究目的和意義67第二章 貝葉斯決策理論實踐中，從根據(jù)不同性質(zhì)的錯誤會引起不同程度的損失考慮出發(fā),寧肯擴大一些總的錯誤率，但也要使總的損失減少。2.4 基于最小風(fēng)險的Bayes決策這會引起一個與損失有關(guān)聯(lián)的概率風(fēng)險。在做出決策時，要考慮所承擔(dān)的風(fēng)險?；谧钚★L(fēng)險的Bayes決策規(guī)則正是為了體現(xiàn)這一點而產(chǎn)生的! 這時直線B的劃分為最實用! 內(nèi)容綱要 研究目的和意義研究目的和意義68第二章 貝葉斯決策理論將做出判決的依據(jù)，從單純考慮后驗概率最大值，改為對該觀測值X條件下各狀態(tài)后驗概率求加權(quán)和的方式： MjjiiXPjXR1)|(),()(其中， i代表將X判為 i類的決策； ),(ji表示觀測樣品

30、X實屬于 j，由于采用 i決策而被判為 i時所造成的損失。 iR則表示了觀測值X被判為 i類時損失的均值。 2.4 基于最小風(fēng)險的Bayes決策 內(nèi)容綱要 研究目的和意義研究目的和意義69第二章 貝葉斯決策理論損失函數(shù)! )2 ,(1) 1 ,(2也可以定義 ) 1 ,(1與 )2 ,(2是指正確判斷也可能有損失。 2.4 基于最小風(fēng)險的Bayes決策為了使式子書寫更方便， 內(nèi)容綱要 研究目的和意義研究目的和意義70第二章 貝葉斯決策理論把X判作 1引進的損失應(yīng)該與 )2 ,(1以及 ) 1 ,(2都有關(guān)，哪一個占主要成分，則取決于 )|(1XP與 )|(2XP。 因此變成了一個加權(quán)和。如表4

31、1所示。2.4 基于最小風(fēng)險的Bayes決策 內(nèi)容綱要 研究目的和意義研究目的和意義71第二章 貝葉斯決策理論此時做出哪一種決策就要看是 )(1XR小還是 )(2XR小了， 這就是基于最小風(fēng)險的Bayes決策的基本出發(fā)點。 如果希望盡可能避免將某狀態(tài) j錯判為狀態(tài) i，則可將相應(yīng)的 ),(ji值選擇得大些，以表明損失的嚴(yán)重性。 加權(quán)和 iR用來衡量觀測樣品X被判為狀態(tài) i所需承擔(dān)的風(fēng)險。 而究竟將X判為何類則應(yīng)依據(jù)所有 ),.,1(MiRi中的最小值，即最小風(fēng)險來決定。 2.4 基于最小風(fēng)險的Bayes決策 內(nèi)容綱要 研究目的和意義研究目的和意義72第二章 貝葉斯決策理論一般 0)2 ,()

32、1 ,(21 為了避免將異常藥品判為正常的嚴(yán)重損失，取 ) 1 ,()2 ,(21則會使 )()(12XRXR機會多 。根據(jù)Bayes最小風(fēng)險分類法，表明正常藥品錯判為異常的可能性大于異常藥品錯判為正常的可能性，損失減少。2.4 基于最小風(fēng)險的Bayes決策 內(nèi)容綱要 研究目的和意義研究目的和意義73第二章 貝葉斯決策理論一些確切的定義： 自然狀態(tài)與狀態(tài)空間。則是由所有自然狀態(tài)組成的空間， M,.,21。 而狀態(tài)間2.4 基于最小風(fēng)險的Bayes決策其中自然狀態(tài)是指待識別對象的類別， 內(nèi)容綱要 研究目的和意義研究目的和意義74第二章 貝葉斯決策理論決策與決策空間。在決策論中，對分類問題所做的判

33、決，稱之為決策，由所有決策組成的空間稱為決策空間。決策不僅包括根據(jù)觀測值將樣品歸到哪一類別，還可包括其他決策，如“拒絕”等，在不考慮“拒絕”情況下，決策空間內(nèi)決策總數(shù)等于類別數(shù)M，表示成 MA,.,212.4 基于最小風(fēng)險的Bayes決策 內(nèi)容綱要 研究目的和意義研究目的和意義75第二章 貝葉斯決策理論損失函數(shù) ),(ji它明確表示本身屬于自然狀態(tài) j，做出決策 i使其歸屬于 i所造成的損失。 2.4 基于最小風(fēng)險的Bayes決策， 內(nèi)容綱要 研究目的和意義研究目的和意義76第二章 貝葉斯決策理論觀測值X條件下的期望損失 )|(XRi， iR也稱為條件風(fēng)險。 MjjiiXPjXR1)|(),(

34、)|(Mi,.,2 , 1，最小風(fēng)險Bayes決策規(guī)則可寫成：)|(min)|(,.2, 1XRXRiMik這里計算的是最小值。2.4 基于最小風(fēng)險的Bayes決策 內(nèi)容綱要 研究目的和意義研究目的和意義77第二章 貝葉斯決策理論對于實際問題，最小風(fēng)險Bayes決策可按下列步驟進行。 已知 )(iP)|(iXPMi,.,2 , 1， X的情況下，根據(jù)Bayes公式計算出后驗概率：MjjjiiiPXPPXPXP1)()|()()|()|(Mj,.,2 , 1 2.4 基于最小風(fēng)險的Bayes決策及給出待識別 內(nèi)容綱要 研究目的和意義研究目的和意義78第二章 貝葉斯決策理論利用計算出的后驗概念及決

35、策表，按下式計算出采取決策 。iMi,.,2 , 1 的條件風(fēng)險MjjiiXPjXR1)|(),()|(Mi,.,2 , 1， 對中得到的M個條件風(fēng)險值 )|(XRiMi,.,2 , 1， 進行比較， 找出使條件風(fēng)險最小的決策 k，則 k就是最小風(fēng)險Bayes決策。 k就是待識別樣品X的歸類。2.4 基于最小風(fēng)險的Bayes決策MjjiiXPjXR1)|(),()|(Mi,.,2 , 1，i， 內(nèi)容綱要 研究目的和意義研究目的和意義792.5 Bayes決策比較 第二章 貝葉斯決策理論 內(nèi)容綱要 研究目的和意義研究目的和意義802.5 Bayes決策比較第二章 貝葉斯決策理論1、最小錯誤率與最

36、小風(fēng)險的Bayes決策比較Mjijijiji,.,2 , 1, 1, 0),(式中假定對M類只有M個決策，即不考慮“拒絕”等其他情況。ji 而對于任何錯誤決策，其損失均為1。 ）時沒有損失，這樣定義的損失函數(shù)稱為01損失函數(shù)。最小錯誤率與最小風(fēng)險的Bayes決策之間的關(guān)系：設(shè)損失函數(shù)為：由式表明，當(dāng)做出正確決策（即 內(nèi)容綱要 研究目的和意義研究目的和意義81第二章 貝葉斯決策理論2.5 Bayes決策比較在01損失函數(shù)情況下，基于最小風(fēng)險的Bayes決策結(jié)果也就是基于最小錯誤概率的Bayes決策結(jié)果。 內(nèi)容綱要 研究目的和意義研究目的和意義82第二章 貝葉斯決策理論實際上， MijjjXP,

37、1)|(也是將X判為 i時的錯誤概率， )|(1)|(, 1XPXPiMijjj，因此當(dāng) )|(XPi最大時，基于最小錯誤概率的Bayes決策結(jié)果將該樣品判歸為 i類，而此時 )(XRi風(fēng)險也是最小的。因此它與基于最小錯誤率的Bayes決策的2.5 Bayes決策比較最小，判據(jù)是一樣的。 內(nèi)容綱要 研究目的和意義研究目的和意義832.5 Bayes決策比較第二章 貝葉斯決策理論2、實例比較某制藥廠生產(chǎn)產(chǎn)品檢測分兩種情況：正常( 1）和異常（ 2）， 兩類的先驗概率分別為 95. 0)(1P05. 0)(2P，。 現(xiàn)有一待測產(chǎn)品呈現(xiàn)出狀態(tài)X，由類條件概率密度分布曲線查得 3 . 0)|(1XP5

38、 . 0)|(2XP， （1）試對該產(chǎn)品X按最小錯誤率的Bayes決策進行分類。 若在上述條件基礎(chǔ)之上，已知 0111512121022， 11表示 ),(11（3）對這兩種分類結(jié)果進行比較。 的簡寫，（2）按最小風(fēng)險Bayes決策進行分類。 內(nèi)容綱要 研究目的和意義研究目的和意義84第二章 貝葉斯決策理論 從上述討論可以看出，正確制訂損失函數(shù)值，是基于最小風(fēng)險的Bayes決策方法在實際應(yīng)用中的一個關(guān)鍵問題。 在實際中列出合適的決策表并不是一件容易的事，需根據(jù)所研究的具體問題，分析錯誤決策造成損失的嚴(yán)重程度。2.5 Bayes決策比較 內(nèi)容綱要 研究目的和意義研究目的和意義852.6 Baye

39、s分類實現(xiàn) 第二章 貝葉斯決策理論鏈接 Practices and Questions 內(nèi)容綱要 研究目的和意義研究目的和意義862.6 Bayes分類實現(xiàn) 第二章 貝葉斯決策理論鏈接 Practices and Questions 內(nèi)容綱要 研究目的和意義研究目的和意義872.6.1 基于二值數(shù)據(jù)的Bayes分類實現(xiàn) 第二章 貝葉斯決策理論 內(nèi)容綱要 研究目的和意義研究目的和意義882.6.1 基于二值數(shù)據(jù)的Bayes分類實現(xiàn)第二章 貝葉斯決策理論1、理論基礎(chǔ)所謂二值數(shù)據(jù)，即各樣品的每一特征只取數(shù)值“1”或“0”。 內(nèi)容綱要 研究目的和意義研究目的和意義89第二章 貝葉斯決策理論2、實現(xiàn)步驟

40、1）計算先驗概率；2）計算類條件概率（直接從定義出發(fā)）；3）應(yīng)用Bayes公式求后驗概率；4）后驗概率的最大值的類別（09）就是手寫數(shù)字的所屬類別。2.6.1 基于二值數(shù)據(jù)的Bayes分類實現(xiàn) 內(nèi)容綱要 研究目的和意義研究目的和意義902.6.2 基于最小錯誤率的Bayes分類實現(xiàn) 第二章 貝葉斯決策理論 內(nèi)容綱要 研究目的和意義研究目的和意義91第二章 貝葉斯決策理論1、理論總結(jié) 錯誤率最小的Bayes分類器設(shè)計思想是尋找一種劃分方式，使“錯判”率最小。1） 兩類問題2）多類問題2.6.2 基于最小錯誤率的Bayes分類實現(xiàn) 內(nèi)容綱要 研究目的和意義研究目的和意義92第二章 貝葉斯決策理論2

41、、實現(xiàn)步驟1）求出每一類手寫數(shù)字樣品的均值2）求每一類的協(xié)方差矩陣3）計算出每一類的協(xié)方差矩陣的逆矩陣以及協(xié)方差矩陣的行列式4）求出每一類的先驗概率5）將各個數(shù)值代入判別函數(shù)6）判別函數(shù)最大值所對應(yīng)類別就是手寫數(shù)字的類別2.6.2 基于最小錯誤率的Bayes分類實現(xiàn)這里，類條件概率密度函數(shù)怎么定？ 內(nèi)容綱要 研究目的和意義研究目的和意義932.6.3 基于最小風(fēng)險的Bayes分類實現(xiàn) 第二章 貝葉斯決策理論 內(nèi)容綱要 研究目的和意義研究目的和意義94第二章 貝葉斯決策理論2.6.3 基于最小風(fēng)險的Bayes分類實現(xiàn)待測樣品 內(nèi)容綱要 研究目的和意義研究目的和意義95第二章 貝葉斯決策理論1、實

42、現(xiàn)步驟1）求出每一類手寫數(shù)字樣品的均值2）求每一類的協(xié)方差矩陣3）計算出每一類的協(xié)方差矩陣的逆矩陣以及協(xié)方差矩陣的行列式4）求出每一類的先驗概率5）計算后驗概率6）定義損失數(shù)組為loss10107）計算每一類的損失riski8）找出最小損失所對應(yīng)的類，該類即是待測樣品所屬的類別。2.6.3 基于最小風(fēng)險的Bayes分類實現(xiàn) 內(nèi)容綱要 研究目的和意義研究目的和意義96第二章 貝葉斯決策理論6）定義損失數(shù)組為loss10102.6.3 基于最小風(fēng)險的Bayes分類實現(xiàn) 內(nèi)容綱要 研究目的和意義研究目的和意義97第二章 貝葉斯決策理論7）計算每一類的損失riski2.6.3 基于最小風(fēng)險的Bayes

43、分類實現(xiàn) 內(nèi)容綱要 研究目的和意義研究目的和意義98第二章 貝葉斯決策理論2、效果圖2.6.3 基于最小風(fēng)險的Bayes分類實現(xiàn) 內(nèi)容綱要 研究目的和意義研究目的和意義992.7 兩類錯誤率與ROC曲線第二章 貝葉斯決策理論 內(nèi)容綱要 研究目的和意義研究目的和意義1001.4 模式識別系統(tǒng)第一章 緒論一個典型的模式識別系統(tǒng)（監(jiān)督模式識別） 一個典型的模式識別系統(tǒng)一般由數(shù)據(jù)獲取，預(yù)處理，特征提取選擇、分類決策及分類器設(shè)計五部分組成。 分類器設(shè)計在訓(xùn)練過程中完成，利用樣本進行訓(xùn)練，確定分類器的具體參數(shù)。而分類決策在識別過程中起作用，對待識別的樣本進行分類決策。 內(nèi)容綱要 研究目的和意義研究目的和意

44、義101陽性：表示某一癥狀存在，或者檢測到某一指標(biāo) 的異常 陰性：表示所考查的癥狀不存在或者所監(jiān)測的指標(biāo)沒有異常。 內(nèi)容綱要 研究目的和意義研究目的和意義102真陽性和真陰性：正確的分類假陽性率（false positive rate）表示假陽性樣本占總陰性樣本的比例。 假陰性率（false negative rate）表示假陰性樣本占總陽性樣本的比例。 假陽性和假陰性：錯誤的分類!對應(yīng)的兩類錯誤率對應(yīng)的兩類錯誤率：假陽性率、假陰性率 內(nèi)容綱要 研究目的和意義研究目的和意義103 Sn 敏感性敏感性 Sp 特異性特異性 Tp是真陽性樣本的個數(shù)；Tn為真陰性樣本的個數(shù)； Fn是假陰性樣本的個數(shù)；

45、Fp是假陽性樣本的個數(shù)。pnnpnppnFTTSFTTS評價一種檢測方法的效果，常用兩個概念：靈敏度（敏感性）和特異度評價一種檢測方法的效果，常用兩個概念：靈敏度（敏感性）和特異度Sn表示真正的陽性樣本中有多少比例表示真正的陽性樣本中有多少比例能被正確檢測出來。表示研究方法把能被正確檢測出來。表示研究方法把陽性樣本正確識別出來的能力。陽性樣本正確識別出來的能力。Sp表示真正的陰性樣本中有多少比例表示真正的陰性樣本中有多少比例沒有被誤判。表示研究方法把陰性樣沒有被誤判。表示研究方法把陰性樣本正確識別出來的能力。本正確識別出來的能力。 內(nèi)容綱要 研究目的和意義研究目的和意義104診斷試驗的敏感性和

46、特異性 任何一個診斷試驗在準(zhǔn)確性方面都有二個基本特性：敏感性(sensitivity)和特異性(specificity)。 敏感性：指在金標(biāo)準(zhǔn)診斷的病例組內(nèi)，由診斷試驗檢出陽性數(shù)的比例，余下的即為假陰性(false negative)患者，或稱為漏診(missed diagnosis)患者，假陰性率又稱為漏診率。 敏感性和假陰性率互補：敏感性1-假陰性率。 特異性：指在金標(biāo)準(zhǔn)確診為無該病的對照組內(nèi)，由診斷試驗檢出陰性結(jié)果人數(shù)的比例，余下的即為假陽性(false positive)患者，或稱為誤診(misdiagnosis)患者，假陽性率又稱為誤診率。 特異性和假陽性率互補：特異性1-假陽性率。

47、 內(nèi)容綱要 研究目的和意義研究目的和意義105 敏感性高的試驗適用于： 疾病漏診可能造成嚴(yán)重后果者 同時有幾個診斷假設(shè)時，為了排除某病的診斷 用于篩檢無癥狀的病人而該病的發(fā)病率又比較低 當(dāng)試驗結(jié)果呈陰性時，敏感性高的試驗臨床價值較大 特異性高的試驗適用于： 凡陽性結(jié)果會導(dǎo)致病人精神和肉體上嚴(yán)重危害時 要肯定診斷時 當(dāng)試驗結(jié)果呈陽性時，特異性高的試驗臨床價值較大敏感性和特異性作用 內(nèi)容綱要 研究目的和意義研究目的和意義106 對于一個實用程序，既要求有較高的敏感性，也要求有較高的特異性。 如果敏感性很高，但特異性比較低，則在實際應(yīng)用中會產(chǎn)生高比率的假陽性； 相反，如果特異性很高，而敏感性比較低，

48、則會產(chǎn)生高比率的假陰性。 對于敏感性和特異性需要進行權(quán)衡，給出綜合評價指標(biāo)。 敏感性和特異性的權(quán)衡 內(nèi)容綱要 研究目的和意義研究目的和意義107對應(yīng)的兩類錯誤率對應(yīng)的兩類錯誤率：假陽性率、假陰性率 假陽性率（統(tǒng)計學(xué)中，第一類錯誤， ）表示假陽性樣本占總陰性樣本的比例。真實的陰性樣本被錯誤判斷為陽性的比例。 1Sp （特異性） 假陰性率（統(tǒng)計學(xué)中，第二類錯誤， ）表示假陰性樣本占總陽性樣本的比例。真實的陽性樣本被錯誤判斷為陰性的比例。1Sn （靈敏性） 內(nèi)容綱要 研究目的和意義研究目的和意義108Sensitivity=TP/(TP+FN)Specificity=TN/(TN+FP)False negat