1、1,第二章 統(tǒng)計決策理論,2,這一章要討論：,最小錯誤率貝葉斯決策 最小風險貝葉斯決策 NeymanPearson決策（在限定一類錯誤率的條件下，使另一類錯誤率最小的兩類決策問題） 最小最大決策 序貫決策（Sequential Decision）,3,關于統(tǒng)計學的一個笑話：,有一個從沒帶過小孩的統(tǒng)計學家，因為妻子出門勉強答應照看三個年幼好動的孩子。妻子回家時，他交出一張紙條，寫的是： “擦眼淚11次；系鞋帶15次；給每個孩子吹玩具氣球各5次,累計15次；每個氣球的平均壽命10秒鐘；警告孩子不要橫穿馬路26次；孩子堅持要穿馬路26次；我還要再過這樣的星期六0次”。 統(tǒng)計學真的這樣呆板嗎？僅僅收集

2、數(shù)據(jù)，整理分析，累加平均,4,統(tǒng)計學以數(shù)據(jù)為研究內容，但僅僅收集數(shù)據(jù)，決不構成統(tǒng)計學研究的全部。 統(tǒng)計學是面對不確定情況尋求決策、制定方法的一門科學 人力、財力、時間等的限制，只有部分或少量數(shù)據(jù)，要推斷所有數(shù)據(jù)的的特征 不同于敘述統(tǒng)計，要推斷統(tǒng)計 抽樣、試驗設計、估計、假設檢驗、回歸分析.等推斷方法,5,2.1 引言,統(tǒng)計理論要解決的是從數(shù)據(jù)中做出一些 推斷、它為解決隨機觀測事件的決策過程 提供了理論基礎。 PR中的分類問題是根據(jù)識別對象特征的觀測值，將其分到相應的類別中去。 而統(tǒng)計決策理論是模式分類的主要理論和工具之一。 下面我們介紹幾種最常用、也是最基本的統(tǒng)計決策方法。這些方法是以后各種模

3、式分類方法的基礎。,6,2.2 幾種常用的決策方法,2.2.1 貝葉斯決策,問題：假定要識別的物理對象x有d個特征，x1，x2，xd，記作x= x1，x2，xdT，所有的特征向量構成了d維特征空間。假定這些待識別的對象來自c個類別，i，i=1，2，c，并且每個類別出現(xiàn)的先驗概率Pi和類條件概率密度p(x|i) ，i=1，2，c已知。,7,如果觀察到一個樣本 ，那么把 分到哪一類去才是合理的呢？,這是這一章要解決的問題。,下面先介紹基于 的貝葉斯決策。,8,一. 最小錯誤率貝葉斯決策,在模式分類問題中，人們希望盡量減小分類的錯誤。 不可能不犯錯誤，因為樣本是隨機的 我們希望所使用的分類規(guī)則，能使

4、錯誤率達到最小。,9,以細胞識別為例： 細胞切片的顯微圖像經(jīng)過一定的預處理后，抽取出d個特征。每一細胞可用一個d維的特征向量x表示。希望根據(jù)x的值分到正常類1或異常類2中去。 假定可以得到Pr1、Pr2 （Pr 1+ Pr 2=1） ,和p(x|1)、p(x|2) 。 如果只有先驗概率，那么合理的選擇是把x分到Pr1、Pr2大的一類中去。一般由于Pr1Pr2，這樣就把所有的細胞分到了正常的一類。失去了意義。,10,如果有細胞的觀測信息，那么可以改進決策的方法。為了簡單起見，假定x是一維的特征（如胞核的總光強度）。p(x|1)和p(x|2)已知：,利用貝葉斯公式：,11,得到的Pri|x 稱為狀

5、態(tài)（正常、異常）的后驗概率。上述的貝葉斯公式，通過觀測到的x，把先驗概率轉換為后驗概率。,這時，基于錯誤率最小的貝葉斯決策規(guī)則為：,后面要證明這個決策規(guī)則是錯誤率最小的。,12,上面的貝葉斯決策規(guī)則還可以表示成以下幾種形式：,若 ，則,若 ，則,13,似然比 似然函數(shù) 閾值 是假設檢驗,若 ，則,則 :,4) 取 的負對數(shù)，有,14,例1：某一地區(qū)的統(tǒng)計資料，Pr1=0.9（正常），Pr2=0.1（異常），有一待識別細胞，其觀測值為x，從類條件概率密度曲線上查出，p(x|1)=0.2，p(x|2)=0.4。,解：利用貝葉斯公式（2），有, 應把x歸為1類，不是完全正確，但錯誤率最小。,15,解

6、：,16,上式兩邊取對數(shù)，再乘以2，有,似然比檢驗,， 構成一個判別函數(shù)。,17,下面證明上述基于最小錯誤率的貝葉斯規(guī)則是錯誤率最小的。,證明：錯誤率是對所有x的平均錯誤率Pre,兩類時的條件錯誤概率為：,令t是兩類的分界面，當x是一維時，即x軸上的一點。,18,19,要使Pre是最小的，可從兩個思路看：,要使 最小，使對每個x，Pre|x都要最小。所以取后驗概率最大的。,假如將分界面移到t點, t應是錯誤率最小的分界點，相應的規(guī)則也是錯誤率最小。,20,對于多類情況，最小錯誤率決策規(guī)則為：,若 ，則,或若 則,21,二. 最小風險貝葉斯決策,地震預報,在實際工作中，有時僅考慮錯誤率最小是不夠

7、的。,要引入比錯誤率更廣泛的概念風險、損失。,細胞識別,22,要考慮行動的后果、行動的風險。,寧可一千，也不漏掉一個。 下面從決策論的觀點來討論： 采取的決定稱為決策或行動，所有可能采取的行動的集合稱為行動空間或決策空間A (分到哪一類）,23,損失函數(shù) 表示真實狀態(tài)為 ，采取行動為 時的損失。,這里下標m和c不同是因為除了有c種分類法外，還可能有其它的決策，如“拒絕”等，這時，m=c+1。,假定：狀態(tài)空間 決策空間,每個決策或行動都有一定的代價或損失。 它是狀態(tài)和決策的函數(shù)。,狀態(tài)空間：物體或事物所有狀態(tài)的集合,24,對于給定的x，采取決策 時的條件損失或條件風險為：,對所有的x，采取決策

8、的風險的期望值為：,稱為平均風險或期望風險 如果在采取每一決策時，其條件風險都最小，則對所有的x作決策時，其平均（期望風險）也最小。稱為最小風險的貝葉斯決策。,25,最小風險的貝葉斯決策規(guī)則：,若 ,則采取 。,26,對于實際問題，最小風險的貝葉斯決策可按如下步驟進行：,根據(jù)Prj，p(x|j)，j=1，2，c，以及給出的x，計算后驗概率,計算條件風險,即 若 ，則采用決策 。,從得到的m個條件風險中，選最小的。,27,解：由例1的計算，有,而,例3：仍以例1中的細胞為例 ，Pr1=0.9，Pr2=0.1， p(x|1)=0.2，p(x|2)=0.4 ， ， ， ,28,和例1正好相反。因為考

9、慮到了損失。,損失函數(shù) 的確定要針對具體情況，具體領域，由專家來定。, x被劃分為異常。,29,三. 最小錯誤率決策和最小風險決策間的關系,前者是后者的特例。,如果損失函數(shù) （不考慮“拒絕”），這樣定義的損失函數(shù)稱為0-1損失函數(shù)。,30,這時的條件風險， 即對x采取 決策時的條件錯誤率。 所以使 的最小風險決策等價于最小 即 應最大。 在0-1損失函數(shù)下的最小風險貝葉斯決策就是最小錯誤率的貝葉斯決策。,31,四. 兩類時的最小風險貝葉斯決策,對于兩類問題，記損失函數(shù),則期望風險：,32,上式可以寫為,由于,代入上式，化為只在R1上的積分，期望風險 化為：,33,問題是選擇決策規(guī)則，即確定R1

10、（R2）從而使R 最小。,由于前兩項不是R1的函數(shù)，最小期望風險R等價于使積分項最小。,即,記 ，,如何使 形式的積分最小呢？,34,為了使 最小，只要使R1是包括且僅包括使 的點就行了。即：,即,35,這樣，最小風險貝葉斯決策（兩類時）仍然導致了似然比檢驗。,在0-1損失函數(shù)時， ，上面的公式和最小錯誤率貝葉斯決策相同。,36,2.2.2 NeymanPearson決策（在限定一類錯誤率的條件下使另一類錯誤率最小的兩類決策問題）,在兩類的問題中，錯誤率Pre為,限定 ( 是一很小的常數(shù))，希望 盡可能地小。例如把異常判為正常更危險,限定這類的錯誤率為某一個要求的值,同時使p1(e)盡可能的小

11、。,這種決策是求條件極值的問題。,37,采用求條件極值的拉格朗日（Lagrange）乘子法,38,R1+R2=R,代入后，有,（）,39,上式分別對 和 求導，并令,有,對()式，為使r最小，則,應最小,被積函數(shù)應為負：,這樣得出決策規(guī)則：,40,和最小錯誤率貝葉斯決策的形式是一樣的，都是以似然比檢驗為基礎的，但閾值不同。,在高維時，求解決策邊界要復雜些，這時可以采用下面的方法。,似然比 是隨機變量x的函數(shù)，也是隨機變量，可以確定它的密度函數(shù)，如 。,這樣,，和 間的一個隱含關系,41,當用解析法求 困難時，由于 是 的單調增函數(shù)，可以用試探法找到滿足條件的 值。,用實驗的方法，改變 值，可以

12、得出 的一條曲線。,42,2.2.3 最小最大決策,在前面的最小錯誤率和最小風險決策中，都是用似然比和一個閾值相比較。這個閾值是Pri的函數(shù)。因此要事先知道Pri。此時可得最小錯誤率或最小風險決策,當按固定的Pri設計好分類器后，若Pri有了變化，則可能得不到最小錯誤率或最小風險決策。,這節(jié)要解決的問題是，考慮在Pri變化的情況下，如何使最大可能的風險最小，即在最不利的情況下爭取最好的結果。,43,由期望風險,目標是要分析R 和Pr1間的關系，利用,44,則風險,上式表明，一旦R1和R2確定，則風險R是Pr1的線性函數(shù)（下式記為（）：,其中：,45,當Pr1固定，R1和R2按貝葉斯規(guī)則確定時，

13、最小風險和Pr1間關系如下圖：,當Pr10.3時，最小風險R 對應A點。,R1R2確定后，當Pr1變化時，風險值按直線方程（）變化（a，ab）?？赡芤阮A計的大得多。,為了防止這種情況，我們可以選擇R1和R2，使得（）式中Pr1的系數(shù)為0，使（）式的直線與曲線在最高點C相切，且平行水平軸。,46,按使最小貝葉斯風險最大的 設計分類器，即要,在特殊情況下，若有 ， ，則上式變?yōu)?即決策邊界仍由似然比確定，但閾值的選擇要滿足 。,47,2.2.4 序貫決策（Sequential Decision）,問題：前面講的方法都認為d個特征同時給出，而且沒獲取特征時的代價。但在實際問題中，特征的獲取是要花費

14、代價的。這時除了錯分類要產生的損失外，還要考慮獲取特征時所花的代價。特征多，花的代價也大。,另外，有時觀測是順序的，例如，機器的振動波，飛行物體的雷達波。,有時用k d個特征所花的總代價要小。特征少時，雖然錯分率可能大些，但獲取特征的代價小。,48,解決上述問題的方法是用序貫決策、序貫假設檢驗的方法。,兩種情況,序貫檢驗（決策）的方法有很多研究。下面介紹一種Wald序貫檢驗的方法（討論當維數(shù)變化時，對分類器的影響）：,令 表示m維的測量向量，決策規(guī)則為：,49,上面的決策規(guī)則稱為SPRT（Sequential Probability Ratio Test）、或Wald序貫假設檢驗。,SPRT有

15、如下幾個性質：,以概率1終止；,中，對上面的A、B表達式， 不要求是獨立和同分布的；,為了達到規(guī)定的錯誤率 、 ，Wald檢驗使維數(shù)、測量數(shù)最少。,50,下面我們推導A、B和 、 間的關系并分析Wald檢驗性質。,由于在SPRT中不斷增加特征的維數(shù)，所以似然比的計算最好是遞推的。盡管SPRT不要求每個測量是獨立的，但如果獨立的話，則會有很大方便。,假定： ，這樣 的計算就是遞推的。,在不獨立時，可以考慮采用適當?shù)木€性變換，如LU變換，這時不影響SPRT的方式。,51,兩邊取對數(shù)：,對數(shù)似然比。,假定觀測到的測量來自第i類，上式中的每一項也是隨機變量。記它的均值和方差分別為 和 ， 。,52,由

16、統(tǒng)計獨立性的假定，有：,證明：利用不等式 ln x=x-1,53, 的均值和方差都是m的單調增函數(shù)。,54,相應的性質如下圖：,對2 有相似的性質。但此時的對數(shù)似然比的均值是m的單調減函數(shù)。,55,下面把A、B和 、 聯(lián)系起來（如何由 、 規(guī)定A、B），設在決策過程的某一步m0時，有,( ：大于但近似等于),條件 在m0維決策空間中定義了一個決策區(qū)域R1，這個區(qū)域屬于1類。,由決策規(guī)則（似然比檢驗），在R1上積分，有：,56,同樣有：,上面兩式把A、B和 、 聯(lián)系起來了。不像NeymanPearson決策，這里的閾值A、B和 、 間有簡單的代數(shù)關系。,作為SPRT的性能，下面估計m0的期望值（需要多少特征）。假定測量向量的各個分量是同分布的。,57,則由 （m固定時）,假定在m0時，對數(shù)似然比超過閾值。顯然m0也是一個隨機變量，它的期望為 。,由上式有,（）,在決策的m0階段，對數(shù)似然比的近似值為lnA或lnB。,58,對于第一類有：（測量來自一類）,同樣，對于第二類，有：,59,每類的對數(shù)似然比的期望值為：,代入（）式后有：,60,上式給出了m0的定量分析，當 增大時， 減小，因為每個分量的對數(shù)似然比越大，則需要的維數(shù)越少。,當測量的各分量不是同分布時，上面的關系不成立。但測量維數(shù)的平均值可以從實驗中得