1、模式識別第二章第1頁，共109頁，2022年，5月20日，6點(diǎn)29分，星期四貝葉斯決策理論 統(tǒng)計(jì)模式識別的主要方法之一 隨機(jī)模式分類方法的基礎(chǔ) 采用貝葉斯決策理論分類的前提： 目標(biāo)（事物）的觀察值是隨機(jī)的，服從一定的概 率分布。 即：模式不是一個確定向量，而是一個隨機(jī)向量。 第2頁，共109頁，2022年，5月20日，6點(diǎn)29分，星期四用貝葉斯決策理論分類的要求：各類別總體概率分布是已知的 P(wi)及p(x/wi)已知，或P(wi/x)已知決策分類的類別確定第3頁，共109頁，2022年，5月20日，6點(diǎn)29分，星期四特征向量、特征空間： 設(shè)某個樣本（模式），可用d個特征量x1, x2,xd

2、來刻化，即x=x1, x2,xdT 表示樣本的特征向量特征空間：這些特征的取值范圍構(gòu)成的d維空間， 為特征空間。 每一個樣本可看作d維空間的向量或點(diǎn)特征向量:第4頁，共109頁，2022年，5月20日，6點(diǎn)29分，星期四相關(guān)統(tǒng)計(jì)量： P(wi)類別wi出現(xiàn)的先驗(yàn)概率 p(x/wi)類條件概率密度，即類別狀態(tài)為wi類時，出現(xiàn)模式x的條件概率密度，也稱似然函數(shù)。p(x)全概率密度P(wi/x)后驗(yàn)概率，即給定輸入模式x時，該模式屬于wi類的條件概率。P(wi ,x)聯(lián)合概率 第5頁，共109頁，2022年，5月20日，6點(diǎn)29分，星期四相互關(guān)系：貝葉斯公式：第6頁，共109頁，2022年，5月20

3、日，6點(diǎn)29分，星期四需解決的問題： 設(shè)：樣本集X，有C類別，各類別狀態(tài)為wi ，i=1,C。已知P(wi)及p(x/wi) 要解決的問題是： 當(dāng)觀察樣本x=x1, x2,xdT 出現(xiàn)時，如何將x劃歸為某一類。第7頁，共109頁，2022年，5月20日，6點(diǎn)29分，星期四方法： 已知類別的P(wi)及x的p(x/wi)，利用貝葉斯公式，可得類別的后驗(yàn)概率P(wi /x) 再基于最小錯誤概率準(zhǔn)則、最小風(fēng)險(xiǎn)準(zhǔn)則等，就可統(tǒng)計(jì)判決分類。第8頁，共109頁，2022年，5月20日，6點(diǎn)29分，星期四2.2 幾種常用的決策規(guī)則1基于最小錯誤率的貝葉斯決策分類準(zhǔn)則：錯誤率最小討論兩類問題的決策： w1, w

4、2例如：癌細(xì)胞檢查、產(chǎn)品質(zhì)量等第9頁，共109頁，2022年，5月20日，6點(diǎn)29分，星期四合理決策依據(jù)：根據(jù)后驗(yàn)概率決策 已知后驗(yàn)概率P(w1|x), P(w2|x)，決策規(guī)則：當(dāng)P(w1|x)P(w2|x) xw1，當(dāng)P(w1|x)11, 1222下面給出 R與P(w) 的函數(shù)關(guān)系:第51頁，共109頁，2022年，5月20日，6點(diǎn)29分，星期四平均風(fēng)險(xiǎn)（即總風(fēng)險(xiǎn)、也稱期望風(fēng)險(xiǎn)）：根據(jù)R(i/x)定義及貝葉斯公式1的決策區(qū)域2的決策區(qū)域（將 R表示成P(w) 的函數(shù)）第52頁，共109頁，2022年，5月20日，6點(diǎn)29分，星期四利用 代入上式,整理得：其中：目的：需要分析平均風(fēng)險(xiǎn)R與P(

5、w1)的關(guān)系用P(w1)表示平均風(fēng)險(xiǎn)R:第53頁，共109頁，2022年，5月20日，6點(diǎn)29分，星期四可見：1）一旦決策區(qū)域R1，R2確定，即a, b為常數(shù)，平均風(fēng)險(xiǎn)R就是P(w1) 的線性函數(shù) ；即P(w1)變化時， R1，R2不作調(diào)整，則平均風(fēng)險(xiǎn)R與P(w1)呈線性關(guān)系。 2）P(w1)變化時，決策區(qū)域R1，R2劃分也變化，即a,b變化， 則平均風(fēng)險(xiǎn)R與P(w1)是非線性關(guān)系。 求R與P(w1)的關(guān)系曲線：即R=fP(w1) 第54頁，共109頁，2022年，5月20日，6點(diǎn)29分，星期四先取定P(w1)求RP(w1)曲線：按最小風(fēng)險(xiǎn)貝葉斯決策確定分類面，即確定決策區(qū)域R1，R2利用上式

6、求相應(yīng)的最小風(fēng)險(xiǎn)R*P(w1)從01取若干個值，重復(fù)上述過程，得到R*P(w1)關(guān)系曲線見圖2.4第55頁，共109頁，2022年，5月20日，6點(diǎn)29分，星期四 R與P(w1)是非線性關(guān)系，且曲線上R值都對應(yīng)每個P(w1)值的最小風(fēng)險(xiǎn)損失。圖中R*是當(dāng)P(w1)P* (w1)時的最小風(fēng)險(xiǎn)值 。R=fP(w1) 第56頁，共109頁，2022年，5月20日，6點(diǎn)29分，星期四 如果區(qū)域R1、R2確定（a,b為常數(shù)），意味判別門限固定。當(dāng)P(w1) 變化時，R與P(w1)為線性關(guān)系。顯然，得不到最佳結(jié)果，因CD直線在曲線上方 ，且aRa+b這時R最大可能的風(fēng)險(xiǎn)值為：R=a+b （圖中D點(diǎn)） 不希

7、望！見圖中CD直線第57頁，共109頁，2022年，5月20日，6點(diǎn)29分，星期四 取不同的固定門限，有不同直線，對應(yīng)的R最大值不同。直線EF的最大值R=a+b P(w1)是不知或變化的，考慮如何使最大可能風(fēng)險(xiǎn)為最小第58頁，共109頁，2022年，5月20日，6點(diǎn)29分，星期四 如果有某個P(w1)，使最小風(fēng)險(xiǎn)決策得到的區(qū)域R1、R2能使b=0，則 這時R與P(w1)無關(guān)，即最大可能的風(fēng)險(xiǎn)達(dá)到最小值為a第59頁，共109頁，2022年，5月20日，6點(diǎn)29分，星期四1）以總風(fēng)險(xiǎn)R對P(w1)求極值，即方法：2）找出極值點(diǎn)后，該點(diǎn)的切線就為水平線，這時總風(fēng)險(xiǎn)R與P(w1)無關(guān)；b=0，意味決策

8、區(qū)域的劃分使平均風(fēng)險(xiǎn)R達(dá)到曲線的極大值（最小風(fēng)險(xiǎn)的極大值）。由2-34求導(dǎo)，得令其為0，得極大值，第60頁，共109頁，2022年，5月20日，6點(diǎn)29分，星期四見圖2-4b，當(dāng)P(w1)=P*M(w1)時，R=R*M為最大值。 對應(yīng)決策區(qū)域不變時，R與P(w1)的關(guān)系為一條平行線CD，即不管P(w1)如何變化，風(fēng)險(xiǎn)不再變化 。使最大風(fēng)險(xiǎn)達(dá)到了最小化！第61頁，共109頁，2022年，5月20日，6點(diǎn)29分，星期四總結(jié)： 當(dāng)P(w1)變化時，應(yīng)選使風(fēng)險(xiǎn)R達(dá)最大值（b0）時的P*(w1)來設(shè)計(jì)分類器。在這種分類決策區(qū)域，能保證不管P(w1)如何變化，最大風(fēng)險(xiǎn)為最小值a。最小最大決策任務(wù)就是尋找使

9、R最大時的決策域R1，R2 ，即求b=0的決策域，由2-35求解。第62頁，共109頁，2022年，5月20日，6點(diǎn)29分，星期四2.2.5 序貫分類方法 實(shí)際中，為得到x的d個觀測值，要花費(fèi)代價。 考慮每個特征值提取所花的代價，最優(yōu)分類結(jié)果不一定將d個特征值全部使用； 另外，雖然特征數(shù)目增多，一般判決風(fēng)險(xiǎn)R(i/x) 降低，但每個特征值貢獻(xiàn)不同。 排隊(duì)從大小，每投入一新特征，計(jì)算一次R，同時計(jì)算獲取新特征應(yīng)付出的代價與該特征對R的貢獻(xiàn)之和，比較后決定是否加入新特征。序貫分類方法第63頁，共109頁，2022年，5月20日，6點(diǎn)29分，星期四2.2.6 分類器設(shè)計(jì) c類分類決策問題：按決策規(guī)則

10、把d維特征空間分為c個決策區(qū)域。決策面：劃分決策域的邊界面稱為決策面。 數(shù)學(xué)上用決策面方程表示。幾個概念判別函數(shù)：表達(dá)決策規(guī)則的函數(shù)，稱為判別函數(shù)。第64頁，共109頁，2022年，5月20日，6點(diǎn)29分，星期四1）定義一組判別函數(shù)根據(jù)決策規(guī)則若 ， 將x歸于wi 類即討論具體的判別函數(shù)、決策面方程、分類器設(shè)計(jì)第65頁，共109頁，2022年，5月20日，6點(diǎn)29分，星期四例：基于最小錯誤率貝葉斯判決規(guī)則，顯然其 可定義為： 判別函數(shù) 有多種形式第66頁，共109頁，2022年，5月20日，6點(diǎn)29分，星期四例：基于最小風(fēng)險(xiǎn)貝葉斯判決規(guī)則，判別函數(shù) 可定義為：顯然，依據(jù)最大值判別法，且 選擇不

11、是唯一若將 都乘以相同的正常數(shù)或加相同的常量，不影響判決結(jié)果第67頁，共109頁，2022年，5月20日，6點(diǎn)29分，星期四一般地 是單調(diào)遞增函數(shù)，則分類結(jié)果不變 2）決策面方程（即判決邊界）若類型wi與wj的 區(qū)域相鄰，它們之間的決策面方程為第68頁，共109頁，2022年，5月20日，6點(diǎn)29分，星期四圖2.5(a)為一維特征空間的三個決策區(qū)域（d=1），決策面為分界點(diǎn)；根據(jù)判決規(guī)則，建立分類器結(jié)構(gòu)圖2.5(b)為二維特征空間的兩個決策區(qū)域（d=2），決策面為曲線；三維特征空間，分界處是曲面；d維特征空間，分界處是超曲面。第69頁，共109頁，2022年，5月20日，6點(diǎn)29分，星期四3）

12、分類器設(shè)計(jì) （硬件軟件）功能：先確定選出判決第70頁，共109頁，2022年，5月20日，6點(diǎn)29分，星期四g1(x)Maxg(x)g2(x)gn(x)例：圖2-6 分類器的組成d維空間第71頁，共109頁，2022年，5月20日，6點(diǎn)29分，星期四再由結(jié)果的正負(fù)作決策，可簡化設(shè)計(jì)。見圖2-7兩類：求 最大值可轉(zhuǎn)為將兩個判別函數(shù)相減， 即定義一個簡單判別函數(shù)例2.3g(x)閾值單元第72頁，共109頁，2022年，5月20日，6點(diǎn)29分，星期四2.3 正態(tài)分布時的統(tǒng)計(jì)決策（研究貝葉斯分類方法在正態(tài)分布中的應(yīng)用）很多時候，正態(tài)分布模型是一個合理假設(shè)。 在特征空間中，某類樣本較多分布在這類均值附近

13、，遠(yuǎn)離均值的樣本較少，一般用正態(tài)分布模型是合理的。 a、正態(tài)分布在物理上是合理的、廣泛的。 b、正態(tài)分布數(shù)學(xué)上簡單，N(, ) 只有均值和方差兩個參數(shù)研究的理由：第73頁，共109頁，2022年，5月20日，6點(diǎn)29分，星期四1.一維正態(tài)分布，見式243 （常見）第74頁，共109頁，2022年，5月20日，6點(diǎn)29分，星期四2.多維（d維）隨機(jī)向量x的正態(tài)分布 由多元聯(lián)合概率密度描述其中：d維特征向量d維均值向量且：協(xié)方差矩陣，對稱且有 個獨(dú)立元素 第75頁，共109頁，2022年，5月20日，6點(diǎn)29分，星期四第76頁，共109頁，2022年，5月20日，6點(diǎn)29分，星期四1）參數(shù)、對分布

14、起決定性作用，即p(x)由、確定， 記為N(,)，個獨(dú)立元素確定。2） 等密度點(diǎn)軌跡為超橢球面，區(qū)域中心由決定，區(qū)域形狀由決定。正態(tài)分布特點(diǎn)：稱為超橢球面即等密度點(diǎn)滿足當(dāng)指數(shù)項(xiàng)為常數(shù)時，p(x)值不變第77頁，共109頁，2022年，5月20日，6點(diǎn)29分，星期四在數(shù)理統(tǒng)計(jì)中被稱為馬氏距離的平方（Mahalanobis） 等密度點(diǎn)軌跡是x到u的馬氏距離r為常數(shù)的超橢球面，其大小是樣本對均值向量的離散度度量。最小錯誤率貝葉斯決策規(guī)則變?yōu)椋喝?如果x到期望向量ui的馬氏距離最小，則xwi第78頁，共109頁，2022年，5月20日，6點(diǎn)29分，星期四3）不相關(guān)性等價于獨(dú)立性 對于正態(tài)分布的隨機(jī)向量

15、x，若xi和xj之間不相關(guān)，則它們一定互相獨(dú)立不相關(guān)： 獨(dú) 立： 推論：是對角陣，xi i=1,d，互相獨(dú)立第79頁，共109頁，2022年，5月20日，6點(diǎn)29分，星期四5） 線性變換的正態(tài)性Y=AX，A為線性變換矩陣。若X為正態(tài)分布，則Y也是正態(tài)分布。即則4） 邊緣分布和條件分布仍是正態(tài)分布例是正態(tài)分布，則是正態(tài)分布也是正態(tài)分布第80頁，共109頁，2022年，5月20日，6點(diǎn)29分，星期四 即：總可以找到一組坐標(biāo)系，使變換到新坐標(biāo)系的隨機(jī)變量是獨(dú)立的（重要?。?因此，總可以找到一個線性變換矩陣A，使y的協(xié)方差陣AAT為對角尺寸，這時y的各分量之間獨(dú)立。 6）線性組合的正態(tài)性第81頁，共1

16、09頁，2022年，5月20日，6點(diǎn)29分，星期四2.3.2 正態(tài)分布下的最小錯誤率貝葉斯判別函數(shù)和決策面 i=1,c其中1判別函數(shù)最小錯誤率判別函數(shù)是：服從 第82頁，共109頁，2022年，5月20日，6點(diǎn)29分，星期四進(jìn)行單調(diào)的對數(shù)變換，則判別函數(shù)為：決策面是超二次曲面，如：超平面，超球面，超橢球面馬氏距離的度量值第83頁，共109頁，2022年，5月20日，6點(diǎn)29分，星期四2決策面方程即：第84頁，共109頁，2022年，5月20日，6點(diǎn)29分，星期四3特殊情況1）對所有類即：各類協(xié)方差陣相等，且都是對角矩陣 。對角線為2，非對角線為零不影響分類，可忽略判別函數(shù)為：第85頁，共109

17、頁，2022年，5月20日，6點(diǎn)29分，星期四則判別函數(shù)變?yōu)椋?歐幾里得距離平方，即歐氏距離平方 得到歐氏距離的度量值，它是馬氏距離度量的一個特例。即：等密度點(diǎn)是圓形第86頁，共109頁，2022年，5月20日，6點(diǎn)29分，星期四歐氏距離則貝葉斯決策規(guī)則變?yōu)樽钚【嚯x分類規(guī)則。最小距離分類法： 服從正態(tài)分布，各類協(xié)方差矩陣 且先驗(yàn)概率相等，則可執(zhí)行最小距離分類法。其判別規(guī)則為：若 ，則第87頁，共109頁，2022年，5月20日，6點(diǎn)29分，星期四即：計(jì)算樣本x與i的歐氏距離，找最近的i把x歸類 例：設(shè)一維特征空間（d=1）的樣本分布 u1=55.28，u2=79.74若 則 否則第88頁，共1

18、09頁，2022年，5月20日，6點(diǎn)29分，星期四將 展開得：則判別函數(shù)： 其中 ， 與分類無關(guān)，忽略即：是線性判別函數(shù)，稱為線性分類器第89頁，共109頁，2022年，5月20日，6點(diǎn)29分，星期四對于兩類情況：第90頁，共109頁，2022年，5月20日，6點(diǎn)29分，星期四決策面方程：其中推出：決策面是一個通過x0，且與向量w正交的超平面超平面方程分類平面的法向量第91頁，共109頁，2022年，5月20日，6點(diǎn)29分，星期四討論：（兩類情況）第92頁，共109頁，2022年，5月20日，6點(diǎn)29分，星期四第93頁，共109頁，2022年，5月20日，6點(diǎn)29分，星期四2） i ： 仍是超

19、平面，但不與 垂直 求樣本x與各類均值的馬氏距離，把x歸于最近一類最小距離分類器。第94頁，共109頁，2022年，5月20日，6點(diǎn)29分，星期四決策規(guī)則：將進(jìn)一步簡化第95頁，共109頁，2022年，5月20日，6點(diǎn)29分，星期四對于兩類情況：第96頁，共109頁，2022年，5月20日，6點(diǎn)29分，星期四討論：（針對1，2二類情況）第97頁，共109頁，2022年，5月20日，6點(diǎn)29分，星期四3、第三種情況(一般情況)：二次項(xiàng)xTx與i有關(guān)。判別函數(shù)為二次型函數(shù)。為任意，各類協(xié)方差矩陣不等。第98頁，共109頁，2022年，5月20日，6點(diǎn)29分，星期四總結(jié)：最小錯誤率貝葉斯決策；1.分

20、類法最小風(fēng)險(xiǎn)貝葉斯決策；聶曼皮爾遜決策規(guī)則(NP）（僅知道類概密時，可使用，針對兩類）最小最大決策（當(dāng)不確切知道P(wi)，且在類別判決過程中，P(wi)又是變化的，易采用，它使決策平均風(fēng)險(xiǎn)達(dá)極值，而換取的是分類過程中最大平均風(fēng)險(xiǎn)達(dá)最小值，且不隨p(wi)變化）。序貫分類方法（觀測的代價和風(fēng)險(xiǎn)都要考慮）第99頁，共109頁，2022年，5月20日，6點(diǎn)29分，星期四2.分類器設(shè)計(jì)：判決函數(shù)、決策面方程（判決的邊界）3.貝葉斯方法在正態(tài)分布中的應(yīng)用(2)導(dǎo)出了有關(guān)的判別函數(shù)、決策面方程，且當(dāng) 時，可用最小距離分類法?？傊?，正態(tài)分布具有普遍性，數(shù)學(xué)上易計(jì)算， 廣泛應(yīng)用。(1)特性第100頁，共109頁，2022年，5月20日，6點(diǎn)29分，星期四貝葉斯（ Bayes ）分類的算法流程（假定各類樣本服從正態(tài)分布）1）輸入類數(shù)c；特征數(shù)d，待分樣本數(shù)m2）輸入訓(xùn)練樣本數(shù)N和訓(xùn)練集資料矩陣X(Nd)。并計(jì)算有關(guān)參數(shù)。3）計(jì)算待測樣本集矩陣y中各類的后驗(yàn)概率。