貝葉斯決策理論2023/8/7貝葉斯決策理論貝葉斯決策理論2023/8/3貝葉斯決策理論12.1引言模式識別的分類問題：根據(jù)待識別對象的特征觀察值，將其分到某一個類別中貝葉斯決策理論2.1引言模式識別的分類問題：根據(jù)待識別對象的特征觀察值2Bayes決策理論的基本已知條件①已知決策分類的類別數(shù)為c，各類別的狀態(tài)為：②已知各類別總體的概率分布（各個類別出現(xiàn)的先驗概率和類條件概率密度函數(shù)）貝葉斯決策理論Bayes決策理論的基本已知條件①已知決策分類的類別數(shù)為c，3Bayes決策理論欲解決的問題如果在特征空間中觀察到某一個（隨機）向量x=(x1,x2,…,xd)T那么，應(yīng)該將x分到哪一個類才是最合理的？貝葉斯決策理論Bayes決策理論欲解決的問題如果在特征空間中觀察到某一個（42.2幾種常用的決策規(guī)則2.2.1基于最小錯誤率的Bayes決策2.2.2基于最小風(fēng)險的Bayes決策2.2.3Neyman-Pearson決策2.2.4最小最大決策2.2.5序貫分類方法貝葉斯決策理論2.2幾種常用的決策規(guī)則2.2.1基于最小錯誤率的Ba52.2.1基于最小錯誤率的Bayes決策利用概率論中的Bayes公式進行分類，可以得到錯誤率最小的分類規(guī)則貝葉斯決策理論2.2.1基于最小錯誤率的Bayes決策利用概率論中的B6已知條件①類別狀態(tài)的先驗概率②類條件概率密度貝葉斯決策理論已知條件①類別狀態(tài)的先驗概率貝葉斯決策理論7根據(jù)Bayes公式得到狀態(tài)的后驗概率基本決策規(guī)則ifthen將x歸屬后驗概率最大的類別

后驗=似然x先驗/證據(jù)因子貝葉斯決策理論根據(jù)Bayes公式得到狀態(tài)的后驗概率基本決策規(guī)則ifthen8兩類情況下的Bayes決策規(guī)則及其變型①Bayes決策規(guī)則貝葉斯決策理論兩類情況下的Bayes決策規(guī)則及其變型①Bayes決策規(guī)則9②變型1（消去相同的分母）貝葉斯決策理論②變型1（消去相同的分母）貝葉斯決策理論10③變型2④變型3（取似然比的自然對數(shù)的負值）似然比似然比閾值貝葉斯決策理論③變型2④變型3（取似然比的自然對數(shù)的負值）似然比似然比閾值11兩類的后驗概率相等時，采取的策略：歸屬其中一類拒絕（設(shè)置一個拒絕類，供進一步分析）貝葉斯決策理論兩類的后驗概率相等時，采取的策略：貝葉斯決策理論12例：某地區(qū)細胞識別中，正常和異常細胞的先驗概率：

P(ω1)=0.9，P(ω2)=0.1有未知細胞x，對應(yīng)的類條件概率密度：P(x|ω1)=0.2，

P(x|ω2)=0.4判別該細胞屬于正常細胞還是異常細胞？解：先計算后驗概率：屬于正常細胞，注意：先驗概率起主導(dǎo)作用如果先驗概率相等，則屬于異常細胞貝葉斯決策理論例：某地區(qū)細胞識別中，正常和異常細胞的先驗概率：P(x|ω13正確分類與錯誤分類正確分類：將樣本歸屬到樣本本身所屬的類別錯誤分類：將樣本歸屬到非樣本本身所屬的類別貝葉斯決策理論正確分類與錯誤分類正確分類：將樣本歸屬到樣本本身所屬的類別貝14以一維、兩類情況為例，證明Bayes規(guī)則使分類錯誤率最?。ㄆ骄╁e誤率定義為條件錯誤概率貝葉斯決策理論以一維、兩類情況為例，證明Bayes規(guī)則使分類錯誤率最?。ㄆ?5Bayes決策規(guī)則：此時，x(ω2)的條件錯誤概率此時，x(ω1)的條件錯誤概率貝葉斯決策理論Bayes決策規(guī)則：此時，x(ω2)的條件錯誤概率此時，16條件錯誤概率Bayes公式全概率公式平均錯誤率貝葉斯決策理論條件錯誤概率Bayes公式全概率公式平均錯誤率貝葉斯決策理論17t是兩類的分界點，x軸分成兩個區(qū)間只有當(dāng)t取兩類后驗概率相等的點時，錯誤率才是最小的（黃顏色區(qū)域變成零）紅＋黃綠貝葉斯決策理論t是兩類的分界點，x軸分成兩個區(qū)間只有當(dāng)t取兩類后驗概18貝葉斯決策理論貝葉斯決策理論192.2.2基于最小風(fēng)險的Bayes決策在醫(yī)學(xué)診斷上，有誤診（無病說有?。⒙┰\。在雷達防空中，有虛警、漏警（有飛機說成無飛機）。這些錯誤判斷會造成不同的后果和損失?；谧钚★L(fēng)險的Bayes決策是：在考慮各種錯誤可能造成不同的損失的情況下的Bayes決策規(guī)則貝葉斯決策理論2.2.2基于最小風(fēng)險的Bayes決策在醫(yī)學(xué)診斷上，有誤20基本概念決策（行動）：所采取的決定決策（行動）空間：所有可能決策所構(gòu)成的一個集合損失：每一個決策將付出的代價，通常為決策和自然狀態(tài)（類）的函數(shù)貝葉斯決策理論基本概念決策（行動）：所采取的決定貝葉斯決策理論21狀態(tài)決策…c個自然狀態(tài)（類）a個決策損失一般決策表貝葉斯決策理論狀態(tài)…c個自然狀態(tài)（類）a個決策損失一般決策22說明：狀態(tài)空間由c個自然狀態(tài)（c個類）組成：決策空間由a個決策組成：a=c或者a=c＋1

（拒絕類）貝葉斯決策理論說明：狀態(tài)空間由c個自然狀態(tài)（c個類）組成：決策空間由23損失函數(shù)有a×c個值：含義：當(dāng)真實狀態(tài)為ωj

而所采取的決策為

αi

時所造成的損失大小貝葉斯決策理論損失函數(shù)有a×c個值：含義：貝葉斯決策理論24已知后驗概率最小錯誤率Bayes決策取后驗概率的最大者對于給定的模式向量x貝葉斯決策理論已知后驗概率最小錯誤率Bayes決策取后驗概率的最大者對于給25在決策表中，每一個決策αi

對應(yīng)存在c個損失。對于x，定義在采取決策αi

時的條件期望損失（條件風(fēng)險）為：貝葉斯決策理論在決策表中，每一個決策αi對應(yīng)存在c個損失。對于26x是隨機向量的觀察值，對于其不同觀察值，采取不同的決策αi時，對應(yīng)不同的條件風(fēng)險。所以，不同的x，將會采用不同的決策決策可以看成隨機向量x的函數(shù)，記為α(x)（隨機變量），可以定義期望風(fēng)險為注：積分在整個特征空間上進行貝葉斯決策理論x是隨機向量的觀察值，對于其不同觀察值，采取不同的決策α27差別：條件風(fēng)險

R(αi|x)只反映出，對某一個x取值，采取決策行動αi所帶來的風(fēng)險期望風(fēng)險

R則反映，在整個特征空間中不同的x

取值，采取相應(yīng)的決策α(x)所帶來的平均風(fēng)險貝葉斯決策理論差別：貝葉斯決策理論28目標(biāo)：所采取的一系列決策行動應(yīng)該使期望風(fēng)險達到最小手段：如果在采取每一個決策時，都使其條件風(fēng)險最小，則對所有的x作決策時，其期望風(fēng)險也必然達到最小決策：最小風(fēng)險Bayes決策貝葉斯決策理論目標(biāo)：所采取的一系列決策行動應(yīng)該使期望風(fēng)險達到最小貝葉斯決策29最小風(fēng)險Bayes決策規(guī)則：其中采取決策貝葉斯決策理論最小風(fēng)險Bayes決策規(guī)則：其中采取決策貝葉斯決策理論30最小風(fēng)險Bayes決策的步驟①在已知類先驗概率和類概率密度函數(shù)的情況下，計算待識x的后驗概率（Bayes公式）貝葉斯決策理論最小風(fēng)險Bayes決策的步驟①在已知類先驗概率和類概率密度函31②根據(jù)決策表，計算每一個決策的條件風(fēng)險③找出條件風(fēng)險最小值所對應(yīng)的決策，對x采取該決策（歸屬到該類）貝葉斯決策理論②根據(jù)決策表，計算每一個決策的條件風(fēng)險③找出條件風(fēng)險最小值所32例：區(qū)分正常與異常細胞正常細胞異常細胞后驗概率貝葉斯決策理論例：區(qū)分正常與異常細胞正常細胞異常細胞后驗概率貝葉斯決策理論33條件風(fēng)險決策：歸屬到異常細胞原因：損失起主導(dǎo)作用0610正常異常歸正常歸異常貝葉斯決策理論條件風(fēng)險決策：歸屬到異常細胞0610正常異常歸正常歸異常貝葉34兩種決策規(guī)則之間的關(guān)系定義0-1損失函數(shù)意義：正確決策沒有損失，錯誤決策損失都為1附件條件：c個類別對應(yīng)c個決策（無拒絕類）貝葉斯決策理論兩種決策規(guī)則之間的關(guān)系定義0-1損失函數(shù)意義：附件條件：c35對x采取決策（歸屬）ωi時的條件錯誤概率結(jié)論：在0-1損失函數(shù)的條件下，使風(fēng)險最小的Bayes決策等價于使錯誤率最小的Bayes決策，后者是前者的特例最小最小最大貝葉斯決策理論對x采取決策（歸屬）ωi時的條件錯誤概率結(jié)論：在0-362.2.3Neyman-Pearson(聶曼-皮爾遜)決策在限定一類錯誤率條件下，使另一類錯誤率為最小的兩類別決策貝葉斯決策理論2.2.3Neyman-Pearson(聶曼-皮爾遜)決策372.2.4最小最大決策考慮先驗概率變化的情況下，如何使最大可能的風(fēng)險為最小，即在最差的條件下爭取最好的結(jié)果貝葉斯決策理論2.2.4最小最大決策考慮先驗概率變化的情況下，如何使最38貝葉斯決策理論貝葉斯決策理論39貝葉斯決策理論貝葉斯決策理論402.2.5序貫分類方法原因：獲取特征需要付出一定的代價（成本），我們要衡量，增加特征所付出的代價，減少錯誤率所得到的好處貝葉斯決策理論2.2.5序貫分類方法原因：獲取特征需要付出一定的代價（成41序貫分類方法：先用一部分特征來分類，逐步加入特征以減少分類損失每步都要衡量加入新特征所花代價與所降低分類損失的大小，以便決定是否繼續(xù)增加新特征貝葉斯決策理論序貫分類方法：貝葉斯決策理論422.2.6分類器設(shè)計要點：判別函數(shù)決策面（分類面）分類器設(shè)計貝葉斯決策理論2.2.6分類器設(shè)計要點：貝葉斯決策理論43決策面（分類面）對于c類分類問題，按照決策規(guī)則可以把d維特征空間分成c個決策域，我們將劃分決策域的邊界面稱為決策面（分類面）貝葉斯決策理論決策面（分類面）對于c類分類問題，按照決策規(guī)則可以把d44判別函數(shù)用于表達決策規(guī)則的某些函數(shù)，則稱為判別函數(shù)判別函數(shù)可以取為決策規(guī)則的單調(diào)增函數(shù)，最簡單的形式就是決策規(guī)則本身貝葉斯決策理論判別函數(shù)用于表達決策規(guī)則的某些函數(shù)，則稱為判別函數(shù)貝葉斯決策45決策面與判別函數(shù)的關(guān)系判別函數(shù)決定決策面方程分兩類和多類情況來討論判別函數(shù)、決策面方程、分類器設(shè)計貝葉斯決策理論決策面與判別函數(shù)的關(guān)系判別函數(shù)決定決策面方程分兩類和多類情況462.2.6.1多類情況設(shè)c類問題和d維模式（隨機）向量為貝葉斯決策理論2.2.6.1多類情況設(shè)c類問題和d維模式（隨機47最小錯誤率Bayes決策規(guī)則：貝葉斯決策理論最小錯誤率Bayes決策規(guī)則：貝葉斯決策理論48判別函數(shù)定義一組（c個）判別函數(shù)gi(x),i=1,…,c來表示c類決策規(guī)則，可以取貝葉斯決策理論判別函數(shù)定義一組（c個）判別函數(shù)貝葉斯決策理論49決策規(guī)則如果使對all成立，則將x歸于ωi

類貝葉斯決策理論決策規(guī)則如果使對all成立，則將x歸于ωi類貝葉斯決50決策面方程各決策域被決策面所分割，決策面應(yīng)該是特征空間中的超曲面。相鄰的兩個決策域在決策面上，其判別函數(shù)值是相等的貝葉斯決策理論決策面方程各決策域被決策面所分割，決策面應(yīng)該是特征空間中的超51如果Ri和Rj

是兩個相鄰的決策域，則它們之間的決策面方程：貝葉斯決策理論如果Ri和Rj是兩個相鄰的決策域，則它們之間的決52貝葉斯決策理論貝葉斯決策理論53分類器設(shè)計分類器：可看成是由硬件或軟件組成的一個“機器”（程序）功能：先計算出c個判別函數(shù)值，再從中選出對應(yīng)于判別函數(shù)為最大值的類作為決策結(jié)果貝葉斯決策理論分類器設(shè)計分類器：可看成是由硬件或軟件組成的一個“機器”（程54貝葉斯決策理論貝葉斯決策理論552.2.6.2兩類情況設(shè)兩類問題和d維模式（隨機）向量為貝葉斯決策理論2.2.6.2兩類情況設(shè)兩類問題和d維模式（隨機）向56最小錯誤率Bayes決策規(guī)則：貝葉斯決策理論最小錯誤率Bayes決策規(guī)則：貝葉斯決策理論57判別函數(shù)只需定義一個判別函數(shù)：具體形式有：貝葉斯決策理論判別函數(shù)只需定義一個判別函數(shù)：具體形式有：貝葉斯決策理論58決策規(guī)則ifthenthenif貝葉斯決策理論決策規(guī)則ifthenthenif貝葉斯決策理論59決策面方程特征空間：一維，決策面：分界點二維曲線三維曲面高維超曲面貝葉斯決策理論決策面方程特征空間：一維，決策面：分界點貝葉斯決策理論60分類器設(shè)計兩類分類器的功能：計算判別函數(shù)，再根據(jù)計算結(jié)果的符號將x分類g(x)判別計算閾值單元決策貝葉斯決策理論分類器設(shè)計兩類分類器的功能：計算判別函數(shù)，再根據(jù)計算結(jié)果的符612.3正態(tài)分布時的統(tǒng)計決策重點分析正態(tài)分布情況下統(tǒng)計決策的原因是：①正態(tài)分布在物理上是合理的、廣泛的②正態(tài)分布數(shù)學(xué)表達上簡捷，如一維情況下只有均值和方差兩個參數(shù)，因而易于分析貝葉斯決策理論2.3正態(tài)分布時的統(tǒng)計決策重點分析正態(tài)分布情況下統(tǒng)計決策的622.3.1正態(tài)分布概率密度函數(shù)的定義與性質(zhì)單變量正態(tài)分布多變量正態(tài)分布貝葉斯決策理論2.3.1正態(tài)分布概率密度函數(shù)的定義與性質(zhì)單變量正態(tài)分布631單變量正態(tài)分布

連續(xù)型概率密度函數(shù)應(yīng)滿足條件貝葉斯決策理論1單變量正態(tài)分布連續(xù)型概率密度函數(shù)應(yīng)滿足條件貝葉斯決策64單變量正態(tài)分布概率密度函數(shù)其中均值或數(shù)學(xué)期望方差貝葉斯決策理論單變量正態(tài)分布概率密度函數(shù)其中均值或數(shù)學(xué)期望方差貝葉斯決策理652多元正態(tài)分布

（1）定義d維向量d維均值向量d×d協(xié)方差矩陣逆矩陣行列式貝葉斯決策理論2多元正態(tài)分布（1）定義d維向量貝葉斯決策理論66注：協(xié)方差矩陣是非負定的。一般情況情況下，我們假設(shè)是正定的，即|Σ|>0，即存在逆矩陣主對角線σij2為方差其他分量σij2(ij)為協(xié)方差對稱矩陣貝葉斯決策理論注：協(xié)方差矩陣是非負定的。一般情況情況下，我們假設(shè)是正定的，67①參數(shù)μ與Σ對分布的決定作用多元正態(tài)分布完全由均值向量μ與協(xié)方差矩陣Σ決定μ有d個分量，Σ由有d(d+1)/2元素，多元正態(tài)分布總共有d+d(d+1)/2個參數(shù)常記為：p(x)=N(μ,Σ)(2)性質(zhì)貝葉斯決策理論①參數(shù)μ與Σ對分布的決定作用(2)性質(zhì)貝葉斯決策理68②等密度點的軌跡是一個超橢球面從正態(tài)分布總體中抽取的樣本大部分落在由μ和Σ所確定的一個區(qū)域中。區(qū)域的中心由均值向量μ決定，區(qū)域的大小由協(xié)方差矩陣Σ決定等密度點滿足下列方程，其解是一個超橢球面constant貝葉斯決策理論②等密度點的軌跡是一個超橢球面constant貝葉斯決策理69貝葉斯決策理論貝葉斯決策理論70x到μ的Mahalanobis距離的平方等密度點軌跡是：x到μ的Mahalanobis距離為常數(shù)的超橢球面貝葉斯決策理論x到μ的Mahalanobis距離的平方貝葉斯決策理論71③不相關(guān)性等價于獨立性如果xi與xj為兩個隨機變量（向量）獨立：滿足

p(xi,xj)=p(xi)p(xj)不相關(guān)：滿足E{xixj}=E{xi}E{xj}

貝葉斯決策理論③不相關(guān)性等價于獨立性貝葉斯決策理論72相互獨立不相關(guān)成立成立？？多元正態(tài)分布的任意兩個分量成立！貝葉斯決策理論相互獨立不相關(guān)成立成立？？多元正態(tài)分布的任意兩個分量成立！貝73說明：正態(tài)分布中不相關(guān)意味著協(xié)方差矩陣是對角矩陣并且有貝葉斯決策理論說明：正態(tài)分布中不相關(guān)意味著協(xié)方差矩陣是對角矩陣并且有貝葉斯74④邊緣分布(對變量進行積分)和條件分布(固定變量)的正態(tài)性⑤線性變換的正態(tài)性y=AxA為線性變換的非奇異矩陣。若x為正態(tài)分布，則y也是正態(tài)分布⑥線性組合的正態(tài)性貝葉斯決策理論④邊緣分布(對變量進行積分)和條件分布(固定變量)的正態(tài)性貝75正態(tài)分布與熵之間的關(guān)系熵的定義單位為奈特，若換為,單位為比特。熵是一個非負的量用來描述一種分布中隨機選取的樣本點的不確定性?？梢宰C明正態(tài)分布在所有具有給定均值和方差的分布中具有最大熵。貝葉斯決策理論正態(tài)分布與熵之間的關(guān)系熵的定義單位為奈特，若換為762.3.2多元正態(tài)概率型下的最小錯誤率Bayes判別函數(shù)與決策面多類情況下的判別函數(shù)多元正態(tài)分布的類概率密度函數(shù)貝葉斯決策理論2.3.2多元正態(tài)概率型下的最小錯誤率Bayes判別函數(shù)與77i類與j類的決策面方程判別函數(shù)常數(shù)貝葉斯決策理論i類與j類的決策面方程判別函數(shù)常數(shù)貝葉斯決策理論78針對不同的協(xié)方差矩陣進行討論貝葉斯決策理論針對不同的協(xié)方差矩陣進行討論貝葉斯決策理論791第一種情況條件：每類的協(xié)方差矩陣都相等，類內(nèi)各特征間相互獨立，具有相等的方差分兩種情形(1)各類的先驗概率不等(2)各類的先驗概率相等貝葉斯決策理論1第一種情況條件：每類的協(xié)方差矩陣都相等，類內(nèi)各特征間相互80判別函數(shù)當(dāng)前的協(xié)方差矩陣為對于每一個判別函數(shù)都是相同的(1)先驗概率不相等貝葉斯決策理論判別函數(shù)當(dāng)前的協(xié)方差矩陣為對于每一個判別函數(shù)都是相同的(1)81消去相同的部分，代入?yún)f(xié)方差矩陣，得其中向量x到類ωi

的均值向量μi的歐氏距離的平方貝葉斯決策理論消去相同的部分，代入?yún)f(xié)方差矩陣，得其中向量x到類ωi82(2)各類先驗概率相等消去相同的部分，得判別函數(shù)Bayes決策規(guī)則：決策規(guī)則簡化為貝葉斯決策理論(2)各類先驗概率相等消去相同的部分，得判別函數(shù)Baye83解釋：對于觀察向量x，只需要計算x到各類均值向量的歐氏距離的平方，再將x歸于距離最小的類別中去，這樣的分類器稱之為最小距離分類器貝葉斯決策理論解釋：對于觀察向量x，只需要計算x到各類均值向量的歐氏84(3)直觀的幾何解釋判別函數(shù)展開后得對于每一個類都相同貝葉斯決策理論(3)直觀的幾何解釋判別函數(shù)展開后得對于每一個類都相同貝85消去相同部分，得令判別函數(shù)為：貝葉斯決策理論消去相同部分，得令判別函數(shù)為：貝葉斯決策理論86判別函數(shù)是模式向量x的線性函數(shù)，這樣的分類器稱之為線性分類器貝葉斯決策理論判別函數(shù)是模式向量x的線性函數(shù)，這樣的分類器稱之為線87決策面方程(i與j類）現(xiàn)在為判別函數(shù)＝1貝葉斯決策理論決策面方程現(xiàn)在為判別函數(shù)＝1貝葉斯決策理論88令決策面方程超平面乘于σ2，提取得貝葉斯決策理論令決策面方程超平面乘于σ2，提取得貝葉斯決策理論89決策面方程：超平面以二維為例，直觀地解釋它們的幾何意義貝葉斯決策理論決策面方程：超平面以二維為例，直觀地解釋它們的幾何意義貝葉斯90當(dāng)各類的先驗概率相等時，有ωi

類與ωj

類之間的決策超平面通過它們均值向量μi

與μj

連線的中點并與之正交四類貝葉斯決策理論當(dāng)各類的先驗概率相等時，有ωi類與ωj類之間的決策超91當(dāng)各類先驗概率不相等時，有決策面當(dāng)P(ωi)>P(ωj)N在M右側(cè)貝葉斯決策理論當(dāng)各類先驗概率不相等時，有決策面當(dāng)P(ωi)>P(ωj)貝92解釋：w是點μj到點μi

的向量，x-x0是從點x0到點x（位于決策面上）的向量。兩者之間的點積為零，其意義是兩者相互垂直，并通過x0當(dāng)先驗概率不相等時，x0位置不在μi到μj連線的中點上，靠近先驗概率小的一邊，遠離先驗概率大的一邊；決策面通過x0，并與向量μi-μj正交貝葉斯決策理論解釋：貝葉斯決策理論932第二種情況：Σi＝

Σ(各類協(xié)方差相等)判別函數(shù)簡化后得如果各類先驗概率相等常數(shù)貝葉斯決策理論2第二種情況：Σi＝Σ(各類協(xié)方差相等)判別函數(shù)簡化后94定義新的判別函數(shù)（Mahalanobis距離的平方）決策規(guī)則：對于觀察向量x，計算x到每一類均值向量μi的馬氏距離的平方γ2，最后歸于γ2最小的類別貝葉斯決策理論定義新的判別函數(shù)（Mahalanobis距離的平方）決策規(guī)則95考察判別函數(shù)的幾何意義展開后，得每一類判斷函數(shù)都相同的部分貝葉斯決策理論考察判別函數(shù)的幾何意義展開后，得每一類判斷函數(shù)都相同的部分貝96消去與類別判斷無關(guān)的項，得其中線性判別函數(shù)貝葉斯決策理論消去與類別判斷無關(guān)的項，得其中線性判別函數(shù)貝葉斯決策理論97決策面為一個超平面根據(jù)其中類似可得貝葉斯決策理論決策面為一個超平面根據(jù)其中類似可得貝葉斯決策理論98解釋：向量w一般不再在μi-μj方向上，有一個坐標(biāo)旋轉(zhuǎn)。向量(x-x0)通過x0點。w與(x-x0)點積為零，表示兩者正交。決策面仍過x0點，與w正交，但不再與μi-μj正交貝葉斯決策理論解釋：貝葉斯決策理論99當(dāng)各類先驗概率相等，則x0點是兩個均值向量連線的中點如果各類先驗概率不相等，則x0點偏向先驗概率小的一邊貝葉斯決策理論當(dāng)各類先驗概率相等，則x0點是兩個均值向量連線的中點貝葉1003第三種情況：各類協(xié)方差矩陣不等判別函數(shù)消去與類別無關(guān)的項并展開后，得貝葉斯決策理論3第三種情況：各類協(xié)方差矩陣不等判別函數(shù)消去與類別無關(guān)的101其中判別函數(shù)是二次型貝葉斯決策理論其中判別函數(shù)是二次型貝葉斯決策理論102決策面方程為：決策面為超二次曲面，隨著類先驗概率、類正態(tài)密度函數(shù)參數(shù)的不同，出現(xiàn)為某種形式的超二次曲面，如超球面、超橢球面、超拋物面、超雙曲面或超平面貝葉斯決策理論決策面方程為：決策面為超二次曲面，隨著類先驗概率、類正態(tài)密度103二維正態(tài)分布情況下的一些例子：決策面：帶斜線部分的外輪廓線方差貝葉斯決策理論二維正態(tài)分布情況下的一些例子：決策面：帶斜線部分的外輪廓線方1042.4離散情況的貝葉斯決策

以上幾節(jié)所討論的特征向量可以是d維特征空間中的任一點，即為連續(xù)的隨機向量。但在許多的模式識別問題中，特征向量是一個離散型隨機向量，僅可取個離散值中的一個。此時，我們?nèi)钥梢岳秘惾~斯公式計算式中

貝葉斯決策理論2.4離散情況的貝葉斯決策以上幾節(jié)所討論的特征向量可105可以看出，貝葉斯決策規(guī)則仍然不變，最小錯誤率的貝葉斯決策法則仍為：如果對于一切成立，則決策。最小風(fēng)險的Bayes決策法則仍是：如果，則