第二章貝葉斯決策理論第二章貝葉斯決策理論2.1最小錯誤率準則2.1最小錯誤率準則各種概率及其關系先驗概率：后驗概率：類條件概率：貝葉斯公式：各種概率及其關系先驗概率：兩個類別，一維特征兩個類別，一維特征兩類問題的錯誤率觀察到特征x時作出判別的錯誤率：兩類問題最小錯誤率判別準則：兩類問題的錯誤率觀察到特征x時作出判別的錯誤率：兩類問題最小多類問題最小錯誤率判別x屬于ωi的錯誤率：判別準則：則：多類問題最小錯誤率判別x屬于ωi的錯誤率：判別準則：則：貝葉斯最小錯誤率準則Bayes判別準則：，則貝葉斯最小錯誤率準則Bayes判別準則：，則貝葉斯分類器的錯誤率估計貝葉斯分類器的錯誤率估計例2.1對一大批人進行癌癥普查，設ω1類代表患癌癥，ω2類代表正常人。已知先驗概率：

以一個化驗結果作為特征x:{陽性，陰性}，患癌癥的人和正常人化驗結果為陽性的概率分別為：

現有一人化驗結果為陽性，問此人是否患癌癥？例2.1對一大批人進行癌癥普查，設ω1類代表患癌癥，ω2類2.2最小平均風險準則貝葉斯分

類器問題的提出:有c個類別ω1,ω2,...,

ωc,將ωi類的樣本判別為ωj類的代價為λij。將未知模式x判別為ωj類的平均風險：2.2最小平均風險準則貝葉斯分

類器問題的提出最小平均風險判別準則利用Bayes公式，構造判別函數：最小平均風險判別準則利用Bayes公式，構造判別函數：貝葉斯分類器貝葉斯分類器例2.2

對一大批人進行癌癥普查，設ω1類代表患癌癥，ω2類代表正常人。已知先驗概率：

以一個化驗結果作為特征x:{陽性，陰性}，患癌癥的人和正常人化驗結果為陽性的概率分別為： 判別代價：λ11=0,λ22=0,λ12=100,λ21=25

現有一人化驗結果為陽性，問此人是否患癌癥？例2.2對一大批人進行癌癥普查，設ω1類代表患癌癥，ω2類2.3貝葉斯分類器的其它版本先驗概率P(ωi)未知：極小化極大準則；約束一定錯誤率（風險）：Neyman-Pearson準則；某些特征缺失的決策：連續(xù)出現的模式之間統(tǒng)計相關的決策：2.3貝葉斯分類器的其它版本先驗概率P(ωi)未知：極小化2.4正態(tài)分布的貝葉斯分類器單變量正態(tài)分布密度函數（高斯分布）：2.4正態(tài)分布的貝葉斯分類器單變量正態(tài)分布密度函數（高斯分多元正態(tài)分布函數多元正態(tài)分布函數正態(tài)分布的判別函數貝葉斯判別函數可以寫成對數形式：類條件概率密度函數為正態(tài)分布時：正態(tài)分布的判別函數貝葉斯判別函數可以寫成對數形式：類條件概情況一：判別函數可以寫成：此分類器稱為距離分類器，判別函數可以用待識模式x與類別均值μi之間的距離表示：情況一：判別函數可以寫成：此分類器稱為距離分類器，判別函數情況二：判別函數可以寫成：可以簡化為： 稱為線性分類器情況二：判別函數可以寫成：可以簡化為： 稱為線性分類器線性分類器兩類問題，1維特征，先驗概率相同時：線性分類器兩類問題，1維特征，先驗概率相同時：線性分類器兩類問題，高維特征，先驗概率相同時：線性分類器兩類問題，高維特征，先驗概率相同時：線性分類器兩類問題，1維特征，先驗概率不同時：線性分類器兩類問題，1維特征，先驗概率不同時：線性分類器兩類問題，高維特征，先驗概率不同時：線性分類器兩類問題，高維特征，先驗概率不同時：情況三：任意判別函數可以寫成：判別函數為二次判別函數，分類界面為2次曲線（面）。情況三：任意判別函數可以寫成：判別函數為二次判別函數二次分類曲線二次分類曲線二次分類曲面二次分類曲面第二章貝葉斯決策理論第二章貝葉斯決策理論2.1最小錯誤率準則2.1最小錯誤率準則各種概率及其關系先驗概率：后驗概率：類條件概率：貝葉斯公式：各種概率及其關系先驗概率：兩個類別，一維特征兩個類別，一維特征兩類問題的錯誤率觀察到特征x時作出判別的錯誤率：兩類問題最小錯誤率判別準則：兩類問題的錯誤率觀察到特征x時作出判別的錯誤率：兩類問題最小多類問題最小錯誤率判別x屬于ωi的錯誤率：判別準則：則：多類問題最小錯誤率判別x屬于ωi的錯誤率：判別準則：則：貝葉斯最小錯誤率準則Bayes判別準則：，則貝葉斯最小錯誤率準則Bayes判別準則：，則貝葉斯分類器的錯誤率估計貝葉斯分類器的錯誤率估計例2.1對一大批人進行癌癥普查，設ω1類代表患癌癥，ω2類代表正常人。已知先驗概率：

以一個化驗結果作為特征x:{陽性，陰性}，患癌癥的人和正常人化驗結果為陽性的概率分別為：

現有一人化驗結果為陽性，問此人是否患癌癥？例2.1對一大批人進行癌癥普查，設ω1類代表患癌癥，ω2類2.2最小平均風險準則貝葉斯分

類器問題的提出:有c個類別ω1,ω2,...,

ωc,將ωi類的樣本判別為ωj類的代價為λij。將未知模式x判別為ωj類的平均風險：2.2最小平均風險準則貝葉斯分

類器問題的提出最小平均風險判別準則利用Bayes公式，構造判別函數：最小平均風險判別準則利用Bayes公式，構造判別函數：貝葉斯分類器貝葉斯分類器例2.2

對一大批人進行癌癥普查，設ω1類代表患癌癥，ω2類代表正常人。已知先驗概率：

以一個化驗結果作為特征x:{陽性，陰性}，患癌癥的人和正常人化驗結果為陽性的概率分別為： 判別代價：λ11=0,λ22=0,λ12=100,λ21=25

現有一人化驗結果為陽性，問此人是否患癌癥？例2.2對一大批人進行癌癥普查，設ω1類代表患癌癥，ω2類2.3貝葉斯分類器的其它版本先驗概率P(ωi)未知：極小化極大準則；約束一定錯誤率（風險）：Neyman-Pearson準則；某些特征缺失的決策：連續(xù)出現的模式之間統(tǒng)計相關的決策：2.3貝葉斯分類器的其它版本先驗概率P(ωi)未知：極小化2.4正態(tài)分布的貝葉斯分類器單變量正態(tài)分布密度函數（高斯分布）：2.4正態(tài)分布的貝葉斯分類器單變量正態(tài)分布密度函數（高斯分多元正態(tài)分布函數多元正態(tài)分布函數正態(tài)分布的判別函數貝葉斯判別函數可以寫成對數形式：類條件概率密度函數為正態(tài)分布時：正態(tài)分布的判別函數貝葉斯判別函數可以寫成對數形式：類條件概情況一：判別函數可以寫成：此分類器稱為距離分類器，判別函數可以用待識模式x與類別均值μi之間的距離表示：情況一：判別函數可以寫成：此分類器稱為距離分類器，判別函數情況二：判別函數可以寫成：可以簡化為： 稱為線性分類器情況二：判別函數可以寫成：可以簡化為： 稱為線性分類器線性分類器兩類問題，1維特征，先驗概率相同時：線性分類器兩類問題，1維特征，先驗概率相同時：線性分類器兩類問題，高維特征，先驗概率相同時：線性分類器兩類問題，高維特征，先驗概率相同時：線性分類器兩類問題，1維特征，先驗概率不同時：線性分類器兩類問題，1維