模式識(shí)別第二章貝葉斯決策理論在傳送帶上用光學(xué)傳感器件對(duì)魚按品種分類

鱸魚(Seabass)

品種

鮭魚(Salmon)設(shè)計(jì)一個(gè)自動(dòng)分類系統(tǒng)對(duì)兩種魚進(jìn)行自動(dòng)分類第2頁(yè),共27頁(yè)，星期六，2024年，5月數(shù)據(jù)獲?。杭茉O(shè)一個(gè)攝像機(jī)，采集一些樣本圖像，獲取樣本數(shù)據(jù)預(yù)處理：去噪聲，采用圖象分割技術(shù)，用一個(gè)分割操作把魚和魚之間以及魚和背景之間分開，得到單個(gè)物理對(duì)象的圖像。第3頁(yè),共27頁(yè)，星期六，2024年，5月特征提取和選擇：對(duì)單個(gè)魚的信息進(jìn)行特征選擇，從而通過測(cè)量某些特征來減少信息量長(zhǎng)度亮度寬度魚翅的數(shù)量和形狀嘴的位置，等等…分類決策：把特征送入決策分類器第4頁(yè),共27頁(yè)，星期六，2024年，5月第5頁(yè),共27頁(yè)，星期六，2024年，5月根據(jù)長(zhǎng)度進(jìn)行分類Salman一般較短，seabass一般較長(zhǎng)第6頁(yè),共27頁(yè)，星期六，2024年，5月根據(jù)亮度進(jìn)行分類Salman一般較暗，seabass一般較亮第7頁(yè),共27頁(yè)，星期六，2024年，5月特征向量=（長(zhǎng)度，亮度）x=(x1,x2)樣本:(x,y),x：該樣本對(duì)應(yīng)的特征向量y:該樣本的類別，y=+1(salman)或y=-1(seabass)第8頁(yè),共27頁(yè)，星期六，2024年，5月第9頁(yè),共27頁(yè)，星期六，2024年，5月第10頁(yè),共27頁(yè)，星期六，2024年，5月使用一個(gè)特征亮度對(duì)這兩種魚進(jìn)行表示。新來了一條魚特征是x(亮度)，怎么根據(jù)特征x確定它到底是鱸魚ω1還是鮭魚ω2？已知數(shù)據(jù)：鱸魚類標(biāo)號(hào)ω1，鮭魚類標(biāo)號(hào)ω2。鱸魚總數(shù)量占所有魚總數(shù)量的比率為P(ω1)，鮭魚總數(shù)量占所有魚總數(shù)量的比率為P(ω2)。假設(shè)這條魚的亮度x在分類為鱸魚時(shí)出現(xiàn)的概率為p(x|ω1),這條魚的亮度x在分類為鮭魚時(shí)出現(xiàn)的概率為p(x|ω2)。如何求解？可以求出x屬于鱸魚ω1的概率P(ω1|x)和x屬于鮭魚ω2的概率P(ω2|x)。如果P(ω1|x)>P(ω2|x)，就認(rèn)為x是鱸魚?，F(xiàn)在的問題是如何求P(ω1|x)和P(ω2|x)。第11頁(yè),共27頁(yè)，星期六，2024年，5月基本假設(shè)：給定模式空間S，由m個(gè)互不相交的模式類集合

組成，即

，假定類的先驗(yàn)概率為

，特征向量x的類條件概率密度函數(shù)

，表示當(dāng)樣本時(shí)，特征向量

的概率密度函數(shù)；特征向量的后驗(yàn)概率

，表示在特征向量

出現(xiàn)的條件下，樣本來自類

的概率，即類

出現(xiàn)的概率第12頁(yè),共27頁(yè)，星期六，2024年，5月把樣本歸入后驗(yàn)概率最大的類別中。最大后驗(yàn)概率判決準(zhǔn)則使平均錯(cuò)誤概率達(dá)到最小。如果p(ω1|x)>p(ω2|x)，則判決x屬于ω1；如果p(ω1|x)<p(ω2|x)，則判決x屬于ω2；如果p(ω1|x)=p(ω2|x)，則判決x屬于ω1或?qū)儆讦?；如何求P(ω1|x)和P(ω2|x)？第13頁(yè),共27頁(yè)，星期六，2024年，5月有一個(gè)概率公式：從而推出：換一種寫法：把樣本歸入后驗(yàn)概率最大的類別中。最大后驗(yàn)概率判決準(zhǔn)則使平均錯(cuò)誤概率達(dá)到最小。如果p(ω1|x)>p(ω2|x)，則判決x屬于ω1；如果p(ω1|x)<p(ω2|x)，則判決x屬于ω2；如果p(ω1|x)=p(ω2|x)，則判決x屬于ω1或?qū)儆讦?；如何求P(ω1|x)和P(ω2|x)？第14頁(yè),共27頁(yè)，星期六，2024年，5月這就是著名的貝葉斯公式。其中P(ωj)叫做先驗(yàn)概率，就是類別出現(xiàn)的可能性；p(x|ωj)叫條件概率，就是在ωj時(shí)x出現(xiàn)的可能性；p(ωj|x)叫后驗(yàn)概率；p(x)是該樣例出現(xiàn)的可能性。因此：第15頁(yè),共27頁(yè)，星期六，2024年，5月1.若，則x屬于ωj，如果p(ω1|x)>p(ω2|x)，那么就認(rèn)為x屬于ω1，同理于：2.若,則x屬于ωj

3.若,則x屬于ωj，其中，L(x)稱為似然比，稱為對(duì)數(shù)似然比第16頁(yè),共27頁(yè)，星期六，2024年，5月對(duì)一大批人進(jìn)行癌癥普查，設(shè)ω1類代表患癌癥，ω2類代表正常人。已知先驗(yàn)概率： 以一個(gè)化驗(yàn)結(jié)果作為特征x:{陽(yáng)性，陰性}，患癌癥的人和正常人化驗(yàn)結(jié)果為陽(yáng)性的概率分別為：

現(xiàn)有一人化驗(yàn)結(jié)果為陽(yáng)性，問此人是否患癌癥？第17頁(yè),共27頁(yè)，星期六，2024年，5月問題的提出：最大后驗(yàn)概率判決準(zhǔn)則使分類的平均錯(cuò)誤概率最小化，但沒有考慮到不同的錯(cuò)誤判斷帶來的后果是不相同的?？紤]各種錯(cuò)誤分類造成的損失不同，人們提出了最小風(fēng)險(xiǎn)貝葉斯判決準(zhǔn)則。基本思路：給每一種決策規(guī)定一個(gè)損失值，將其作為因錯(cuò)誤決策而導(dǎo)致的損失的度量。有c個(gè)類別ω1,ω2,...,

ωc,將ωi類的樣本判別為ωj類的代價(jià)為λij。第18頁(yè),共27頁(yè)，星期六，2024年，5月最小平均風(fēng)險(xiǎn)準(zhǔn)則貝葉斯分類器并不是簡(jiǎn)單地將x歸于具有最大p(ωj|x)值的那個(gè)類別ωj。因?yàn)橐紤]損失：定義進(jìn)行第i個(gè)行動(dòng)(比如將樣例歸于第i個(gè)類別)這種行為表示為：αi。在一個(gè)樣例的真正類別為ωj時(shí)，進(jìn)行第i個(gè)行動(dòng)造成的損失是：λ(αi|ωj)。那么進(jìn)行第i個(gè)行動(dòng)的總損失：那么每個(gè)行動(dòng)的總損失都可以求出來，采取其中總損失最小的行動(dòng)。比如行動(dòng)k最小，對(duì)應(yīng)的行動(dòng)是將樣例歸于第k個(gè)類別。第19頁(yè),共27頁(yè)，星期六，2024年，5月定義

是在一個(gè)樣例的真正類別為ωj時(shí)，進(jìn)行第i個(gè)行動(dòng)造成的損失。采取第1個(gè)行動(dòng)時(shí)的總損失：采取第2個(gè)行動(dòng)時(shí)的總損失：第20頁(yè),共27頁(yè)，星期六，2024年，5月那么當(dāng)時(shí)，采取第1個(gè)行動(dòng)。即：第21頁(yè),共27頁(yè)，星期六，2024年，5月樸素貝葉斯分類器(naiveBayesclassifiers,簡(jiǎn)記為NB)假定：在給定類標(biāo)記時(shí)，屬性值之間是相互條件獨(dú)立的，也就是說，在給定實(shí)例類標(biāo)記的情況下,觀察到的聯(lián)合概率正好是每個(gè)單獨(dú)屬性值概率的乘積。舉例：根據(jù)天氣狀況來判斷某天是否適合于打網(wǎng)球，給定如表所示的14個(gè)訓(xùn)練實(shí)例,其中每一天由屬性outlook，Temprature，Humidity和wind來描述,類屬性為PlayTennis第22頁(yè),共27頁(yè)，星期六，2024年，5月現(xiàn)有一測(cè)試實(shí)例問這一天是否適合于打網(wǎng)球？第23頁(yè),共27頁(yè)，星期六，2024年，5月第24頁(yè),共27頁(yè)，星期六，2024年，5月可見,樸素貝葉斯分類器將此實(shí)例分類為no,將上述概率歸一化,可得到樸素貝葉斯分類器分類此實(shí)例為no的概率是0.0192/(0.0069+0.0191)=0.7346思考：根據(jù)顧客的基本情況來判斷其是否會(huì)買電腦給定如表所示的14個(gè)訓(xùn)練實(shí)例,其中每一個(gè)顧客屬性age，income，student和credit-rating來描述,類屬性為buys-computer。第25頁(yè),共27頁(yè)，星期六，2024年，5月現(xiàn)有一測(cè)試實(shí)例，