模式識(shí)別

——貝葉斯決策理論馬勤勇mqy_mail@163.com模式識(shí)別

——貝葉斯決策理論馬勤勇1一最簡(jiǎn)單的貝葉斯分類算法

還使用前面的例子：鱸魚(yú)(seabass)和鮭魚(yú)(salmon)。一最簡(jiǎn)單的貝葉斯分類算法還使用前面的例子：鱸魚(yú)(sea2貝葉斯決策理論課件3使用一個(gè)特征亮度對(duì)這兩種魚(yú)進(jìn)行表示。新來(lái)了一條魚(yú)特征是x(亮度)，怎么根據(jù)特征x確定它到底是鱸魚(yú)ω1還是鮭魚(yú)ω2？已知數(shù)據(jù)：鱸魚(yú)類標(biāo)號(hào)ω1，鮭魚(yú)類標(biāo)號(hào)ω2。鱸魚(yú)總數(shù)量占所有魚(yú)總數(shù)量的比率為P(ω1)，鮭魚(yú)總數(shù)量占所有魚(yú)總數(shù)量的比率為P(ω2)。由鱸魚(yú)的分布得知這條魚(yú)的亮度x在分類為鱸魚(yú)時(shí)出現(xiàn)的概率為p(x|ω1),由鮭魚(yú)的分布得知這條魚(yú)的亮度x在分類為鮭魚(yú)時(shí)出現(xiàn)的概率為p(x|ω2)。使用一個(gè)特征亮度對(duì)這兩種魚(yú)進(jìn)行表示。4如何求解？可以求出x屬于鱸魚(yú)ω1的概率P(ω1|x)和x屬于鮭魚(yú)ω2的概率P(ω2|x)。如果P(ω1|x)>P(ω2|x)，就認(rèn)為x是鱸魚(yú)?，F(xiàn)在的問(wèn)題是如何求P(ω1|x)和P(ω2|x)。如何求解？可以求出x屬于鱸魚(yú)ω1的概率P(ω1|x)和x屬于5有一個(gè)概率公式：從而推出：換一種寫(xiě)法：有一個(gè)概率公式：從而推出：換一種寫(xiě)法：6這就是著名的貝葉斯公式。其中P(ωj)叫做先驗(yàn)概率，就是類別出現(xiàn)的可能性；p(x|ωj)叫條件概率，就是在ωj時(shí)x出現(xiàn)的可能性；p(ωj|x)叫后驗(yàn)概率；p(x)是該樣例出現(xiàn)的可能性。因此：對(duì)于上面的問(wèn)題：這就是著名的貝葉斯公式。其中P(ωj)叫做先驗(yàn)概率，就是類別7如果p(ω1|x)>p(ω2|x)，那么就認(rèn)為x屬于ω1，即這條魚(yú)是鱸魚(yú)。同理于：這幾個(gè)基本數(shù)據(jù)都已經(jīng)給出了，因此可以計(jì)算出不等式的結(jié)果。如果p(ω1|x)<p(ω2|x)，那么就認(rèn)為x屬于ω2，即這條魚(yú)是鮭魚(yú)。同理于：如果p(ω1|x)>p(ω2|x)，那么就認(rèn)為x屬于ω1，即8二貝葉斯決策算法上面的分類有幾個(gè)主要限制：特征向量中只包含一個(gè)特征：亮度。只有兩個(gè)類別：鱸魚(yú)和鮭魚(yú)。僅僅允許分類，而不是根據(jù)分類采取行動(dòng)。同時(shí)，沒(méi)有加入損失控制：例如鱸魚(yú)比鮭魚(yú)貴。如果鱸魚(yú)的罐頭里裝入了鮭魚(yú)，那么客戶會(huì)很生氣；如果鮭魚(yú)的罐頭里裝入了鱸魚(yú)，那么客戶很難感到有損失。那么這個(gè)時(shí)候分類后采取的行動(dòng)就要偏向于便宜的鮭魚(yú)。下面就看突破這幾個(gè)限制的比較通用的貝葉斯分類器是什么樣的。二貝葉斯決策算法上面的分類有幾個(gè)主要限制：9為了解決第一個(gè)顯示，使用向量x代替原來(lái)的單變量x。x就叫做特征向量。比如鱸魚(yú)鮭魚(yú)分類的例子中，可以設(shè)計(jì)這樣一個(gè)特征向量(x1,x2)，其中x1表示亮度，x2表示長(zhǎng)度。為了解決第一個(gè)顯示，使用向量x代替原來(lái)的單變量x。x就叫做特10定義類別總共有c個(gè)：{ω1,ω2…,ωc}，第j個(gè)分類為ωj。此時(shí)，x屬于類別ωj的概率依然用這個(gè)公式計(jì)算：定義類別總共有c個(gè)：{ω1,ω2…,ωc}，第j個(gè)分類為ωj11但是，并不是簡(jiǎn)單地將x歸于具有最大p(ωj|x)值的那個(gè)類別ωj。因?yàn)橐紤]損失：定義進(jìn)行第i個(gè)行動(dòng)(比如將樣例歸于第i個(gè)類別)這種行為表示為：αi。在一個(gè)樣例的真正類別為ωj時(shí)，進(jìn)行第i個(gè)行動(dòng)造成的損失是：λ(αi|ωj)。那么進(jìn)行第i個(gè)行動(dòng)的總損失：這里將每個(gè)類別為真正類別時(shí)采取第i個(gè)行動(dòng)造成的損失都加起來(lái)，作為采取第i個(gè)行動(dòng)的總損失。那么每個(gè)行動(dòng)的總損失都可以求出來(lái)，采取其中總損失最小的行動(dòng)。比如行動(dòng)k最小，對(duì)應(yīng)的行動(dòng)是將樣例歸于第k個(gè)類別，那么就如此進(jìn)行分類。

但是，并不是簡(jiǎn)單地將x歸于具有最大p(ωj|x)值的那個(gè)類別12舉例：貝葉斯決策算法在兩類問(wèn)題中的決策。定義

，是在一個(gè)樣例的真正類別為ωj時(shí)，進(jìn)行第i個(gè)行動(dòng)造成的損失。采取第1個(gè)行動(dòng)時(shí)的總損失：采取第2個(gè)行動(dòng)時(shí)的總損失：舉例：貝葉斯決策算法在兩類問(wèn)題中的決策。定義，是在一個(gè)樣例13那么當(dāng)時(shí)，采取第1個(gè)行動(dòng)。即：比如對(duì)于上面的例子λ11=λ22=0。鱸魚(yú)ω1比鮭魚(yú)ω2貴。如果鱸魚(yú)ω1的罐頭里裝入了鮭魚(yú)ω2，那么客戶會(huì)很生氣；如果鮭魚(yú)ω2的罐頭里裝入了鱸魚(yú)ω1，那么客戶很難感到有損失。那么這個(gè)時(shí)候分類后采取的行動(dòng)就要偏向于便宜的鮭魚(yú)。因此設(shè)當(dāng)真正類別是鮭魚(yú)ω2的時(shí)候，將x歸類為鱸魚(yú)ω1(造成鱸魚(yú)ω1的罐頭里裝入了鮭魚(yú)ω2)的損失λ12=2，設(shè)當(dāng)真正類別是鱸魚(yú)ω1的時(shí)候，將x歸類為鮭魚(yú)ω2(造成鮭魚(yú)ω2的罐頭里裝入了鱸魚(yú)ω1)的損失λ21=0.2?？梢钥吹剑厦娴墓阶兂闪耍耗敲串?dāng)時(shí)，采取第1個(gè)行動(dòng)。即：比如對(duì)于上面的例子λ11=14三判別函數(shù)在模式識(shí)別里，經(jīng)常用gi(x)來(lái)表示x屬于第i個(gè)類別的可能性。如果對(duì)于所有的j!=i都有：gi(x)>gj(x)，那么認(rèn)為x屬于第i個(gè)類別ωi。比如令gi(x)=-R(αi|x)。上面是一個(gè)不等式關(guān)系，如果不等式兩邊都乘以相同的正數(shù)，或加上相同的樹(shù)，或取自然對(duì)數(shù)。那么不等式的關(guān)系是不變的。因此不考慮損失時(shí)的貝葉斯判別函數(shù)：可以寫(xiě)成：三判別函數(shù)在模式識(shí)別里，經(jīng)常用gi(x)來(lái)表示x屬于第i個(gè)15四正態(tài)分布貝葉斯公式中的p(x|ωj)是條件概率，代表在類別為ωj時(shí)，x的概率。比如在ωj為鱸魚(yú)時(shí)，一個(gè)特定亮度x的概率。條件概率分布中常見(jiàn)的一個(gè)分布是高斯分布(正態(tài)分布)。正態(tài)分布是最重要的一種概率分布。正態(tài)分布概念是由德國(guó)的數(shù)學(xué)家和天文學(xué)家Moivre于1733年首次提出的，但由于德國(guó)數(shù)學(xué)家Gauss(CarlFriedrichGauss，1777—1855)率先將其應(yīng)用于天文學(xué)家研究，故正態(tài)分布又叫高斯分布。四正態(tài)分布貝葉斯公式中的p(x|ωj)是條件概率，代表在類16高斯分布的形狀是鐘形曲線。高斯分布的形狀是鐘形曲線。17很多隨機(jī)變量的概率分布都可以近似地用正態(tài)分布來(lái)描述。例如：同一種生物體的身長(zhǎng)、體重等指標(biāo)；百度高個(gè)吧投票的身高分布：很多隨機(jī)變量的概率分布都可以近似地用正態(tài)分布來(lái)描述。例如：18在生產(chǎn)條件不變的情況下，產(chǎn)品的強(qiáng)力、抗壓強(qiáng)度、口徑、長(zhǎng)度等指標(biāo)；同一種種子的重量；測(cè)量同一物體的誤差；某個(gè)地區(qū)的年降水量；學(xué)生的智力水平，包括學(xué)習(xí)能力，實(shí)際動(dòng)手能力等呈正態(tài)分布。在生產(chǎn)條件不變的情況下，產(chǎn)品的強(qiáng)力、抗壓強(qiáng)度、口徑、長(zhǎng)度等指19單變量正態(tài)分布的

概率密度函數(shù)：其中μ是均值，σ是標(biāo)準(zhǔn)差。均值就是所有數(shù)的平均數(shù)，就是把所有數(shù)都加起來(lái)再除以個(gè)數(shù)σ2方差就是把每個(gè)數(shù)減去它們的平均數(shù)再平方，把這些平方加起來(lái)再除以個(gè)數(shù)。方差表示統(tǒng)計(jì)數(shù)據(jù)的離散程度。經(jīng)常可以把上面的公式簡(jiǎn)寫(xiě)成：p(x)~N(μ,σ2)。單變量正態(tài)分布的

概率密度函數(shù)：其中μ是均值，σ是標(biāo)準(zhǔn)差。20多變量正態(tài)分布的

概率密度函數(shù)：其中μ是d維平均向量。Σ是d*d的協(xié)方差矩陣。|Σ|是它的行列式，Σ-1是它的轉(zhuǎn)置。經(jīng)?？梢园焉厦娴墓胶?jiǎn)寫(xiě)成：p(x)~N(μ,Σ)。多變量正態(tài)分布的

概率密度函數(shù)：其中μ是d維平均向量。Σ是21五正態(tài)分布下的判別函數(shù)五正態(tài)分布下的判別函數(shù)22將多變量正態(tài)分布公式帶入下面的判別函數(shù)：得到：將單變量正態(tài)分布公式帶入下面的判別函數(shù)：得到：將多變量正態(tài)分布公式帶入下面的判別函數(shù)：得到：將單變量正態(tài)分231.Σi=σ2I當(dāng)所有變量都相互獨(dú)立，且每個(gè)變量的方差都是σ2的時(shí)候，所有的協(xié)方差矩陣都相等：Σi=σ2I。此時(shí)，判別函數(shù)簡(jiǎn)化成了：此時(shí)判別函數(shù)就變成了一個(gè)線性判別函數(shù)。1.Σi=σ2I當(dāng)所有變量都相互獨(dú)立，且每個(gè)變量的方差都是24當(dāng)p(ωi)與p(ωj)相等的時(shí)候，一二三維高斯分布：當(dāng)p(ωi)與p(ωj)相等的時(shí)候，一二三維高斯分布：25如下求分割線x的位置：如下求分割線x的位置：26貝葉斯決策理論課件27貝葉斯決策理論課件28當(dāng)p(ωi)與p(ωj)不相等的時(shí)候，

一二三維高斯分布：當(dāng)p(ωi)與p(ωj)不相等的時(shí)候，

一二三維高斯分布：29貝葉斯決策理論課件30貝葉斯決策理論課件31貝葉斯決策理論課件32貝葉斯決策理論課件33貝葉斯決策理論課件342.Σi=Σ當(dāng)所有類別的協(xié)方差矩陣Σi都相等的時(shí)候，說(shuō)明所有類別的正態(tài)分布具有同樣的形狀。此時(shí)，判別函數(shù)又可以簡(jiǎn)化成一個(gè)線性判別函數(shù)器。2.Σi=Σ當(dāng)所有類別的協(xié)方差矩陣Σi都相等的時(shí)候，說(shuō)明所353.Σi不固定此時(shí)基本就沒(méi)有什么可化簡(jiǎn)的了。3.Σi不固定此時(shí)基本就沒(méi)有什么可化簡(jiǎn)的了。36演講完畢，謝謝觀看！演講完畢，謝謝觀看！37模式識(shí)別

——貝葉斯決策理論馬勤勇mqy_mail@163.com模式識(shí)別

——貝葉斯決策理論馬勤勇38一最簡(jiǎn)單的貝葉斯分類算法

還使用前面的例子：鱸魚(yú)(seabass)和鮭魚(yú)(salmon)。一最簡(jiǎn)單的貝葉斯分類算法還使用前面的例子：鱸魚(yú)(sea39貝葉斯決策理論課件40使用一個(gè)特征亮度對(duì)這兩種魚(yú)進(jìn)行表示。新來(lái)了一條魚(yú)特征是x(亮度)，怎么根據(jù)特征x確定它到底是鱸魚(yú)ω1還是鮭魚(yú)ω2？已知數(shù)據(jù)：鱸魚(yú)類標(biāo)號(hào)ω1，鮭魚(yú)類標(biāo)號(hào)ω2。鱸魚(yú)總數(shù)量占所有魚(yú)總數(shù)量的比率為P(ω1)，鮭魚(yú)總數(shù)量占所有魚(yú)總數(shù)量的比率為P(ω2)。由鱸魚(yú)的分布得知這條魚(yú)的亮度x在分類為鱸魚(yú)時(shí)出現(xiàn)的概率為p(x|ω1),由鮭魚(yú)的分布得知這條魚(yú)的亮度x在分類為鮭魚(yú)時(shí)出現(xiàn)的概率為p(x|ω2)。使用一個(gè)特征亮度對(duì)這兩種魚(yú)進(jìn)行表示。41如何求解？可以求出x屬于鱸魚(yú)ω1的概率P(ω1|x)和x屬于鮭魚(yú)ω2的概率P(ω2|x)。如果P(ω1|x)>P(ω2|x)，就認(rèn)為x是鱸魚(yú)。現(xiàn)在的問(wèn)題是如何求P(ω1|x)和P(ω2|x)。如何求解？可以求出x屬于鱸魚(yú)ω1的概率P(ω1|x)和x屬于42有一個(gè)概率公式：從而推出：換一種寫(xiě)法：有一個(gè)概率公式：從而推出：換一種寫(xiě)法：43這就是著名的貝葉斯公式。其中P(ωj)叫做先驗(yàn)概率，就是類別出現(xiàn)的可能性；p(x|ωj)叫條件概率，就是在ωj時(shí)x出現(xiàn)的可能性；p(ωj|x)叫后驗(yàn)概率；p(x)是該樣例出現(xiàn)的可能性。因此：對(duì)于上面的問(wèn)題：這就是著名的貝葉斯公式。其中P(ωj)叫做先驗(yàn)概率，就是類別44如果p(ω1|x)>p(ω2|x)，那么就認(rèn)為x屬于ω1，即這條魚(yú)是鱸魚(yú)。同理于：這幾個(gè)基本數(shù)據(jù)都已經(jīng)給出了，因此可以計(jì)算出不等式的結(jié)果。如果p(ω1|x)<p(ω2|x)，那么就認(rèn)為x屬于ω2，即這條魚(yú)是鮭魚(yú)。同理于：如果p(ω1|x)>p(ω2|x)，那么就認(rèn)為x屬于ω1，即45二貝葉斯決策算法上面的分類有幾個(gè)主要限制：特征向量中只包含一個(gè)特征：亮度。只有兩個(gè)類別：鱸魚(yú)和鮭魚(yú)。僅僅允許分類，而不是根據(jù)分類采取行動(dòng)。同時(shí)，沒(méi)有加入損失控制：例如鱸魚(yú)比鮭魚(yú)貴。如果鱸魚(yú)的罐頭里裝入了鮭魚(yú)，那么客戶會(huì)很生氣；如果鮭魚(yú)的罐頭里裝入了鱸魚(yú)，那么客戶很難感到有損失。那么這個(gè)時(shí)候分類后采取的行動(dòng)就要偏向于便宜的鮭魚(yú)。下面就看突破這幾個(gè)限制的比較通用的貝葉斯分類器是什么樣的。二貝葉斯決策算法上面的分類有幾個(gè)主要限制：46為了解決第一個(gè)顯示，使用向量x代替原來(lái)的單變量x。x就叫做特征向量。比如鱸魚(yú)鮭魚(yú)分類的例子中，可以設(shè)計(jì)這樣一個(gè)特征向量(x1,x2)，其中x1表示亮度，x2表示長(zhǎng)度。為了解決第一個(gè)顯示，使用向量x代替原來(lái)的單變量x。x就叫做特47定義類別總共有c個(gè)：{ω1,ω2…,ωc}，第j個(gè)分類為ωj。此時(shí)，x屬于類別ωj的概率依然用這個(gè)公式計(jì)算：定義類別總共有c個(gè)：{ω1,ω2…,ωc}，第j個(gè)分類為ωj48但是，并不是簡(jiǎn)單地將x歸于具有最大p(ωj|x)值的那個(gè)類別ωj。因?yàn)橐紤]損失：定義進(jìn)行第i個(gè)行動(dòng)(比如將樣例歸于第i個(gè)類別)這種行為表示為：αi。在一個(gè)樣例的真正類別為ωj時(shí)，進(jìn)行第i個(gè)行動(dòng)造成的損失是：λ(αi|ωj)。那么進(jìn)行第i個(gè)行動(dòng)的總損失：這里將每個(gè)類別為真正類別時(shí)采取第i個(gè)行動(dòng)造成的損失都加起來(lái)，作為采取第i個(gè)行動(dòng)的總損失。那么每個(gè)行動(dòng)的總損失都可以求出來(lái)，采取其中總損失最小的行動(dòng)。比如行動(dòng)k最小，對(duì)應(yīng)的行動(dòng)是將樣例歸于第k個(gè)類別，那么就如此進(jìn)行分類。

但是，并不是簡(jiǎn)單地將x歸于具有最大p(ωj|x)值的那個(gè)類別49舉例：貝葉斯決策算法在兩類問(wèn)題中的決策。定義

，是在一個(gè)樣例的真正類別為ωj時(shí)，進(jìn)行第i個(gè)行動(dòng)造成的損失。采取第1個(gè)行動(dòng)時(shí)的總損失：采取第2個(gè)行動(dòng)時(shí)的總損失：舉例：貝葉斯決策算法在兩類問(wèn)題中的決策。定義，是在一個(gè)樣例50那么當(dāng)時(shí)，采取第1個(gè)行動(dòng)。即：比如對(duì)于上面的例子λ11=λ22=0。鱸魚(yú)ω1比鮭魚(yú)ω2貴。如果鱸魚(yú)ω1的罐頭里裝入了鮭魚(yú)ω2，那么客戶會(huì)很生氣；如果鮭魚(yú)ω2的罐頭里裝入了鱸魚(yú)ω1，那么客戶很難感到有損失。那么這個(gè)時(shí)候分類后采取的行動(dòng)就要偏向于便宜的鮭魚(yú)。因此設(shè)當(dāng)真正類別是鮭魚(yú)ω2的時(shí)候，將x歸類為鱸魚(yú)ω1(造成鱸魚(yú)ω1的罐頭里裝入了鮭魚(yú)ω2)的損失λ12=2，設(shè)當(dāng)真正類別是鱸魚(yú)ω1的時(shí)候，將x歸類為鮭魚(yú)ω2(造成鮭魚(yú)ω2的罐頭里裝入了鱸魚(yú)ω1)的損失λ21=0.2?？梢钥吹?，上面的公式變成了：那么當(dāng)時(shí)，采取第1個(gè)行動(dòng)。即：比如對(duì)于上面的例子λ11=51三判別函數(shù)在模式識(shí)別里，經(jīng)常用gi(x)來(lái)表示x屬于第i個(gè)類別的可能性。如果對(duì)于所有的j!=i都有：gi(x)>gj(x)，那么認(rèn)為x屬于第i個(gè)類別ωi。比如令gi(x)=-R(αi|x)。上面是一個(gè)不等式關(guān)系，如果不等式兩邊都乘以相同的正數(shù)，或加上相同的樹(shù)，或取自然對(duì)數(shù)。那么不等式的關(guān)系是不變的。因此不考慮損失時(shí)的貝葉斯判別函數(shù)：可以寫(xiě)成：三判別函數(shù)在模式識(shí)別里，經(jīng)常用gi(x)來(lái)表示x屬于第i個(gè)52四正態(tài)分布貝葉斯公式中的p(x|ωj)是條件概率，代表在類別為ωj時(shí)，x的概率。比如在ωj為鱸魚(yú)時(shí)，一個(gè)特定亮度x的概率。條件概率分布中常見(jiàn)的一個(gè)分布是高斯分布(正態(tài)分布)。正態(tài)分布是最重要的一種概率分布。正態(tài)分布概念是由德國(guó)的數(shù)學(xué)家和天文學(xué)家Moivre于1733年首次提出的，但由于德國(guó)數(shù)學(xué)家Gauss(CarlFriedrichGauss，1777—1855)率先將其應(yīng)用于天文學(xué)家研究，故正態(tài)分布又叫高斯分布。四正態(tài)分布貝葉斯公式中的p(x|ωj)是條件概率，代表在類53高斯分布的形狀是鐘形曲線。高斯分布的形狀是鐘形曲線。54很多隨機(jī)變量的概率分布都可以近似地用正態(tài)分布來(lái)描述。例如：同一種生物體的身長(zhǎng)、體重等指標(biāo)；百度高個(gè)吧投票的身高分布：很多隨機(jī)變量的概率分布都可以近似地用正態(tài)分布來(lái)描述。例如：55在生產(chǎn)條件不變的情況下，產(chǎn)品的強(qiáng)力、抗壓強(qiáng)度、口徑、長(zhǎng)度等指標(biāo)；同一種種子的重量；測(cè)量同一物體的誤差；某個(gè)地區(qū)的年降水量；學(xué)生的智力水平，包括學(xué)習(xí)能力，實(shí)際動(dòng)手能力等呈正態(tài)分布。在生產(chǎn)條件不變的情況下，產(chǎn)品的強(qiáng)力、抗壓強(qiáng)度、口徑、長(zhǎng)度等指56單變量正態(tài)分布的

概率密度函數(shù)：其中μ是均值，σ是標(biāo)準(zhǔn)差。均值就是所有數(shù)的平均數(shù)，就是把所有數(shù)都加起來(lái)再除以個(gè)數(shù)σ2方差就是把每個(gè)數(shù)減去它們的平均數(shù)再平方，把這些平方加起來(lái)再除以個(gè)數(shù)。方差表示統(tǒng)計(jì)數(shù)據(jù)的離散程度。經(jīng)?？梢园焉厦娴墓胶?jiǎn)寫(xiě)成：p(x)~N(μ,σ2)。單變量正態(tài)分布的

概率密度函數(shù)：其中μ是均值，σ是標(biāo)準(zhǔn)差。57多變量正態(tài)分布的

概率密度函數(shù)：其中μ是d維平均向量。Σ是d*d的協(xié)方差矩陣。|Σ|是它的行列式，Σ-