模式識(shí)別

PatternClassification

模式識(shí)別

PatternClassification

1第四章:參數(shù)估計(jì)統(tǒng)計(jì)決策法第四章:參數(shù)估計(jì)統(tǒng)計(jì)決策法2參數(shù)估計(jì)原理對(duì)于絕大多數(shù)的識(shí)別問題，類概率密度函數(shù)已知的條件并不成立，而通常只知類概率密度的函數(shù)形式，其參數(shù)未知。參數(shù)估計(jì)法即是利用學(xué)習(xí)樣本來估計(jì)類概率密度參數(shù)的方法。3AppliedPatternRecognitionCSE616參數(shù)估計(jì)原理3AppliedPatternRecogni參數(shù)估計(jì)參數(shù)估計(jì)法最大似然估計(jì)法Bayes估計(jì)法兩種方法原理不同，但結(jié)果是一致的！4AppliedPatternRecognitionCSE616參數(shù)估計(jì)參數(shù)估計(jì)法最大似然估計(jì)法Bayes估計(jì)法4Appli參數(shù)估計(jì)原理

最大似然估計(jì)法：將待估參數(shù)視為確定的未知量進(jìn)行估計(jì)Bayes估計(jì)法：將待估參數(shù)視為隨機(jī)變量進(jìn)行估計(jì)5AppliedPatternRecognitionCSE616參數(shù)估計(jì)原理5AppliedPatternRecogni最大似然估計(jì)法（ML）已知條件擁有一批已知類別的學(xué)習(xí)樣本，并知第j類的類概率密度的函數(shù)形式，參數(shù)未知。問題由學(xué)習(xí)樣本估計(jì)最佳參數(shù)。6AppliedPatternRecognitionCSE616最大似然估計(jì)法（ML）已知條件6AppliedPatter最大似然估計(jì)法解決方案7AppliedPatternRecognitionCSE616最大似然估計(jì)法解決方案7AppliedPatternRe最大似然估計(jì)法解決方案8AppliedPatternRecognitionCSE616最大似然估計(jì)法解決方案8AppliedPatternRe最大似然估計(jì)法設(shè)有6個(gè)學(xué)習(xí)樣本如下圖所示，樣本分布滿足正態(tài)分布，且方差已知，現(xiàn)需估計(jì)最佳的均值μ可以看出，μ取A和B對(duì)似然函數(shù)的影響由于μ取B是似然函數(shù)更大，參數(shù)B優(yōu)于AP(x/μ

)

x

ABμ=Bμ=A9AppliedPatternRecognitionCSE616最大似然估計(jì)法設(shè)有6個(gè)學(xué)習(xí)樣本如下圖所示，樣本分布滿足正態(tài)分最大似然估計(jì)法P(x/θ)10AppliedPatternRecognitionCSE616最大似然估計(jì)法P(x/θ)10AppliedPa最大似然估計(jì)法設(shè)有6個(gè)學(xué)習(xí)樣本如下圖所示，樣本分布滿足正態(tài)分布，且均值已知，現(xiàn)需估計(jì)最佳的方差σ可以看出，σ的變化對(duì)似然函數(shù)的影響P(x/σ)

x

σ1σ2參數(shù)σ1優(yōu)于σ211AppliedPatternRecognitionCSE616最大似然估計(jì)法設(shè)有6個(gè)學(xué)習(xí)樣本如下圖所示，樣本分布滿足正態(tài)分最大似然估計(jì)法如何尋求最優(yōu)參數(shù)？12AppliedPatternRecognitionCSE616最大似然估計(jì)法如何尋求最優(yōu)參數(shù)？12AppliedPatt解決方案用求極值的方法求最佳θ值

為計(jì)算方便，對(duì)似然函數(shù)求自然對(duì)數(shù):

最大似然估計(jì)法13AppliedPatternRecognitionCSE616解決方案最大似然估計(jì)法13AppliedPatternR最大似然估計(jì)法解決方案定義梯度算子▽為：14AppliedPatternRecognitionCSE616最大似然估計(jì)法解決方案14AppliedPatternR最大似然估計(jì)法解決方案則令：15AppliedPatternRecognitionCSE616最大似然估計(jì)法解決方案15AppliedPatternR最大似然估計(jì)法解決方案即：可得到r個(gè)關(guān)于參數(shù)θ的方程組，求解方程組，即可求得最佳估計(jì)值。16AppliedPatternRecognitionCSE616最大似然估計(jì)法解決方案16AppliedPatternR最大似然估計(jì)法例一：設(shè)樣本滿足一維正態(tài)分布，現(xiàn)已知n個(gè)學(xué)習(xí)樣本，試用最大似然估計(jì)法估計(jì)其均值μ和方差σ２。解：對(duì)于一維正態(tài)分布

待估參數(shù)為其中

17AppliedPatternRecognitionCSE616最大似然估計(jì)法例一：設(shè)樣本滿足一維正態(tài)分布，現(xiàn)已知n個(gè)學(xué)習(xí)樣最大似然估計(jì)法可記為:則似然函數(shù)為：18AppliedPatternRecognitionCSE616最大似然估計(jì)法可記為:18AppliedPatternR最大似然估計(jì)法令:即:19AppliedPatternRecognitionCSE616最大似然估計(jì)法令:19AppliedPatternRec最大似然估計(jì)法得:解得:20AppliedPatternRecognitionCSE616最大似然估計(jì)法得:20AppliedPatternRec最大似然估計(jì)法例二：設(shè)樣本滿足d維正態(tài)分布，其中協(xié)方差矩陣Σ已知，且已知n個(gè)學(xué)習(xí)樣本，試用最大似然估計(jì)法估計(jì)均值向量μ。21AppliedPatternRecognitionCSE616最大似然估計(jì)法例二：設(shè)樣本滿足d維正態(tài)分布，其中協(xié)方差矩陣Σ最大似然估計(jì)法解：樣本滿足正態(tài)分布，則似然函數(shù)22AppliedPatternRecognitionCSE616最大似然估計(jì)法解：22AppliedPatternRec最大似然估計(jì)法協(xié)方差矩陣已知，僅有一個(gè)待參數(shù)均值向量，即θ=μ令得：23AppliedPatternRecognitionCSE616最大似然估計(jì)法協(xié)方差矩陣已知，僅有一個(gè)待參數(shù)均值向量，即θ=最大似然估計(jì)法即：可得θ=μ的最佳估計(jì)值為：即最佳均值向量是n個(gè)學(xué)習(xí)樣本的重心（算數(shù)平均）。最佳估計(jì)值24AppliedPatternRecognitionCSE616最大似然估計(jì)法即：最佳估計(jì)值24AppliedP最大似然估計(jì)法例三:設(shè)為多維正態(tài)分布，現(xiàn)已知n個(gè)學(xué)習(xí)樣本，試用最大似然估計(jì)法估計(jì)和。

解:與前述方法相同，即：25AppliedPatternRecognitionCSE616最大似然估計(jì)法例三:設(shè)最大似然估計(jì)法似然函數(shù)令:26AppliedPatternRecognitionCSE616最大似然估計(jì)法似然函數(shù)26AppliedPatternR最大似然估計(jì)法得:27AppliedPatternRecognitionCSE616最大似然估計(jì)法得:27AppliedPatternRec最大似然估計(jì)法基于最大似然估計(jì)法的分類器設(shè)計(jì)確定樣本類概率密度函數(shù)形式確定待估參數(shù)根據(jù)學(xué)習(xí)樣本，用最大似然估計(jì)法估計(jì)概率密度函數(shù)的參數(shù)估計(jì)樣本先驗(yàn)概率用Bayes方法設(shè)計(jì)分類器28AppliedPatternRecognitionCSE616最大似然估計(jì)法基于最大似然估計(jì)法的分類器設(shè)計(jì)28ApplieBayes估計(jì)原理：

將待估參數(shù)視為具有某種先驗(yàn)分布的隨機(jī)變量，通過學(xué)習(xí)樣本的觀察，將先驗(yàn)分布轉(zhuǎn)換為后驗(yàn)概率，并以此來修正參數(shù)的估計(jì)值。29AppliedPatternRecognitionCSE616Bayes估計(jì)原理：29AppliedPatternReBayes估計(jì)實(shí)現(xiàn)過程將待估參數(shù)視為隨機(jī)變量，并由先驗(yàn)只是得到粗略分布

P(θ)θ30AppliedPatternRecognitionCSE616Bayes估計(jì)實(shí)現(xiàn)過程P(θ)θ30AppliedPattBayes估計(jì)

為已知函數(shù)形式的類概率密度，待估，且知n個(gè)學(xué)習(xí)樣本，記為，j為類別。由Bayes公式有：其中為的后驗(yàn)概率，表示在觀察了n個(gè)學(xué)習(xí)樣本后對(duì)的修正分布。31AppliedPatternRecognitionCSE616Bayes估計(jì)為已知函數(shù)形式Bayes估計(jì)則表示在參數(shù)為的條件下，n個(gè)樣本出現(xiàn)的概率。為待估隨機(jī)參數(shù)的先驗(yàn)概率分布。與無關(guān)，可用系數(shù)代替即：32AppliedPatternRecognitionCSE616Bayes估計(jì)則表示在參數(shù)Bayes估計(jì)顯然，由于n個(gè)學(xué)習(xí)樣本是獨(dú)立抽取的，則可得：觀察了n個(gè)樣本后θ的修正分布33AppliedPatternRecognitionCSE616Bayes估計(jì)顯然，由于n個(gè)學(xué)習(xí)樣本是獨(dú)立抽取的，則觀察了nBayes估計(jì)合理的估計(jì)方法是：在修正的分布中，使得取值最大的值即是的最佳估計(jì)值。34AppliedPatternRecognitionCSE616Bayes估計(jì)合理的估計(jì)方法是：在修正的分布Bayes估計(jì)P(θ/X(j))θθ0P(θ)θn35AppliedPatternRecognitionCSE616Bayes估計(jì)P(θ/X(j))θθ0P(θ)θn35AppBayes估計(jì)例：已知類概率密度為一維正態(tài)分布，其中方差已知，均值參數(shù)待估。試用Bayes估計(jì)法估計(jì)均值36AppliedPatternRecognitionCSE616Bayes估計(jì)例：已知類概率密度為一維正態(tài)分布，其中方差Bayes估計(jì)解：對(duì)一維正態(tài)分布P(x/μ)xμ37AppliedPatternRecognitionCSE616Bayes估計(jì)解：P(x/μ)xμ37AppliedPatBayes估計(jì)首先，將待估參數(shù)μ

視為隨機(jī)變量，并具有一定的初始分布。假設(shè)其具有正態(tài)分布：38AppliedPatternRecognitionCSE616Bayes估計(jì)首先，將待估參數(shù)μ視為隨機(jī)變量，并具有一定Bayes估計(jì)P(μ)μμ039AppliedPatternRecognitionCSE616Bayes估計(jì)P(μ)μμ039AppliedPatterBayes估計(jì)觀察了n個(gè)學(xué)習(xí)樣本后，μ的后驗(yàn)概率(修正分布)為：40AppliedPatternRecognitionCSE616Bayes估計(jì)觀察了n個(gè)學(xué)習(xí)樣本后，μ的后驗(yàn)概率(修正分布)Bayes估計(jì)可見：修正后μ的分布仍為正態(tài)分布！其均值為μn，方差為σn2其中：41AppliedPatternRecognitionCSE616Bayes估計(jì)可見：修正后μ的分布仍為正態(tài)分布！其均值為μnBayes估計(jì)即：

μn表示在觀察了一組樣本后，對(duì)μ的最好的推斷，而σn2則反映了這個(gè)推斷的不確定性!42AppliedPatternRecognitionCSE616Bayes估計(jì)即：42AppliedPatternRecBayes估計(jì)P(μ/X(j))μμ0P(μ)μn43AppliedPatternRecognitionCSE616Bayes估計(jì)P(μ/X(j))μμ0P(μ)μn43AppBayes估計(jì)待估的最佳均值μ=？答案：μ=μn44AppliedPatternRecognitionCSE616Bayes估計(jì)待估的最佳均值μ=？44AppliedPatBayes估計(jì)考慮樣本數(shù)對(duì)估計(jì)值的影響當(dāng)時(shí),,Bayes估計(jì)與最大似然估計(jì)的結(jié)果相同!

45AppliedPatternRecognitionCSE616Bayes估計(jì)考慮樣本數(shù)對(duì)估計(jì)值的影響45AppliedPBayes估計(jì)此時(shí),為δ函數(shù)。即隨著樣本數(shù)的增加，μ的初始分布p(μ)對(duì)μ的估計(jì)影響越來越小。反映了對(duì)參數(shù)μ估計(jì)的不確定性，當(dāng)時(shí)，46AppliedPatternRecognitionCSE616Bayes估計(jì)此時(shí),為Bayes估計(jì)47AppliedPatternRecognitionCSE616Bayes估計(jì)47AppliedPatternRecog演講完畢，謝謝觀看！演講完畢，謝謝觀看！48模式識(shí)別

PatternClassification

模式識(shí)別

PatternClassification

49第四章:參數(shù)估計(jì)統(tǒng)計(jì)決策法第四章:參數(shù)估計(jì)統(tǒng)計(jì)決策法50參數(shù)估計(jì)原理對(duì)于絕大多數(shù)的識(shí)別問題，類概率密度函數(shù)已知的條件并不成立，而通常只知類概率密度的函數(shù)形式，其參數(shù)未知。參數(shù)估計(jì)法即是利用學(xué)習(xí)樣本來估計(jì)類概率密度參數(shù)的方法。51AppliedPatternRecognitionCSE616參數(shù)估計(jì)原理3AppliedPatternRecogni參數(shù)估計(jì)參數(shù)估計(jì)法最大似然估計(jì)法Bayes估計(jì)法兩種方法原理不同，但結(jié)果是一致的！52AppliedPatternRecognitionCSE616參數(shù)估計(jì)參數(shù)估計(jì)法最大似然估計(jì)法Bayes估計(jì)法4Appli參數(shù)估計(jì)原理

最大似然估計(jì)法：將待估參數(shù)視為確定的未知量進(jìn)行估計(jì)Bayes估計(jì)法：將待估參數(shù)視為隨機(jī)變量進(jìn)行估計(jì)53AppliedPatternRecognitionCSE616參數(shù)估計(jì)原理5AppliedPatternRecogni最大似然估計(jì)法（ML）已知條件擁有一批已知類別的學(xué)習(xí)樣本，并知第j類的類概率密度的函數(shù)形式，參數(shù)未知。問題由學(xué)習(xí)樣本估計(jì)最佳參數(shù)。54AppliedPatternRecognitionCSE616最大似然估計(jì)法（ML）已知條件6AppliedPatter最大似然估計(jì)法解決方案55AppliedPatternRecognitionCSE616最大似然估計(jì)法解決方案7AppliedPatternRe最大似然估計(jì)法解決方案56AppliedPatternRecognitionCSE616最大似然估計(jì)法解決方案8AppliedPatternRe最大似然估計(jì)法設(shè)有6個(gè)學(xué)習(xí)樣本如下圖所示，樣本分布滿足正態(tài)分布，且方差已知，現(xiàn)需估計(jì)最佳的均值μ可以看出，μ取A和B對(duì)似然函數(shù)的影響由于μ取B是似然函數(shù)更大，參數(shù)B優(yōu)于AP(x/μ

)

x

ABμ=Bμ=A57AppliedPatternRecognitionCSE616最大似然估計(jì)法設(shè)有6個(gè)學(xué)習(xí)樣本如下圖所示，樣本分布滿足正態(tài)分最大似然估計(jì)法P(x/θ)58AppliedPatternRecognitionCSE616最大似然估計(jì)法P(x/θ)10AppliedPa最大似然估計(jì)法設(shè)有6個(gè)學(xué)習(xí)樣本如下圖所示，樣本分布滿足正態(tài)分布，且均值已知，現(xiàn)需估計(jì)最佳的方差σ可以看出，σ的變化對(duì)似然函數(shù)的影響P(x/σ)

x

σ1σ2參數(shù)σ1優(yōu)于σ259AppliedPatternRecognitionCSE616最大似然估計(jì)法設(shè)有6個(gè)學(xué)習(xí)樣本如下圖所示，樣本分布滿足正態(tài)分最大似然估計(jì)法如何尋求最優(yōu)參數(shù)？60AppliedPatternRecognitionCSE616最大似然估計(jì)法如何尋求最優(yōu)參數(shù)？12AppliedPatt解決方案用求極值的方法求最佳θ值

為計(jì)算方便，對(duì)似然函數(shù)求自然對(duì)數(shù):

最大似然估計(jì)法61AppliedPatternRecognitionCSE616解決方案最大似然估計(jì)法13AppliedPatternR最大似然估計(jì)法解決方案定義梯度算子▽為：62AppliedPatternRecognitionCSE616最大似然估計(jì)法解決方案14AppliedPatternR最大似然估計(jì)法解決方案則令：63AppliedPatternRecognitionCSE616最大似然估計(jì)法解決方案15AppliedPatternR最大似然估計(jì)法解決方案即：可得到r個(gè)關(guān)于參數(shù)θ的方程組，求解方程組，即可求得最佳估計(jì)值。64AppliedPatternRecognitionCSE616最大似然估計(jì)法解決方案16AppliedPatternR最大似然估計(jì)法例一：設(shè)樣本滿足一維正態(tài)分布，現(xiàn)已知n個(gè)學(xué)習(xí)樣本，試用最大似然估計(jì)法估計(jì)其均值μ和方差σ２。解：對(duì)于一維正態(tài)分布

待估參數(shù)為其中

65AppliedPatternRecognitionCSE616最大似然估計(jì)法例一：設(shè)樣本滿足一維正態(tài)分布，現(xiàn)已知n個(gè)學(xué)習(xí)樣最大似然估計(jì)法可記為:則似然函數(shù)為：66AppliedPatternRecognitionCSE616最大似然估計(jì)法可記為:18AppliedPatternR最大似然估計(jì)法令:即:67AppliedPatternRecognitionCSE616最大似然估計(jì)法令:19AppliedPatternRec最大似然估計(jì)法得:解得:68AppliedPatternRecognitionCSE616最大似然估計(jì)法得:20AppliedPatternRec最大似然估計(jì)法例二：設(shè)樣本滿足d維正態(tài)分布，其中協(xié)方差矩陣Σ已知，且已知n個(gè)學(xué)習(xí)樣本，試用最大似然估計(jì)法估計(jì)均值向量μ。69AppliedPatternRecognitionCSE616最大似然估計(jì)法例二：設(shè)樣本滿足d維正態(tài)分布，其中協(xié)方差矩陣Σ最大似然估計(jì)法解：樣本滿足正態(tài)分布，則似然函數(shù)70AppliedPatternRecognitionCSE616最大似然估計(jì)法解：22AppliedPatternRec最大似然估計(jì)法協(xié)方差矩陣已知，僅有一個(gè)待參數(shù)均值向量，即θ=μ令得：71AppliedPatternRecognitionCSE616最大似然估計(jì)法協(xié)方差矩陣已知，僅有一個(gè)待參數(shù)均值向量，即θ=最大似然估計(jì)法即：可得θ=μ的最佳估計(jì)值為：即最佳均值向量是n個(gè)學(xué)習(xí)樣本的重心（算數(shù)平均）。最佳估計(jì)值72AppliedPatternRecognitionCSE616最大似然估計(jì)法即：最佳估計(jì)值24AppliedP最大似然估計(jì)法例三:設(shè)為多維正態(tài)分布，現(xiàn)已知n個(gè)學(xué)習(xí)樣本，試用最大似然估計(jì)法估計(jì)和。

解:與前述方法相同，即：73AppliedPatternRecognitionCSE616最大似然估計(jì)法例三:設(shè)最大似然估計(jì)法似然函數(shù)令:74AppliedPatternRecognitionCSE616最大似然估計(jì)法似然函數(shù)26AppliedPatternR最大似然估計(jì)法得:75AppliedPatternRecognitionCSE616最大似然估計(jì)法得:27AppliedPatternRec最大似然估計(jì)法基于最大似然估計(jì)法的分類器設(shè)計(jì)確定樣本類概率密度函數(shù)形式確定待估參數(shù)根據(jù)學(xué)習(xí)樣本，用最大似然估計(jì)法估計(jì)概率密度函數(shù)的參數(shù)估計(jì)樣本先驗(yàn)概率用Bayes方法設(shè)計(jì)分類器76AppliedPatternRecognitionCSE616最大似然估計(jì)法基于最大似然估計(jì)法的分類器設(shè)計(jì)28ApplieBayes估計(jì)原理：

將待估參數(shù)視為具有某種先驗(yàn)分布的隨機(jī)變量，通過學(xué)習(xí)樣本的觀察，將先驗(yàn)分布轉(zhuǎn)換為后驗(yàn)概率，并以此來修正參數(shù)的估計(jì)值。77AppliedPatternRecognitionCSE616Bayes估計(jì)原理：29AppliedPatternReBayes估計(jì)實(shí)現(xiàn)過程將待估參數(shù)視為隨機(jī)變量，并由先驗(yàn)只是得到粗略分布

P(θ)θ78AppliedPatternRecognitionCSE616Bayes估計(jì)實(shí)現(xiàn)過程P(θ)θ30AppliedPattBayes估計(jì)

為已知函數(shù)形式的類概率密度，待估，且知n個(gè)學(xué)習(xí)樣本，記為，j為類別。由Bayes公式有：其中為的后驗(yàn)概率，表示在觀察了n個(gè)學(xué)習(xí)樣本后對(duì)的修正分布。79AppliedPatternRecognitionCSE616Bayes估計(jì)為已知函數(shù)形式Bayes估計(jì)則表示在參數(shù)為的條件下，n個(gè)樣本出現(xiàn)的概率。為待估隨機(jī)參數(shù)的先驗(yàn)概率分布。與無關(guān)，可用系數(shù)代替即：80AppliedPatternRecognitionCSE616Bayes估計(jì)則表示在參數(shù)Bayes估計(jì)顯然，由于n個(gè)學(xué)習(xí)樣本是獨(dú)立抽取的，則可得：觀察了n個(gè)樣本后θ的修正分布81AppliedPatternRecognitionCSE616Bayes估計(jì)顯然，由于n個(gè)學(xué)習(xí)樣本是獨(dú)立抽取的，則觀察了nBayes估計(jì)合理的估計(jì)方法是：在修正的分布中，使得取值最大的值即是的最佳估計(jì)值。82AppliedPatternRecognitionCSE616Bayes估計(jì)合理的估計(jì)方法是：在修正的分布Bayes估計(jì)P(θ/X(j))θθ0P(θ)θn83AppliedPatternRecognitionCSE616Bayes估計(jì)P(θ/X(j))θθ0P(θ)θn35AppBayes估計(jì)例：已知類概率密度為一維正態(tài)分布，其中方差已知，均值參數(shù)待估。試用Bayes估計(jì)法估計(jì)均值84AppliedPatternRecognitionCSE616Bayes估計(jì)例：已知類概率密度為一維正態(tài)分布，其中方差Bayes估計(jì)解：對(duì)一維正態(tài)分布P(x/μ)xμ85AppliedPatternRecognitionCSE616Bayes估計(jì)解：P(x/μ)xμ37AppliedPatBayes估計(jì)首先，將待估參數(shù)μ

視為隨機(jī)變量，并具有一定的初始分布。假設(shè)其具有正態(tài)分布：86A