第3章概率密度函數(shù)估計

3.1引言3.2參數(shù)估計的基本概念3.3最大似然估計3.4貝葉斯估計與貝葉斯學習3.5

兩種估計方法的比較3.6錯誤率的估計問題3.7討論1第3章關于概率密度函數(shù)估計2第3章概率密度函數(shù)估計3.1引言

3第3章概率密度函數(shù)估計3.1引言

4第3章概率密度函數(shù)估計3.1引言

5第3章概率密度函數(shù)估計3.1引言本章的主要討論三個問題:

6第3章概率密度函數(shù)估計7第3章概率密度函數(shù)估計8第3章概率密度函數(shù)估計9第3章概率密度函數(shù)估計3.1引言從樣本集推出總體概率分布的方法:

10第3章概率密度函數(shù)估計11第3章概率密度函數(shù)估計3.1引言從樣本集推出總體概率分布的方法:

12第3章概率密度函數(shù)估計3.2參數(shù)估計的基本概念

13第3章概率密度函數(shù)估計3.2參數(shù)估計的基本概念

14概率密度函數(shù)估計-引言參數(shù)估計的基本概念:15概率密度函數(shù)估計-引言參數(shù)估計的基本概念:163.2.1最大似然估計173.2.1最大似然估計183.2.1最大似然估計193.2.1最大似然估計203.2.1最大似然估計213.2.1最大似然估計223.2.1最大似然估計233.2.1最大似然估計243.2.1最大似然估計253.2.1最大似然估計263.2.1最大似然估計273.2.1最大似然估計283.2.1最大似然估計293.2.1最大似然估計303.2.1最大似然估計313.2.1最大似然估計323.2.1最大似然估計333.2.1最大似然估計343.2.2正態(tài)分布下的最大似然估計353.2.2正態(tài)分布下的最大似然估計363.2.2正態(tài)分布下的最大似然估計373.2.2正態(tài)分布下的最大似然估計383.2.2正態(tài)分布下的最大似然估計393.2.2正態(tài)分布下的最大似然估計403.2.2正態(tài)分布下的最大似然估計413.2.2正態(tài)分布下的最大似然估計423.2.2正態(tài)分布下的最大似然估計433.2.2正態(tài)分布下的最大似然估計443.2.2正態(tài)分布下的最大似然估計453.2.貝葉斯估計和貝葉斯學習463.2.貝葉斯估計和貝葉斯學習473.2.貝葉斯估計和貝葉斯學習483.2.貝葉斯估計和貝葉斯學習493.2.貝葉斯估計和貝葉斯學習503.2.貝葉斯估計和貝葉斯學習513.2.貝葉斯估計和貝葉斯學習523.2.貝葉斯估計和貝葉斯學習533.2.貝葉斯估計和貝葉斯學習543.2.貝葉斯估計和貝葉斯學習553.2.貝葉斯估計和貝葉斯學習563.2.貝葉斯估計和貝葉斯學習573.2.貝葉斯估計和貝葉斯學習583.2.貝葉斯估計和貝葉斯學習593.2.貝葉斯估計和貝葉斯學習603.2.貝葉斯估計和貝葉斯學習61第3章概率密度函數(shù)估計3.2.貝葉斯估計和貝葉斯學習62第3章概率密度函數(shù)估計3.2.貝葉斯估計和貝葉斯學習63第3章概率密度函數(shù)估計3.2.貝葉斯估計和貝葉斯學習64第3章概率密度函數(shù)估計3.2.貝葉斯估計和貝葉斯學習653.2.貝葉斯估計和貝葉斯學習663.2.貝葉斯估計和貝葉斯學習673.2.貝葉斯估計和貝葉斯學習683.2.貝葉斯估計和貝葉斯學習693.2.貝葉斯估計和貝葉斯學習703.2.貝葉斯估計和貝葉斯學習713.2.貝葉斯估計和貝葉斯學習723.2.貝葉斯估計和貝葉斯學習733.2.貝葉斯估計和貝葉斯學習743.2.貝葉斯估計和貝葉斯學習75第3章概率密度函數(shù)估計最大似然估計、貝葉斯估計和貝葉斯學習之間的關系76第3章概率密度函數(shù)估計最大似然估計、貝葉斯估計和貝葉斯學習之間的關系77第3章概率密度函數(shù)估計3.2貝葉斯估計和貝葉斯學習最大似然估計、貝葉斯估計和貝葉斯學習之間的關系783.3正態(tài)分布的監(jiān)督參數(shù)估計3.3.1最大似然估計示例793.3正態(tài)分布的監(jiān)督參數(shù)估計3.3.1最大似然估計示例803.3正態(tài)分布的監(jiān)督參數(shù)估計3.3.1最大似然估計示例813.3正態(tài)分布的監(jiān)督參數(shù)估計3.3.1最大似然估計示例823.3正態(tài)分布的監(jiān)督參數(shù)估計3.3.1最大似然估計示例833.3正態(tài)分布的監(jiān)督參數(shù)估計3.3.2貝葉斯估計和貝葉斯學習示例843.3正態(tài)分布的監(jiān)督參數(shù)估計3.3.2貝葉斯估計和貝葉斯學習示例853.3正態(tài)分布的監(jiān)督參數(shù)估計3.3.2貝葉斯估計和貝葉斯學習示例863.3.2貝葉斯估計和貝葉斯學習示例873.3.2貝葉斯估計和貝葉斯學習示例883.3.2貝葉斯估計和貝葉斯學習示例893.3正態(tài)分布的監(jiān)督參數(shù)估計3.3.2貝葉斯估計和貝葉斯學習示例903.3正態(tài)分布的監(jiān)督參數(shù)估計3.3.2貝葉斯估計和貝葉斯學習示例913.3正態(tài)分布的監(jiān)督參數(shù)估計3.3.2貝葉斯估計和貝葉斯學習示例923.3正態(tài)分布的監(jiān)督參數(shù)估計3.3.2貝葉斯估計和貝葉斯學習示例933.3正態(tài)分布的監(jiān)督參數(shù)估計3.3.2貝葉斯估計和貝葉斯學習示例943.3正態(tài)分布的監(jiān)督參數(shù)估計3.3.2貝葉斯估計和貝葉斯學習示例953.3正態(tài)分布的監(jiān)督參數(shù)估計3.3.2貝葉斯估計和貝葉斯學習示例963.3正態(tài)分布的監(jiān)督參數(shù)估計3.3.2貝葉斯估計和貝葉斯學習示例973.3正態(tài)分布的監(jiān)督參數(shù)估計3.3.2貝葉斯估計和貝葉斯學習示例983.3正態(tài)分布的監(jiān)督參數(shù)估計3.3.2貝葉斯估計和貝葉斯學習示例993.3正態(tài)分布的監(jiān)督參數(shù)估計3.3.2貝葉斯估計和貝葉斯學習示例100最大似然方法和貝葉斯方法比較總結101最大似然方法和貝葉斯方法比較總結102最大似然方法和貝葉斯方法比較總結103最大似然方法和貝葉斯方法比較總結1043.4非監(jiān)督參數(shù)估計1053.4.1非監(jiān)督最大似然估計中的幾個問題1063.4.1非監(jiān)督最大似然估計中的幾個問題1073.4.1非監(jiān)督最大似然估計中的幾個問題1083.4.1非監(jiān)督最大似然估計中的幾個問題1093.4.1非監(jiān)督最大似然估計中的幾個問題1103.4.1非監(jiān)督最大似然估計中的幾個問題1113.4.1非監(jiān)督最大似然估計中的幾個問題1123.4.1非監(jiān)督最大似然估計中的幾個問題1133.4.1非監(jiān)督最大似然估計中的幾個問題1143.4.1非監(jiān)督最大似然估計中的幾個問題1153.4.1非監(jiān)督最大似然估計中的幾個問題

1163.4.1非監(jiān)督最大似然估計中的幾個問題

117第3章概率密度函數(shù)估計3.4.1非監(jiān)督最大似然估計中的幾個問題見后頁的推導過程:118119第3章概率密度函數(shù)估計3.4.1非監(jiān)督最大似然估計中的幾個問題120第3章概率密度函數(shù)估計3.4.1非監(jiān)督最大似然估計中的幾個問題見后頁的推導過程:121122123第3章概率密度函數(shù)估計3.4.1非監(jiān)督最大似然估計中的幾個問題124第3章概率密度函數(shù)估計3.4.1非監(jiān)督最大似然估計中的幾個問題125第3章概率密度函數(shù)估計3.4.1非監(jiān)督最大似然估計中的幾個問題126第3章概率密度函數(shù)估計3.4.1非監(jiān)督最大似然估計中的幾個問題127第3章概率密度函數(shù)估計3.4.1非監(jiān)督最大似然估計中的幾個問題128第3章概率密度函數(shù)估計3.4.1非監(jiān)督最大似然估計中的幾個問題129第3章概率密度函數(shù)估計3.4.1非監(jiān)督最大似然估計中的幾個問題130第3章概率密度函數(shù)估計3.4.1非監(jiān)督最大似然估計中的幾個問題131第3章概率密度函數(shù)估計3.4.1非監(jiān)督最大似然估計中的幾個問題132第3章概率密度函數(shù)估計3.4.2正態(tài)分布下的非監(jiān)督參數(shù)估計133第3章概率密度函數(shù)估計3.4.2正態(tài)分布下的非監(jiān)督參數(shù)估計134第3章概率密度函數(shù)估計3.4.2正態(tài)分布下的非監(jiān)督參數(shù)估計135第3章概率密度函數(shù)估計3.4.2正態(tài)分布下的非監(jiān)督參數(shù)估計136第3章概率密度函數(shù)估計3.4.2正態(tài)分布下的非監(jiān)督參數(shù)估計137第3章概率密度函數(shù)估計3.4.2正態(tài)分布下的非監(jiān)督參數(shù)估計138第3章概率密度函數(shù)估計3.4.2正態(tài)分布下的非監(jiān)督參數(shù)估計139第3章概率密度函數(shù)估計3.4.2正態(tài)分布下的非監(jiān)督參數(shù)估計140第3章概率密度函數(shù)估計3.4.2正態(tài)分布下的非監(jiān)督參數(shù)估計141第3章概率密度函數(shù)估計3.4.2正態(tài)分布下的非監(jiān)督參數(shù)估計142第3章概率密度函數(shù)估計3.4.2正態(tài)分布下的非監(jiān)督參數(shù)估計143第3章概率密度函數(shù)估計3.4.2正態(tài)分布下的非監(jiān)督參數(shù)估計144第3章概率密度函數(shù)估計3.4.2正態(tài)分布下的非監(jiān)督參數(shù)估計145第3章概率密度函數(shù)估計3.4.2正態(tài)分布下的非監(jiān)督參數(shù)估計146第3章概率密度函數(shù)估計3.4.2正態(tài)分布下的非監(jiān)督參數(shù)估計147第3章概率密度函數(shù)估計3.5總體分布的非參數(shù)估計參數(shù)估計要求已知總體分布的形式。然而，很多實際問題并不知道總體分布形式，或總體分布不是一些通常遇到的典型分布，不能寫成某些參數(shù)的函數(shù)，在這樣情況下，設計貝葉斯分類器，仍然需要總體分布的知識，于是提出某些直接用樣本估計總體分布的方法，即估計分布的非參數(shù)法。148第3章概率密度函數(shù)估計3.5.1基本方法149第3章概率密度函數(shù)估計3.5.1基本方法150第3章概率密度函數(shù)估計3.5.1基本方法151第3章概率密度函數(shù)估計3.5.1基本方法152第3章概率密度函數(shù)估計3.5.1基本方法153第3章概率密度函數(shù)估計3.5.1基本方法154第3章概率密度函數(shù)估計3.5.1基本方法155第3章概率密度函數(shù)估計3.5.1基本方法156第3章概率密度函數(shù)估計3.5.1基本方法157第3章概率密度函數(shù)估計3.5.1基本方法158第3章概率密度函數(shù)估計3.5.1基本方法159第3章概率密度函數(shù)估計3.5.1基本方法160第3章概率密度函數(shù)估計3.5.1基本方法161第3章概率密度函數(shù)估計3.5.1基本方法162第3章概率密度函數(shù)估計3.5.1基本方法163第3章概率密度函數(shù)估計3.5.1基本方法164第3章概率密度函數(shù)估計3.5.2Parzen窗法165第3章概率密度函數(shù)估計3.5.2Parzen窗法166第3章概率密度函數(shù)估計3.5.2Parzen窗法167第3章概率密度函數(shù)估計3.5.2Parzen窗法168第3章概率密度函數(shù)估計3.5.2Parzen窗法169第3章概率密度函數(shù)估計3.5.2Parzen窗法170第3章概率密度函數(shù)估計3.5.2Parzen窗法171第3章概率密度函數(shù)估計3.5.2Parzen窗法172第3章概率密度函數(shù)估計3.5.2Parzen窗法173第3章概率密度函數(shù)估計3.5.2Parzen窗法174第3章概率密度函數(shù)估計3.5.2Parzen窗法175第3章概率密度函數(shù)估計3.5.2Parzen窗法176第3章概率密度函數(shù)估計3.5.2Parzen窗法177第3章概率密度函數(shù)估計3.5.2Parzen窗法178第3章概率密度函數(shù)估計3.5.2Parzen窗法179180第3章概率密度函數(shù)估計3.5.2Parzen窗法181第3章概率密度函數(shù)估計3.5.2Parzen窗法182第3章概率密度函數(shù)估計3.5.2Parzen窗法183184第3章概率密度函數(shù)估計3.5.2Parzen窗法185第3章概率密度函數(shù)估計3.5.2Parzen窗法186第3章概率密度函數(shù)估計3.5.3kN近鄰估計187第3章概率密度函數(shù)估計3.5.3kN近鄰估計188第3章概率密度函數(shù)估計3.5.3kN近鄰估計189第3章概率密度函數(shù)估計3.5.3kN近鄰估計190第3章概率密度函數(shù)估計3.5.3kN近鄰估計191第3章概率密度函數(shù)估計3.5.3kN近鄰估計192第3章概率密度函數(shù)估計3.5.3kN近鄰估計193第3章概率密度函數(shù)估計3.6關于分類器錯誤率的估計問題分類器錯誤率計算問題更多的是依賴于試驗,利用樣本來估計錯誤率。分為兩種情況:（1）對于已設計好的分類器，利用樣本來估計錯誤率。這種只用來估計分類器錯誤率的樣本集為檢驗（樣本）集或考試（樣本）集。（2）對于未設計的好的分類器，需要將樣本分成兩部分：設計集和檢驗集。分別用來設計分類器和估計錯誤率。用來估計分類器的樣本集為設計（樣本）集。194第3章概率密度函數(shù)估計3.6.1關于已設計好分類器時錯誤率的估計問題利用樣本來估計錯誤率，直觀上可以認為在N個考試樣本中錯分的樣本數(shù)越多，則錯誤率越大。因此可用錯分樣本數(shù)與總考試樣本數(shù)的比作為錯誤率的估計。需要進一步回答的問題：（1）這種估計是最好的估計嗎？（2）如果是，估計量的性質如何？（3）當考試樣本數(shù)增加時，估計結果有所改善嗎？表現(xiàn)在什么地方？195第3章概率密度函數(shù)估計3.6.1關于已設計好分類器時錯誤率的估計問題196第3章概率密度函數(shù)估計3.6.1關于已設計好分類器時錯誤率的估計問題197第3章概率密度函數(shù)估計3.6.1關于已設計好分類器時錯誤率的估計問題198第3章概率密度函數(shù)估計3.6.1關于已設計好分類器時錯誤率的估計問題199200第3章概率密度函數(shù)估計3.1引言

201202203204第3章概率密度函數(shù)估計3.2參數(shù)估計

205第3章概率密度函數(shù)估計3.2參數(shù)估計

206第3章概率密度函數(shù)估計3.2參數(shù)估計

207第3章概率密度函數(shù)估計3.2參數(shù)估計

208第3章概率密度函數(shù)估計3.2參數(shù)估計

209第3章概率密度函數(shù)估計3.2參數(shù)估計

210第3章概率密度函數(shù)估計3.2參數(shù)估計

211第3章概率密度函數(shù)估計3.2參數(shù)估計

212第3章概率密度函數(shù)估計3.2參數(shù)估計

213第3章概率密度函數(shù)估計3.2參數(shù)估計

214第3章概率密度函數(shù)估計3.2參數(shù)估計

215第3章概率密度函數(shù)估計3.2參數(shù)估計

216第3章概率密度函數(shù)估計3.2參數(shù)估計

217第3章概率密度函數(shù)估計3.2參數(shù)估計

218第3章概率密度函數(shù)估計3.2參數(shù)估計

219220221222223224225226第3章概率密度函數(shù)估計3.2參數(shù)估計