1、2020/7/27,模式識別 Pattern Recognition,許建華 南京師范大學(xué)計算機學(xué)院 2009年秋季,2020/7/27,第3章 概率密度函數(shù)的估計,3.1 引言 3.2 參數(shù)估計的基本概念 3.3 最大似然估計與正態(tài)分布的參數(shù)估計 3.4 Bayes估計與正態(tài)分布參數(shù)的估計 3.5 總體分布的非參數(shù)估計 3.6 分類器錯誤率的估計問題,2020/7/27,3.1 引言,在貝葉斯決策理論中，基本的已知條件是： 類先驗概率 P(i) 類條件概率密度 p(x |i ) 疑問： 它們從何而來？,2020/7/27,面臨的實際情況是： 對于一個具體問題，我們只有有限數(shù)目的樣本（所屬類別

2、有可能還是未知的）,2020/7/27,有限的樣本數(shù)據(jù),Bayes決策需要P(i) 、 p(x |i ),估計出 P(i) 、 p(x |i ),2020/7/27,分類器的設(shè)計分成兩步來完成：,1 利用樣本集估計出P(i) 、 p(x |i )（本章要解決的基本問題） 2 利用Bayes決策理論設(shè)計分類器（前一章已經(jīng)解決的問題）,2020/7/27,本章要解決的三個問題,如何用樣本集估計出P(i) 、 p(x |i )的估計量 評估與分析估計量的性質(zhì) 利用樣本集估計分類器錯誤率的方法,2020/7/27,從樣本集推斷總體概率分布的方法,估計方法,參數(shù)估計,非參數(shù)估計,監(jiān)督參數(shù)估計,非監(jiān)督參數(shù)

3、估計,2020/7/27,說明：,監(jiān)督：樣本的類別是已知的 非監(jiān)督：樣本的類別是未知的 參數(shù)估計：概率密度形式已知，只需推斷出其中的未知參數(shù) 非參數(shù)估計：直接推斷出概率密度本身,2020/7/27,監(jiān)督參數(shù)估計,條件：已知樣本所屬的類別及類條件總體概率密度函數(shù)的形式，未知概率密度函數(shù)的某些參數(shù) 監(jiān)督參數(shù)估計：從已知類別的樣本集，推斷（估計）出總體分布（每一類概率密度函數(shù)）的某些參數(shù)的方法 例如：從樣本求正態(tài)分布的均值向量與協(xié)方差矩陣,2020/7/27,非監(jiān)督參數(shù)估計,條件：未知樣本所屬類別，已知總體概率密度函數(shù)形式，但未知其中的某些參數(shù) 非監(jiān)督參數(shù)估計：推斷（估計）出總體概率密度函數(shù)中的某些

4、參數(shù)的方法,2020/7/27,非參數(shù)估計,條件：已知樣本所屬類別，但未知總體概率密度函數(shù)的形式 非參數(shù)估計：從已知類別的樣本數(shù)據(jù)中，直接推斷出概率密度函數(shù)本身,2020/7/27,2020/7/27,估計方法的數(shù)學(xué)原理：,參數(shù)估計的數(shù)學(xué)原理： 最大似然估計方法與Bayes估計方法 非參數(shù)估計的數(shù)學(xué)原理： Parzen窗法與 kN 近鄰法,2020/7/27,本章講解的重點內(nèi)容：,1 監(jiān)督參數(shù)估計（估計類條件概率密度的參數(shù)） 2 非參數(shù)估計（估計類條件概率密度本身） 3 分類器錯誤率的實驗估計方法,2020/7/27,1 統(tǒng)計量 2 參數(shù)空間 3 點估計、估計量（估計子）、估計值 4 區(qū)間估計

5、,3.2 參數(shù)估計的基本概念,2020/7/27,1 統(tǒng)計量,目的：樣本中包含著總體的信息，希望有一種數(shù)學(xué)手段將樣本集中的有關(guān)信息抽取出來 統(tǒng)計量：針對不同要求構(gòu)造出的關(guān)于樣本的某種函數(shù)，這種函數(shù)在統(tǒng)計學(xué)中稱為統(tǒng)計量,2020/7/27,2 參數(shù)空間,在參數(shù)估計中，已知總體概率密度函數(shù)的形式，未知分布中的若干參數(shù)（記為 ） 在統(tǒng)計學(xué)中，將總體分布未知參數(shù) 的全部可容許值組成的集合稱為參數(shù)空間，記為 （例如，n 維實數(shù)空間）,2020/7/27,3 點估計,點估計問題是利用樣本數(shù)據(jù)估計出總體分布參數(shù)的值 估計量（估計子）：構(gòu)造一個統(tǒng)計量d(x1,xN) 作為參數(shù) 的估計 ，在統(tǒng)計學(xué)中稱 為 的估

6、計量（估計子）,2020/7/27,估計值：對于屬于類別 i 的樣本觀察值，代入統(tǒng)計量 d(x1,xN) 得到第 i 類的的具體數(shù)值，這個數(shù)值在統(tǒng)計學(xué)中稱為 的估計值,2020/7/27,估計量的性能評估,估計量是隨機變量，不同的樣本有不同的估計值 無偏估計量：估計量的期望等于真實參數(shù),2020/7/27,漸近無偏估計量：當樣本數(shù)目趨于無窮時，估計量的期望等于真實參數(shù)值,2020/7/27,3.3 最大似然估計與正態(tài)分布的參數(shù)估計,3.3.1 最大似然估計的基本理論 3.3.2 正態(tài)分布參數(shù)的最大似然估計值 3.3.3 用身高、體重區(qū)分男女生的例子,2020/7/27,假設(shè)條件： 待估計參數(shù)

7、是確定性的未知量 按類別將樣本劃分 c 類，第 i 樣本都是從類概率密度 p(x |i ) 的總體中獨立地抽取出來的,3.3.1 最大似然估計的基本理論,2020/7/27,類條件概率密度 p(x |i ) 的函數(shù)形式是確定的，但是其中的某些參數(shù)是未知的 第 i 類的樣本不包含有關(guān) j (ij)的信息。不同類別的參數(shù)在函數(shù)上相互獨立，每一類樣本可以獨立進行處理,2020/7/27,在滿足四個假設(shè)條件下，可以將 c 類概率密度估計問題轉(zhuǎn)化為 c 個獨立的密度估計問題，分別單獨進行處理,記號：,待求的參數(shù)向量,待求的概率密度，并表示 有關(guān),2020/7/27,在統(tǒng)計學(xué)中似然函數(shù)的定義,N 個隨機變

8、量 x1,xN 的似然函數(shù)是 N 個隨機變量的聯(lián)合密度,這是 的函數(shù),2020/7/27,設(shè)某一類樣本集有 N 個樣本,它們是獨立地按照概率密度 p(x | ) 抽取出來的（獨立同分布樣本）,2020/7/27,似然函數(shù)為,含義：從總體中抽取 x1,xN 這樣 N 個樣本的概率（可能性）,2020/7/27,最大似然估計的主要思想：如果在一次觀察中一個事件出現(xiàn)了，則我們可以認為這一事件出現(xiàn)的可能性很大。現(xiàn)在，事件（x1,xN ）在一次觀察（從概率總體中抽取一組樣本）中居然出現(xiàn)了，則我們認為似然函數(shù) l() 應(yīng)該達到最大值,2020/7/27,最大似然估計量：設(shè) l() 是樣本集 X x1, ,

9、 xN 的似然函數(shù)，如果,是參數(shù)空間 中使似然函數(shù) l() 極大化的 值，則稱 是 的最大似然估計量（估計子）,2020/7/27,便于分析，可以取似然函數(shù)的對數(shù)，即,對數(shù)函數(shù)是單調(diào)增函數(shù)，H() 與 l() 的最大點相同,2020/7/27,求最大似然估計量的方法,如果H() 滿足一定數(shù)學(xué)性質(zhì)（連續(xù)可微），可以直接應(yīng)用高等數(shù)學(xué)的知識來求最大點，即求梯度（偏導(dǎo)數(shù)），令其等于零，解線性或者非線性方程組得到估計量,2020/7/27,設(shè),梯度算子,2020/7/27,從中求解出 的最大似然估計量,2020/7/27,說明：,1 有可能存在多個解,最大似然估計示意圖,2020/7/27,2 有可能求

10、不出正確的解（比如均勻分布）,均勻分布,N = 100 沒有極大值點,對數(shù)似然函數(shù),2020/7/27,兩者至少有一個為無窮大，顯然不合理,2020/7/27,最小的可能值,最大,2020/7/27,3.3.2 正態(tài)分布參數(shù)的最大似然估計值,單變量正態(tài)分布的概率密度函數(shù),要求的未知參數(shù)（均值與方差）,2020/7/27,我們已知 N 個一維樣本集,問題：利用最大似然估計法，針對上述樣本集，求出均值與方差的估計值,2020/7/27,2020/7/27,2020/7/27,最大似然估計量滿足的方程,2020/7/27,均值,方差,2020/7/27,對于多元正態(tài)分布的概率密度函數(shù),均值向量,協(xié)方

11、差矩陣,2020/7/27,解釋： 正態(tài)總體均值的最大似然估計量是學(xué)習(xí)樣本的算術(shù)平均 正態(tài)總體方差的最大似然估計量是 N 個矩陣 的算術(shù)平均,2020/7/27,性質(zhì)： 均值的估計是無偏的 協(xié)方差矩陣的估計是漸近無偏的,無偏估計,2020/7/27,3.3.3 用身高、體重區(qū)分男女生的例子,到現(xiàn)在為止，我們知道： Bayes決策理論 概率密度參數(shù)的最大似然估計 下面講一個簡單的應(yīng)用,2020/7/27,我們的任務(wù)可能是： 大學(xué)生男女同學(xué)在身高、體重方面的差別？ 大學(xué)生男女同學(xué)在身高、體重方面是否存在明顯的界限？ 用同學(xué)們的身高、體重來區(qū)分男女同學(xué)？,解決的方案：已講的分類方法來處理,2020/

12、7/27,模式識別系統(tǒng)的基本構(gòu)造,只考慮特征形成,2020/7/27,數(shù)據(jù)獲取： 給每一個同學(xué)發(fā)一張小紙條，要求同學(xué)將自己的身高(cm)、體重(kg)、性別(男、女）資料寫在上面，最后收集小紙條,2020/7/27,數(shù)據(jù)預(yù)處理： 檢查身高數(shù)據(jù)與單位、體重數(shù)據(jù)與單位是否有問題，如身高以 m 為單位，體重以斤為單位，如有則統(tǒng)一改成 cm 和 kg 是否有野值數(shù)據(jù)，如，身高 200 cm 體重100 kg,2020/7/27,特征形成： 每一個同學(xué)有三個數(shù)據(jù)： 性別（類別標識） 身高（第一個特征） 體重（第二個特征）,+1 170 65 +1 175 70 -1 160 50 -1 155 45 .,2020/7/27,收集整理的樣本構(gòu)成兩個樣本集，各包含50個男女同學(xué)的數(shù)據(jù)： 樣本集1（50個男生、50個女生）：作為訓(xùn)練樣本集 樣本集2（50個男生、50個女生）：作為測試樣本集,2020/7/27,樣本集1,樣本集2,男,女,2020/7/27,Byes分類器設(shè)計,假設(shè)男女生樣本分別滿足各自的正態(tài)分布，針對樣本集1，利用最大似然估計方法分別求出男女生的均值向量和協(xié)方差矩陣,2020/7/27,男生：均值向量和協(xié)方差矩陣,202