基于參數(shù)估計的分類方法演示文稿現(xiàn)在是1頁\一共有80頁\編輯于星期五優(yōu)選基于參數(shù)估計的分類方法現(xiàn)在是2頁\一共有80頁\編輯于星期五基本問題如果完全知道類先驗概率和類條件概率，就可以利用它們來設(shè)計最優(yōu)分類器。如果只是知道類先驗概率和各類的一些樣本，但僅僅知道類條件概率的數(shù)學形式，那么應(yīng)該如何設(shè)計最優(yōu)分類器？返回現(xiàn)在是3頁\一共有80頁\編輯于星期五基本問題的數(shù)學描述先驗概率：P(i),i=1,2,…,c已知樣本的描述類條件概率密度的描述關(guān)鍵問題的描述返回現(xiàn)在是4頁\一共有80頁\編輯于星期五已知樣本的描述把已知樣本按照類別分成c組，分別記為：

D1，D2，…，Dc

其中Dj的樣本都屬于j類，且都獨立地從類條件概率分布p(X|j)中抽取。返回現(xiàn)在是5頁\一共有80頁\編輯于星期五類條件概率密度的描述類條件概率密度p(X|j)的數(shù)學形式已經(jīng)知道，用p(X|j,j)或p(X|j)表示，其中j是未知參數(shù)集。樣本集Di不包含關(guān)于j(ji)的信息，也就是說不同類的參數(shù)集是無關(guān)的。返回現(xiàn)在是6頁\一共有80頁\編輯于星期五關(guān)鍵問題的描述關(guān)鍵問題是利用每個類的樣本集Dj去估計p(X|j,j)或p(X|j)中的參數(shù)集j。每個參數(shù)集j的估計可以獨立進行。在估計j后，就可以在結(jié)合類先驗概率和類條件概率的基礎(chǔ)上利用最小錯誤率貝葉斯決策等方法來設(shè)計最優(yōu)分類器。返回現(xiàn)在是7頁\一共有80頁\編輯于星期五極大似然估計似然函數(shù)的定義對數(shù)似然函數(shù)的定義極大似然估計的基本思想極大似然估計的求解方法極大似然估計的求解舉例返回現(xiàn)在是8頁\一共有80頁\編輯于星期五似然函數(shù)的定義設(shè)某類的條件概率密度記為p(X|)，樣本集D包含該類n個獨立抽取的樣本：

D={X1,X2,…,Xn}在樣本集D下關(guān)于的似然函數(shù)定義為：返回現(xiàn)在是9頁\一共有80頁\編輯于星期五一維正態(tài)樣本集舉例圖中樣本都服從一個方差已知，而均值未知的一維正態(tài)分布。虛線表示4種可能的分布。返回現(xiàn)在是10頁\一共有80頁\編輯于星期五似然函數(shù)示意圖表示使得似然函數(shù)取最大值的點。返回現(xiàn)在是11頁\一共有80頁\編輯于星期五對數(shù)似然函數(shù)的定義在樣本集D下關(guān)于的對數(shù)似然函數(shù)l()定義為：返回現(xiàn)在是12頁\一共有80頁\編輯于星期五對數(shù)似然函數(shù)示意圖表示使得對數(shù)似然函數(shù)取最大值的點。返回現(xiàn)在是13頁\一共有80頁\編輯于星期五極大似然估計的基本思想如果在一次觀察中某事件出現(xiàn)，那么可以認為該事件出現(xiàn)的可能性很大。所以，問題轉(zhuǎn)化為求p(D|)的極大值。將看作確定的參數(shù)，使p(D|)達到極大值的就是它的極大似然估計。求p(D|)的極大值等價于求l()=lnp(D|)的極大值。返回現(xiàn)在是14頁\一共有80頁\編輯于星期五極大似然估計的求解方法設(shè)有r個分量：定義梯度算子：極大似然估計

其中是下面方程組的解：返回現(xiàn)在是15頁\一共有80頁\編輯于星期五極大似然估計的求解舉例正態(tài)分布：均值未知、方差已知一維正態(tài)分布：均值和方差均未知多維正態(tài)分布：均值和方差均未知返回現(xiàn)在是16頁\一共有80頁\編輯于星期五正態(tài)分布：均值未知、方差已知設(shè)正態(tài)分布的均值為，方差為。極大似然估計返回現(xiàn)在是17頁\一共有80頁\編輯于星期五正態(tài)分布的概率密度均值未知、方差已知時的正態(tài)分布密度：返回現(xiàn)在是18頁\一共有80頁\編輯于星期五一維正態(tài)分布：均值和方差均未知設(shè)一維正態(tài)分布的均值為，方差為2令極大似然估計的條件及結(jié)果。返回現(xiàn)在是19頁\一共有80頁\編輯于星期五一維正態(tài)分布的概率密度均值和方差均未知的一維正態(tài)分布密度：返回現(xiàn)在是20頁\一共有80頁\編輯于星期五極大似然估計的條件由得：返回現(xiàn)在是21頁\一共有80頁\編輯于星期五極大似然估計的結(jié)果均值和方差2的極大似然估計為返回現(xiàn)在是22頁\一共有80頁\編輯于星期五多維正態(tài)分布：均值和方差均未知設(shè)多維正態(tài)分布的均值為，方差為。和的極大似然估計為：返回現(xiàn)在是23頁\一共有80頁\編輯于星期五多維正態(tài)分布的概率密度均值和方差均未知的多維正態(tài)分布密度：返回現(xiàn)在是24頁\一共有80頁\編輯于星期五貝葉斯估計貝葉斯估計的基本問題貝葉斯估計的基本思想貝葉斯估計的核心公式貝葉斯估計舉例貝葉斯學習返回現(xiàn)在是25頁\一共有80頁\編輯于星期五貝葉斯估計的基本問題利用樣本集D=D1…Dc估計后驗概率:p(i|X)p(i|X,D)

其中Di完全獨立地從p(i|X)中抽取，且返回現(xiàn)在是26頁\一共有80頁\編輯于星期五貝葉斯估計的基本思想將類條件概率p(X|i,i)或p(X|i)中未知參數(shù)集i看作是隨機向量。假定已知i的分布p(i)。關(guān)鍵在于利用上述條件估計：

p(X|Di)=p(X|i,Di)返回現(xiàn)在是27頁\一共有80頁\編輯于星期五貝葉斯估計的核心公式已知從類獨立抽取的樣本集D，則：其中（試證明）返回現(xiàn)在是28頁\一共有80頁\編輯于星期五證明由于測試樣本X和訓練樣本集D是獨立選取的，所以，從而返回現(xiàn)在是29頁\一共有80頁\編輯于星期五貝葉斯估計舉例一維情況多維情況返回現(xiàn)在是30頁\一共有80頁\編輯于星期五一維情況前提條件計算p(|D)計算p(x|D)返回現(xiàn)在是31頁\一共有80頁\編輯于星期五前提條件假定總體概率密度是正態(tài)的，即：其中均值是未知參數(shù)，方差2是已知的。假設(shè)是隨機變量，服從正態(tài)分布，即其中0和0都是已知的。返回現(xiàn)在是32頁\一共有80頁\編輯于星期五計算p(|D)基本公式中間結(jié)果最終結(jié)果一個特例返回現(xiàn)在是33頁\一共有80頁\編輯于星期五基本公式p(|D)可以利用下面的基本公式計算：返回現(xiàn)在是34頁\一共有80頁\編輯于星期五中間結(jié)果將正態(tài)密度代入整理得：返回現(xiàn)在是35頁\一共有80頁\編輯于星期五最終結(jié)果p(|D)仍是一個正態(tài)密度函數(shù)，即：其中返回現(xiàn)在是36頁\一共有80頁\編輯于星期五p(|D)的數(shù)學形式n表示在觀察到一組樣本后，對的最好推斷，n反映了該推斷的不確定性。因隨n單調(diào)減小并趨于零，故增加樣本可減少對的推斷不確定性。當n增加時，p(|D)的峰會變得越來越突起，并逐步趨向狄拉克函數(shù)。返回現(xiàn)在是37頁\一共有80頁\編輯于星期五一個特例如果那么當方差2=1時，的貝葉斯估計為：估計方差為返回現(xiàn)在是38頁\一共有80頁\編輯于星期五計算p(x|D)基本公式最終結(jié)果返回現(xiàn)在是39頁\一共有80頁\編輯于星期五基本公式p(x|D)可以利用下面的基本公式計算：返回現(xiàn)在是40頁\一共有80頁\編輯于星期五最終結(jié)果p(x|D)仍是一個正態(tài)密度函數(shù)，即：其中返回現(xiàn)在是41頁\一共有80頁\編輯于星期五p(x|D)的數(shù)學形式其中返回現(xiàn)在是42頁\一共有80頁\編輯于星期五多維情況前提條件計算p(|D)計算p(X|D)返回現(xiàn)在是43頁\一共有80頁\編輯于星期五前提條件假定總體概率密度是正態(tài)的，即：其中未知，協(xié)方差陣已知。假設(shè)是隨機向量，服從正態(tài)分布，即其中0和0都是已知的。返回現(xiàn)在是44頁\一共有80頁\編輯于星期五計算p(|D)基本公式最終結(jié)果返回現(xiàn)在是45頁\一共有80頁\編輯于星期五基本公式p(|D)可以利用下面的基本公式計算：返回現(xiàn)在是46頁\一共有80頁\編輯于星期五最終結(jié)果p(|D)仍是一個正態(tài)密度函數(shù)，即：其中返回現(xiàn)在是47頁\一共有80頁\編輯于星期五p(|D)的數(shù)學形式n表示在觀察到一組樣本后，對的最好推斷，n反映了該推斷的不確定性。因|n|隨n單調(diào)減小并趨于零，故增加樣本可減少對的推斷不確定性。當n增加時，p(|D)的峰會變得越來越突起，并逐步趨向狄拉克函數(shù)。返回現(xiàn)在是48頁\一共有80頁\編輯于星期五計算p(X|D)基本公式輔助恒等式最終結(jié)果返回現(xiàn)在是49頁\一共有80頁\編輯于星期五基本公式p(X|D)可以利用下面的基本公式計算：返回現(xiàn)在是50頁\一共有80頁\編輯于星期五輔助恒等式為了簡化p(X|D)的計算結(jié)果，需要用到下面的輔助恒等式：（試證明）其中A和B是可逆同階方陣，且A+B可逆返回現(xiàn)在是51頁\一共有80頁\編輯于星期五證明同理:返回現(xiàn)在是52頁\一共有80頁\編輯于星期五最終結(jié)果p(X|D)仍是一個正態(tài)密度函數(shù)，即：其中返回現(xiàn)在是53頁\一共有80頁\編輯于星期五p(X|D)的數(shù)學形式返回現(xiàn)在是54頁\一共有80頁\編輯于星期五貝葉斯學習基本遞推公式遞歸學習過程貝葉斯學習示意圖貝葉斯學習舉例返回現(xiàn)在是55頁\一共有80頁\編輯于星期五基本遞推公式設(shè)Dn={X1,X2,…,Xn}，在n>0時有其中返回現(xiàn)在是56頁\一共有80頁\編輯于星期五遞歸學習過程利用基本遞推公式，能夠產(chǎn)生一系列的概率密度函數(shù)：這一過程稱為參數(shù)估計的遞歸貝葉斯方法，或貝葉斯學習過程。返回現(xiàn)在是57頁\一共有80頁\編輯于星期五貝葉斯學習示意圖一維正態(tài)分布均值的貝葉斯學習二維正態(tài)分布均值的貝葉斯學習返回現(xiàn)在是58頁\一共有80頁\編輯于星期五一維正態(tài)分布均值的貝葉斯學習每個估計曲線旁標有訓練樣本數(shù)。返回現(xiàn)在是59頁\一共有80頁\編輯于星期五二維正態(tài)分布均值的貝葉斯學習每個估計曲面旁標有訓練樣本數(shù)。返回現(xiàn)在是60頁\一共有80頁\編輯于星期五貝葉斯學習舉例設(shè)一維樣本服從均勻分布：其中知道010有界，但不知具體數(shù)值如果已有樣本集D={4,7,2,8},試分析貝葉斯學習過程，并與極大似然估計比較。返回現(xiàn)在是61頁\一共有80頁\編輯于星期五貝葉斯學習過程沒有樣本到達前，p(|D0)=p()=U(0,10)第一個樣本x1=4到達后:第二個樣本x2=7到達后:第n個樣本xn到達后:示意圖，返回現(xiàn)在是62頁\一共有80頁\編輯于星期五貝葉斯學習過程示意圖返回現(xiàn)在是63頁\一共有80頁\編輯于星期五與極大似然估計比較用極大似然估計得(為什么？)：比較示意圖返回現(xiàn)在是64頁\一共有80頁\編輯于星期五為什么當時，似然函數(shù)為當時，似然函數(shù)為所以極大似然估計為返回現(xiàn)在是65頁\一共有80頁\編輯于星期五比較示意圖返回現(xiàn)在是66頁\一共有80頁\編輯于星期五期望最大化算法丟失特征下的最小錯誤率分類期望最大化算法的基本問題期望最大化算法的基本思想期望最大化算法的基本步驟期望最大化算法舉例返回現(xiàn)在是67頁\一共有80頁\編輯于星期五丟失特征下的最小錯誤率分類前提條件完好后驗概率的計算基于完好后驗概率的判別準則返回現(xiàn)在是68頁\一共有80頁\編輯于星期五前提條件樣本由兩種特征構(gòu)成，即:

X=[Xg,Xb]

其中Xg表示已知或完好特征，Xb表示未知或丟失特征。已知后驗概率密度或判別函數(shù):gi(X)=gi(Xg,Xb)=p(i|X)=p(i|Xg,Xb)返回現(xiàn)在是69頁\一共有80頁\編輯于星期五完好后驗概率的計算完好特征的后驗概率可用下式計算：P(i|Xg)稱為完好后驗概率。返回現(xiàn)在是70頁\一共有80頁\編輯于星期五基于完好后驗概率的判別準則在存在丟失特征的情況下，應(yīng)采用下面的判別準則進行分類：如果，那么決策。返回現(xiàn)在是71頁\一共有80頁\編輯于星期五期望最大化算法的基本問題在丟失特征下進行最小錯誤率分類，需要用到后驗概率密度p(i|X)，p(i|X)可以利用類條件概率密度p(X|i)來計算。如果在已知樣本集D={X1,X2,…,Xn}中存在丟失特征，即Xk=[Xkg,Xkb]，那么在已知p(X|)的數(shù)學形式p(X|,)或p(X|)時應(yīng)如何估計其中的參數(shù)向量？返回現(xiàn)在是72頁\一共有80頁\編輯于星期五期望最大化算法的基本思想將全部特征D表示為D=DgDb：Dg稱為完好特征集，Db稱為丟失特征集。構(gòu)造輔助函