Chp9：參數(shù)推斷主要內(nèi)容參數(shù)推斷的基本概念參數(shù)推斷的方法矩方法極大似然估計（MaximumLikelihoodEstimator,MLE）MLE的性質(zhì)1Chp9：參數(shù)推斷主要內(nèi)容1參數(shù)推斷假設(shè)已知模型的函數(shù)形式

其中為參數(shù)空間 目標(biāo)：估計參數(shù)，2參數(shù)推斷假設(shè)已知模型的函數(shù)形式，2例子一些流行的參數(shù)模型的例子：線性判別分別（LDA）(分類)混合高斯模型(密度估計)高斯噪聲模型(回歸)3例子一些流行的參數(shù)模型的例子：3參數(shù)估計假設(shè)有一類模型函數(shù)，如所有的高斯函數(shù)的集合，其參數(shù)參數(shù)空間為

。通常我們只對一些函數(shù)感興趣，如均值或均值的函數(shù)。因此為感興趣參數(shù)(parameterofinterest)，為冗余參量(nuisanceparameter)。有多種方法可用來估計模型的參數(shù)矩估計法極大似然估計：更流行貝葉斯方法4參數(shù)估計假設(shè)有一類模型函數(shù)，如所有的高斯函數(shù)的集合，其矩方法矩方法得到的估計雖然不是最優(yōu)的，但是很容易計算當(dāng)其他方法不可用時，可用矩方法可用作很多迭代算法的初始值基本思想：矩匹配對真正的矩和樣本矩進(jìn)行匹配5矩方法矩方法得到的估計雖然不是最優(yōu)的，但是很容易計算5矩方法

j階矩：j階樣本矩：

矩方法：取前k階矩真正的矩樣本矩6矩方法真正的矩樣本矩6例：Bernoulli分布令，一階矩一階樣本矩所以我們得到估計7例：Bernoulli分布令例：高斯分布令，參數(shù)為，一階矩一階樣本矩二階矩二階樣本矩所以

8例：高斯分布令極大似然估計（MLE）極大似然估計似然函數(shù)對似然函數(shù)求最大值極大似然估計的性質(zhì)9極大似然估計（MLE）極大似然估計9似然函數(shù)令為IID，其PDF為，似然函數(shù)定義為有時也記為或，表示似然函數(shù)為在給定x的情況下，參數(shù)θ的函數(shù)。似然函數(shù)在數(shù)值上是數(shù)據(jù)的聯(lián)合密度，但它是參數(shù)θ的函數(shù)，。因此似然函數(shù)通常不滿足密度函數(shù)的性質(zhì)，如它對θ的積分不必為1。10似然函數(shù)令為IID，其P似然的解釋若X是離散的，則。如果我們比較兩個參數(shù)θ1和θ2的似然值，如果則觀測到的樣本更可能發(fā)生在θ=θ1下，也就是說，相比θ2

，θ1是一個更可信的猜測。

對連續(xù)的X，但通常我們并不將似然解釋為參數(shù)θ的概率11似然的解釋若X是離散的，則極大似然估計極大似然估計（MLE）是使得最大的，即log似然函數(shù)定義為：，它和似然函數(shù)在相同的位置取極大值。同樣，相差常數(shù)倍也不影響似然函數(shù)取極大值的位置。因此似然函數(shù)中的常數(shù)項也可以拋棄。12極大似然估計極大似然估計（MLE）是使得例：Bernoulli分布令，則概率函數(shù)似然函數(shù)為其中所以解方程13例：Bernoulli分布令例：高斯分布令，參數(shù)為，似然函數(shù)（忽略常數(shù)項）為其中為樣本均值為樣本方差

因為14例：高斯分布令例：高斯分布log似然函數(shù)為解方程得到可以證明，這是似然函數(shù)的全局最大值。15例：高斯分布log似然函數(shù)為15對似然函數(shù)求最大值對似然函數(shù)求極值（求導(dǎo)）解析法（如上例中的高斯模型）數(shù)值計算：優(yōu)化算法如梯度下降法如EM算法（如下例中的混合高斯模型）需注意的問題：要找到似然函數(shù)的全局極大值一階導(dǎo)數(shù)為0只是必要條件，非充分條件而且一階導(dǎo)數(shù)為0只能找到函數(shù)定義域內(nèi)部的局部極值點。如在邊界上取極值，一階導(dǎo)數(shù)可能不為0。因此還必須檢驗邊界。16對似然函數(shù)求最大值對似然函數(shù)求極值（求導(dǎo)）16例：均勻分布令則概率函數(shù)考慮一個固定的

值，假設(shè)對于某一個i，有，則

因此令則所以遞減函數(shù)17例：均勻分布令遞減函數(shù)17混合高斯模型(GMM)

(MixtureofGaussiansModel)假設(shè)有K個成分每個成分從均值為、協(xié)方差矩陣為的高斯分布產(chǎn)生數(shù)據(jù)假設(shè)每個數(shù)據(jù)點根據(jù)如下規(guī)則產(chǎn)生：隨機選擇一個成分，選擇第k個成分的概率為從第k個成分產(chǎn)生數(shù)據(jù)：即18混合高斯模型(GMM)

(MixtureofGaussi混合高斯模型問題：給定IID數(shù)據(jù)，求參數(shù)MLE不能解析求得，因此我們通過數(shù)值計算（如EM算法）求解。將完整數(shù)據(jù)轉(zhuǎn)換為非完整數(shù)據(jù)/缺失數(shù)據(jù)，其中為所屬的類別。19混合高斯模型問題：給定IID數(shù)據(jù)EMEM用于混合模型參數(shù)推斷的具體過程請參見參考文獻(xiàn)和參考ppt再下次課上講述Matlab函數(shù)：ecmnmle

[Mean,Covariance]=ecmnmle(Data,InitMethod,MaxIterations,Tolerance,Mean0,Covar0)20EMEM用于混合模型參數(shù)推斷的具體過程請參見參考文獻(xiàn)和參考pEMforGMM第t次的估計為則第t+1次的估計為E步M步21EMforGMM第t次的估計為E步M步21EM總結(jié)總結(jié)EM會收斂到局部極值，但不保證收斂到全局最優(yōu)適合的情況 缺失數(shù)據(jù)不太多時數(shù)據(jù)維數(shù)不太高時（數(shù)據(jù)維數(shù)太高的話，E步的計算很費時）參考文獻(xiàn)JeffA.Bilme