關(guān)于最大可能性估計(jì)上節(jié)課內(nèi)容假定知道了先驗(yàn)概率p(ωi)和類條件概率密度p(x|ωi)。這節(jié)課介紹的內(nèi)容是：在知道類條件概率密度服從某種分布的前提下，估算該分布的參數(shù)。比如在知道類條件概率密度服從正態(tài)分布的前提下，估算正態(tài)分布的參數(shù)μ和Σ。第2頁,共15頁，2024年2月25日，星期天一基本原理設(shè)：有c個(gè)類別。每一個(gè)類別有一些屬于這個(gè)類別的訓(xùn)練樣例：D1,…,Dc。第j個(gè)類別的參數(shù)向量(比如均值，方差)表示為θj。一個(gè)類別的參數(shù)向量只與屬于這個(gè)類別的訓(xùn)練樣例有關(guān)，而與其它類別的訓(xùn)練樣例無關(guān)。問題：怎么使用每個(gè)類別的訓(xùn)練樣例Di來估算這個(gè)類別的參數(shù)向量θi。第3頁,共15頁，2024年2月25日，星期天下面分別使用每個(gè)訓(xùn)練樣例Di來估算這個(gè)類別的參數(shù)向量θi。每個(gè)類別的參數(shù)向量的求解方式都是一樣的。下面就忽略i。第4頁,共15頁，2024年2月25日，星期天設(shè)樣例集合D里面有n個(gè)訓(xùn)練樣例，x1,…,xn。設(shè)這些樣例抽取的時(shí)候是獨(dú)立的，那么這么多樣例一起出現(xiàn)的概率可以寫成：因?yàn)槟壳斑@個(gè)類別的參數(shù)向量θ還沒有確定，所以在參數(shù)向量是θ的情況下，這些樣例一起出現(xiàn)的概率是：第5頁,共15頁，2024年2月25日，星期天使得p(D|θ)取最大值的θ值就是最合理的θ值。這就轉(zhuǎn)換成了一個(gè)求極值的問題。求p(D|θ)的極值點(diǎn)，等價(jià)于求它的自然對(duì)數(shù)lnp(D|θ)的極值點(diǎn)，等價(jià)于對(duì)lnp(D|θ)的梯度等于0的點(diǎn)：第6頁,共15頁，2024年2月25日，星期天gradθ[f(θ)]，相當(dāng)于使用θ的每個(gè)分量對(duì)f(θ)求偏導(dǎo)，然后組合成一個(gè)向量。第7頁,共15頁，2024年2月25日，星期天二求正態(tài)分布的參數(shù)μ假定知道當(dāng)前類別中的樣例服從正態(tài)分布，但是不知道正態(tài)分布的參數(shù)μ。單變量正態(tài)分布的概率密度函數(shù)：多變量正態(tài)分布的概率密度函數(shù)：第8頁,共15頁，2024年2月25日，星期天前面求最合理的θ值的公式：p(xk|θ)就是正態(tài)分布的概率密度函數(shù)。因此進(jìn)行公式帶入：第9頁,共15頁，2024年2月25日，星期天第10頁,共15頁，2024年2月25日，星期天三求正態(tài)分布的參數(shù)μ和Σ假定知道當(dāng)前類別中的樣例服從正態(tài)分布，但是不知道正態(tài)分布的參數(shù)μ和Σ。第11頁,共15頁，2024年2月25日，星期天單變量正態(tài)分布

此時(shí)θ=(μ,σ2)第12頁,共15頁，2024年2月25日，星期天多變量正態(tài)分布

此時(shí)θ=(μ,Σ)第13頁,共15頁，2024年2月25日，星期天四偏差上面使用n個(gè)(有限個(gè))樣本估算出來的方差經(jīng)常會(huì)有偏差，總是發(fā)現(xiàn)估算的值小了：因此使用n個(gè)(有限個(gè))樣本估算方差的時(shí)候：第14頁,共15頁，2