1、極大似然估計(jì)與貝葉斯估計(jì)原理、區(qū)別及應(yīng)用1極大似然估計(jì)極大似然估計(jì)是以概率為基礎(chǔ)的，并不會(huì)考慮先驗(yàn)知識(shí)。其代表頻率派， 認(rèn)為參數(shù)是客觀存在的，只是未知而矣。因此，頻率派最關(guān)心是通過(guò)極大似 然函數(shù)，求參數(shù)，然后根據(jù)參數(shù)，在給定自變量X時(shí)，確定Y。參數(shù)解法: 根據(jù)已知，列出關(guān)于參數(shù)的似然方程，令似然方程取得最大值，從而解得參 數(shù)值。例1.我們得到一個(gè)中國(guó)人口的樣本，個(gè)數(shù)為1000，男女比例為3:2,現(xiàn) 在讓你估計(jì)全國(guó)人口的真實(shí)比例，你肯定不會(huì)估計(jì)為男：女=1:0。因?yàn)槿绻?是1:0，不可能得到3:2的樣本。我們大多很容易也估計(jì)為3:2。本例子中所 要估計(jì)的是男：女=3:2。因?yàn)樵谠摫壤?，我們所?/p>

2、到的樣本男：女=3:2.這 種情況才最容易出現(xiàn)。該例子與上面所講用樣本頻率來(lái)估計(jì)整體的思想是一 樣的。上面例子用極大似然思想求解過(guò)程：我們要估計(jì)的變量是：男(或者女)在總?cè)丝谥兴嫉谋壤?。設(shè)為p.目標(biāo)使得樣本所獲得的男:女=3:2，該結(jié)論盡可能可能實(shí)現(xiàn)。設(shè)為L(zhǎng)。貝貝L=P(y1,y2.yn)=pA600(1-p)M00最大。此方程也被稱(chēng)為似然方程。 其中yi表示第i詞抽樣的結(jié)果。對(duì)上述方程求導(dǎo)：600*PA599*(1-P)A400-PA600*400*(1-P)A399=0.解方程可得：P=0.6.例2.極大似然估計(jì)在樸素貝葉斯算法中的應(yīng)用一對(duì)先驗(yàn)概率和條件概率的估 計(jì)。上述思想一般情況解釋

3、:我們已有一些數(shù)據(jù)。二心旻小上面例子中男女比例)， 我們的目的是在給定數(shù)據(jù)D的條件下，找到一個(gè)參數(shù)0使得概率最大。即：arg inaxpf 例呻*) p = FF根據(jù)貝葉斯定理有:(2)我們假設(shè)6是不變的(概率派認(rèn)為此概率固定不變)，另外D是已知條件。所以求(1)就變?yōu)榍螅篴rgmaxp(W)-(3)因?yàn)槲覀兗僭O(shè)條件相互獨(dú)立。則；n= p儀胛). :(4)貝葉斯估計(jì)不同于頻率派認(rèn)為參數(shù)固定不變的，而是服從一定的概率分布。所以貝葉斯 估計(jì)不再采用這樣的策略：首先計(jì)算出參數(shù)，然后根據(jù)參數(shù)和輸入x計(jì)算得y。 模型推導(dǎo)：同樣的，目的是在給定數(shù)據(jù)D的條件下，找到一個(gè)參數(shù)。使得概率最大。 因?yàn)橛蓞?shù)不是一

4、個(gè)固定值，而是滿足一定的概率分布。由全概率公式得：(5)將(4),(5)帶入(2)得：咐功=皿如冏渺)ni W*(6)由于6是滿足一定概率分布的變量，所以在計(jì)算得時(shí)候需要將考慮所有6取 值的情況，以致在計(jì)算過(guò)程中不可避免的高復(fù)雜度。所以計(jì)算時(shí)候并不把所有的后 驗(yàn)概率p(e |D)都找出來(lái)，而是仍然采用類(lèi)似于極大似然估計(jì)的思想，來(lái)極大后驗(yàn)概率(Maximum A Posterior)得到這種簡(jiǎn)單有效的叫做MAP (極大化后驗(yàn)概率)。極大化后驗(yàn)概率采用了一種近似的方法求后驗(yàn)概率，這就是最大后驗(yàn)概率。首先我們認(rèn)為最大 化后驗(yàn)概率的分母僅僅是一個(gè)歸一化因子，并不是0的函數(shù)（對(duì)0求積分的結(jié)果不 含0）。

5、所以最大化后驗(yàn)概率就是最大化分子，即：TI&禰=3Tgmax Y1 跳明冏g。）;1 最大后驗(yàn)概率和極大似然估計(jì)很像，只是多了一項(xiàng)先驗(yàn)分布，它體現(xiàn)了貝葉斯 認(rèn)為參數(shù)也是隨機(jī)變量的觀點(diǎn)。其中等式右邊條件概率的求值按照極大似然估計(jì)法。 通過(guò)上式可以發(fā)現(xiàn)，在估計(jì)參數(shù)中，一個(gè)考慮了先驗(yàn)一個(gè)沒(méi)有考慮先驗(yàn)。樸素貝葉斯算法中參數(shù)估計(jì)使用極大似然估計(jì)法估計(jì)先驗(yàn)概率和條件概率推到過(guò)程同例一。結(jié)論為:先驗(yàn)概率：條件概率:j（丫二匕）P(X( j)=a | Y=c)= P( * 七 丫二匕) jl k1Li(x(j)=a ,Y=c ) ILl(Y =c )i jl i ki k=/ Hl(x(j)=a ,Y=c )

6、i jl i k=-r=il(Y=c )i k i=1s.t. j = 1,2,3N;l = 1,2,3.Sj;k=1,2,3-K其中，N為總樣本數(shù)，j為樣本的第j個(gè)特征。l為第j個(gè)特征可能取的第l個(gè)值,Sj為第j個(gè)特征所有可以取的值的個(gè)數(shù)。K為Y可取值的個(gè)數(shù)。即x,（j）表示第i個(gè)樣本的第j個(gè)特征。aj表示第j個(gè)特征取的第I個(gè)值。使用貝葉斯估計(jì)法估計(jì)先驗(yàn)概率和條件概率(這里使用的貝葉斯估計(jì)采用極大后驗(yàn)概率的思想)由極大似然估計(jì)可得到條件概率約束為:考慮先驗(yàn)概率：假設(shè)先驗(yàn)概率為均勻概率即：p=1/k;則:pk-1=0(9)進(jìn)行(9)*入+(8)二0(此公式的由來(lái)是極大化后驗(yàn)概率等價(jià)于結(jié)構(gòu)風(fēng)險(xiǎn)最

7、小化，(9)*入 可以認(rèn)為是先驗(yàn)概率做正則項(xiàng)，(8)為似然函數(shù)。具體證明見(jiàn)文章“幾個(gè)證明”中的 第二證明題)。計(jì)算，有：1) pN -= q) = 0 i=l所以:其中，入為參數(shù)，K為Y可取值的個(gè)數(shù)。在實(shí)際計(jì)算過(guò)程中，一般取入為1，做拉普拉斯平滑。同理得：條件概率的貝葉斯估計(jì)為:(X( j) =a I Y=c)= P( X(j)七 Yf)jlk(Y=c )jlHN + XkSjX + lLl(x(j) =a , Y=c ) X + Hi(Y =c ) i jl i ki k/N + XkXS +1Li(Y=c )/-N + X SkX + 1Li(x (j) =a , Y =c ) i jl

8、i k riN + XkSJ(入)=0，可以隨便取值)=X + 1Li(x (j) =a ,Y=c )/XS +藝I(Y =c ) i jl i kji ki=1i=1其中，N為總樣本數(shù)，j為樣本的第j個(gè)特征。l為第j個(gè)特征可能取的第l個(gè)值,Sj 為第j個(gè)特征所有可以取的值的個(gè)數(shù)。K為Y可取值的個(gè)數(shù)。即x,(j表示第i個(gè)樣本 的第j個(gè)特征。a j,表示第j個(gè)特征取的第l個(gè)值。上述計(jì)算過(guò)程參考博客：5.結(jié)論極大似然估計(jì)提供了一種給定觀察數(shù)據(jù)來(lái)評(píng)估模型參數(shù)的方法，即：“模型已定， 參數(shù)未知”。即在頻率學(xué)派中，參數(shù)固定了，預(yù)測(cè)值也就固定了。最大后驗(yàn)概率 是貝葉斯學(xué)派在完全貝葉斯不一定可行后采用的一種近似手。