1、1,第七章,第二節(jié),極大似然估計,極大似然估計,2,極大似然法的基本思想,先看一個簡單例子：,一只野兔從前方竄過 .,是誰打中的呢？,某位同學(xué)與一位獵人一起外出打獵 .,如果要你推測，,你會如何想呢?,只聽一聲槍響，野兔應(yīng)聲倒下 .,3,基本思想:,若事件Ai 發(fā)生了,則認(rèn)為事件Ai在這n個可能結(jié)果,中出現(xiàn)的概率最大。,極大似然估計就是在一次抽樣中,若得到觀測值,則選取,若一試驗有n個可能結(jié)果,現(xiàn)做一試驗,作為的估計值。,使得當(dāng),時,樣本出現(xiàn)的概率最大。,4,極大似然估計法:,事件 發(fā)生的概率為,為 的函數(shù)，,形式已知,(如離散型) X的分布列為,的聯(lián)合分布列為：,為樣本的似然函數(shù)。,定義7.

2、1,5,與,有關(guān), 記為,稱為參數(shù)的極大似然估計值。,稱為參數(shù)的極大似然估計量。,達(dá)到最大的參數(shù),作為的估計值。,現(xiàn)從中挑選使概率,樣本的似然函數(shù),6,若總體X屬連續(xù)型, 其概率密度,的形式已知，,為待估參數(shù)；,則,的聯(lián)合密度：,一般，,關(guān)于可微，故可由下式求得：,因此,的極大似然估計也可從下式解得：,在同一點處取極值。,7,8,故似然函數(shù)為,例1,設(shè),是來自總體X的一,個樣本，,試求參數(shù) p 的極大似然估計值.,解：設(shè),是一個樣本值。,X的分布列為：,而,令,9,它與矩估計量是相同的。,解得,p的極大似然估計值,p的極大似然估計量,令,解得,10,設(shè)總體X的分布列為：,是來自總體X的樣本，求

3、 p 的極大,解：,似然函數(shù)為,似然估計值。,例2,11,令,即,12,解,例3,設(shè) X1, X2, , Xn 是取自總體X 的一個樣本,，求參數(shù)的極大似然估計值。,似然函數(shù)為:,13,例4,設(shè),未知，,是一個樣本值,解 設(shè),的概率密度為：,似然函數(shù)為,14,等價于,因為,即,時,取最大值,在,似然函數(shù)為,15,即,時,取最大值,在,似然函數(shù)為,16,今取得一組樣本Xk數(shù)據(jù)如下，問如何估計？,某電子管的使用壽命 X （單位：小時) 服從指數(shù)分布,例5 指數(shù)分布的點估計,分析 可用兩種方法：矩法估計 和極大似然估計.,17,1）矩法估計,18,2）極大似然估計,構(gòu)造似然函數(shù),當(dāng)xi0,（i=1,

4、2, ,n) 時，似然函數(shù)為,取對數(shù),建立似然方程,19,5. 得極大似然估計量：,求解得極大似然估計值,20,似然函數(shù)為：,例6,設(shè),為未知參數(shù)，,是來自X的一個樣本值，求,的極大似然估計值。,解：,X的概率密度為：,21,解得：,令,即：,22,注：lnx 是 x 的嚴(yán)格單增函數(shù)，lnL 與L有相同的極大值，一般只需求lnL 的極大值.,求極大似然估計的一般步驟：,寫出似然函數(shù),2. 對似然函數(shù)取對數(shù),3. 對i (i =1, m)分別求偏導(dǎo),建立似然方程(組),解得 分別為 的極大估計值.,23,例7 矩估計與似然估計不等的例子,設(shè)總體概率密度為,求參數(shù)的極大似然估計, 并用矩法估計.,

5、解 1) 極大似然估計法,構(gòu)造似然函數(shù),2. 取對數(shù)：,當(dāng) 0xi1, (i=1,2, ,n) 時,24,2. 取對數(shù)：,當(dāng) 0 xi 1, (i=1,2, ,n) 時,建立似然方程,求解得極大似然估計值為,5. 極大似然估計 量為,25,2) 矩估計法,26,1. 矩法估計量與極大似然估計量不一定相同；,2. 用矩法估計參數(shù)比較簡單,但有信息量損失；,3. 極大似然估計法精度較高,但運算較復(fù)雜；,4. 不是所有極大似然估計法都需要建立似然方程,小 結(jié),求解.,27,作業(yè),P294 1；2；3；4,28,解,例6. 不合格品率的矩法估計,分析 設(shè)總體X 即抽一件產(chǎn)品的不合格產(chǎn)品數(shù)，相當(dāng)于抽取了

6、一組樣本X1，X2， ，Xn , 且,因 p=EX, 故 p 的矩估計量為,設(shè)某車間生產(chǎn)一批產(chǎn)品，為估計該批產(chǎn)品不合格品率，抽取了n件產(chǎn)品進(jìn)行檢查.,(即出現(xiàn)不合格產(chǎn)品的頻率).,29,不合格品率p 的估計,設(shè) 總體X是抽一件產(chǎn)品的不合格品數(shù)，記 p= PX=1=P產(chǎn)品不合格,則 X的分布列可表示為,現(xiàn)得到X的一組樣本X1，X2，,Xn的實際觀 察值為 x1, x2, ,xn , 則事件,X1=x1，X2=x2，,Xn=xn,例7,出現(xiàn)的可能性應(yīng)最大, 其概率為,30,應(yīng)選取使L(p) 達(dá)到最大的值作為參數(shù) p 的估計.,31,令,解得,（頻率值）,注意到,32,其中0，與是未知參數(shù)，X1，X2，,Xn，,解,設(shè)總體X的概率密度為,是X 的一組樣本，求與 的矩估計量.,例8,33,令,注意到 DX=E(X2)E(X)2=2,=2+(+)2,34,例 9 均勻分布的極大似然估計,設(shè)樣本X1，X2， ，Xn來自在區(qū)間 0 , 上均勻分布的總體X , 求 的極大似然估計.,解 設(shè)x1, x2 , xn是X1, X2, , Xn的樣本值，,似然函數(shù)為,35,#,如圖所示，似