1、20.8.28,第七章 參 數(shù) 估 計,probability,probability,20.8.28,數(shù)理統(tǒng)計問題：如何選取樣本來對總體的種種統(tǒng)計 特征作出判斷。,參數(shù)估計問題：知道隨機變量（總體）的分布類型， 但確切的形式不知道，根據(jù)樣本來估計總體的參數(shù)，這 類問題稱為參數(shù)估計（paramentric estimation）。,參數(shù)估計,點 估 計,區(qū)間估計,矩 估 計,極大似然估計,20.8.28,參數(shù)的估計量,設總體的分布函數(shù)為F(x,)（未知），X1，X2，Xn 為樣本，構造一個統(tǒng)計量 來估計 參數(shù)，則稱 為參數(shù)的估計量。,將樣本觀測值 代入 ， 得到的值 稱為參數(shù)的估計值。,注1

2、總體X的分布函數(shù)中可有多個不同未知參數(shù).,注2 統(tǒng)計量是不含未知參數(shù)的樣本函數(shù).,20.8.28,點估計（point estimation) ：如果構造一個統(tǒng)計量,來作為參數(shù)的估計量，則稱為 參數(shù)的點估計。,點估計的方法：矩估計法、極大似然估計法。,區(qū)間估計（interval estimation）：如果構造兩個 統(tǒng)計量,而用 來作為參數(shù)可能取值范圍的估計，稱為 參數(shù)的區(qū)間估計。,20.8.28,7.1 參數(shù)的點估計,一、矩估計法,思想來源：依大數(shù)定律有,即樣本的一階原點矩依概率收斂于總體的一階原點矩.,用,估計 E( X )是很有說服力的.,用樣本矩估計相應的總體矩,矩估計法的基本思想:,2

3、0.8.28,若總體X的分布函數(shù)中含有m個參數(shù)1， 2， ， m， 總體的k階原點矩或中心矩,存在，則用樣本的k階原點矩和中心矩去替換相應的總體的k階原點矩和中心矩,或,得m個方程構成方程組，解得的 即為參數(shù),的矩估計量，代入樣本觀測值，即得參數(shù),的矩估計值。,替換原則,P153例7.1.1,二項分布的矩估計,樣本矩是隨機變量,而總體矩是數(shù)值. 注意大小寫的區(qū)分!,泊松分布的矩估計,20.8.28,二、極大似然估計法（M.L.E.),極大似然估計法基本思想：按照最大可能性準則進行推斷.,問題 若隨機試驗有若干個可能結果: A1, A2, ,Am，在一次試驗中事件A1出現(xiàn)了，關于A1的概率你怎樣

4、認為？,思想來源: 根據(jù)小概率事件原理, 應認為A1發(fā)生的可能性大.,甲,乙,丙,問: 取出的是哪一只盒子?,運用上述 “最大可能” 思想:,設是總體 X 的概率分布中的未知參數(shù), X1, X2, , Xn 是 X 的樣本, x1, x2, , xn 是樣本觀測值。此時, 相當于發(fā)生了事件,X1= x1, X2= x2, , Xn= xn,將這個事件記為 A, 考察它的概率 P(A)。顯然 P(A) 之值與總體的概率分布有關, 因而與參數(shù)之值有關。,參數(shù)的 取值范圍,其中的某個 值決定 概率分布,X 的概 率分布,發(fā)生了 事件 A,對 X 進行 抽樣, 得到 樣本觀測值,問: 究竟取的是哪一個

5、值?,選擇使事件 A 發(fā)生可能性最大的那一個!, A = X1= x1, X2= x2, , Xn= xn的概率,1) 當總體分布為離散型,設總體 X 的分布律為:,P X = x = p(x;) , x 為 X 的可能取值;,則 P(A) = PX1= x1 PX2= x2 PXn= xn,= p(x1;) p(x2;) p(xn;),2) 當總體分布為連續(xù)型,設總體 X 的概率密度函數(shù)為 f (x;); 此時不能直接計算 P(A) ,考慮 ( X1, X2, , Xn ) 取值于( x1, x2, , xn ) 附近極小領域內的概率:,P x1 dx1X1x1, , xn dxnXnxn

6、,= Px1 dx1X1x1Pxn dxnXnxn, f (x1;)dx1 f (xn;)dxn,受參數(shù)值 變化的影響,與參數(shù) 無關,只需考慮,將 和 稱為參數(shù)的似然函數(shù),記為 .,定義：若,稱 為 的極大似然估計值.,稱為參數(shù) 的極大似然估計量.,相應的估計量,極大似然估計法求參數(shù) 的估計值，使似然函數(shù)達到極大值,20.8.28,注：lnx 是 x 的嚴格單增函數(shù)，lnL 與L有相同的極大值點，一般只需求lnL 的極大值點.,綜上，求未知參數(shù)的似然估計就歸結為求似然函數(shù)L的最大值點。,注：最大值不一定由似然方程組全部得到.,構造似然方程組.,極大似然估計的一般步驟,寫出似然函數(shù),2. 對似然

7、函數(shù)取對數(shù),3. 對j (j =1, m)分別求偏導,建立似然方程(組),解得 分別為 的極大估計值.,正確寫出 很關鍵,指數(shù)分布的參數(shù)估計,矩估計與似然估計不等的例子,均勻分布的極大似然估計,小 結,1. 矩法估計量與極大似然估計量不一定相同；,2. 用矩法估計參數(shù)比較簡單,但有信息量損失；,3.極大似然估計法精度較高,但運算較復雜；,4.不是所有M.L.E都需要建立似然方程求解.,結論：不管總體X服從何種分布， 總體期望的矩估計量為樣本均值(樣本一階原點矩)、 總體方差的矩估計量為樣本2階中心矩，即,估計值為,例1：見P153例7.1.1,注: 不是樣本方差,例2(二項分布的矩估計)：設總

8、體 X 服從二項分布 B (k , p ) k 為正整數(shù)，0p1 樣本為X1，X2， ，Xn求 k , p 的矩估計。,解：,#,20.8.28,例3(泊松分布的矩估計) 見P153例7.1.2,均為參數(shù)的矩估計.,結論: 一個參數(shù)可以有不同的矩估計.,在多個矩估計量中，究竟采用哪一個呢？有些什么準則呢？,20.8.28,例4 指數(shù)分布的點估計,今取得一組樣本數(shù)據(jù)如下，問如何估計？,某電子管的使用壽命 X （單位：小時) 服從 指數(shù)分布,20.8.28,分析 可用兩種方法：矩法估計和極大似然估計.,1）矩法估計,20.8.28,2）極大似然估計,構造似然函數(shù),當xi0,（i=1,2, ,n)

9、時，似然函數(shù)為,取對數(shù),建立似然方程,20.8.28,5. 得M.L.E量：,#,求解得M.L.E值,20.8.28,例5 矩估計與似然估計不等的例子,設總體概率密度為,求參數(shù)的極大似然估計, 并用矩法估計.,解 1)極大似然估計法,構造似然函數(shù),20.8.28,2. 取對數(shù)：,當 0xi1, (i=1,2, ,n) 時,建立似然方程,20.8.28,求解得M.L.E. 值為,5. M.L.E. 量為,20.8.28,#,2) 矩估計法,20.8.28,例 6 均勻分布的極大似然估計,設樣本X1,X2, ,Xn來自在區(qū)間1 , 2 上均勻分布的總體X , 求1 和2 的極大似然估計量.,解 設

10、x1, x2 , xn是X1,X2, , Xn的樣本值，,似然函數(shù)為,20.8.28,注 意： 該似然函數(shù)不能通過構造似然方程求解. 嘗試用其他方法求解！,分析 1和2的估計應滿足：,2. 1xi2對所有i 成立.,1. 2 -10，且取值盡可能小；,20.8.28,故1與2的極大似然估計值分別為,20.8.28,#,極大似然估計量分別為,20.8.28,解,練習: 不合格品率的矩法估計,分析 設總體X為抽一件產品的不合格產品數(shù)，相當于抽取了一組樣本X1，X2， ，Xn , 且,因 p=E(X), 故 p 的矩估計量為,設某車間生產一批產品，為估計該批產品不合格品率，抽取了n 件產品進行檢查.,20.8.28,#,(即出現(xiàn)不合格產品的頻率).,20.8.28,練習: 不合格品率p 的M.L.E.估計,設 總體X是抽一件產品的不合格品數(shù)，記 p= PX=1=P產品不合格,則 X 的分布律可表示為,現(xiàn)得到X的一組樣本X1，X2，,Xn的實際觀 察值為 x1, x2, ,xn , 則事件,X1=x1，X2=x2，, Xn=xn,20.8.28,出現(xiàn)的可能性應最大, 其概率為,應選取使L(p) 達到最大的值作為參數(shù)