1、第一節(jié)點(diǎn)估計(jì)一、點(diǎn)估計(jì)問(wèn)題的提法二、估計(jì)量的求法三、小結(jié)一、點(diǎn)估計(jì)問(wèn)題的提法設(shè)總體 X 的分布函數(shù)形式已知, 但它的一個(gè)或多個(gè)參數(shù)為未知, 借助于總體 X 的一個(gè)樣本來(lái)估計(jì)總體未知參數(shù)的值的問(wèn)題稱為點(diǎn)估計(jì)問(wèn)題.制造廠, 一天中發(fā)生著火現(xiàn)象的例1在某量,假設(shè)它服從以l 0為參次數(shù) X 是一個(gè)隨數(shù)的泊松分布,參數(shù) l 為未知, 設(shè)有以下的樣本值,試估計(jì)參數(shù) l .著火次數(shù) k0123456發(fā)生 k 次著火的天數(shù)nkS = 25075905422621因?yàn)?X (l ),所以 l = E( X ).解用樣本均值來(lái)估計(jì)總體的均值 E(X).6 knk x =1k =0=(0 75 + 1 90 + 2

2、 54 + 3 22 +4 6 + 5 2 + 6 1)= 1.22.6250nkk =0故 E( X ) = l 的估計(jì)為1.22 .點(diǎn)估計(jì)問(wèn)題的一般提法設(shè)總體X 的分布函數(shù)F ( x;q )的形式為已知, q 是待估參數(shù).X1 , X 2 ,L, Xn 是 X 的一個(gè)樣本, x1 , x2 ,L, xn 為相應(yīng)的一個(gè)樣本值.點(diǎn)估計(jì)問(wèn)題就是要構(gòu)造一個(gè)適當(dāng)?shù)慕y(tǒng)計(jì)量q( X1 , X 2 ,L, Xn ), 用它的觀察值 q( x1 , x2 ,L, xn )來(lái)估計(jì)未知參數(shù)q .( X, X, X)通稱估計(jì), 簡(jiǎn)記為q.( x , x, x)在某紡織廠細(xì)紗機(jī)上的斷頭次數(shù)X 是一個(gè)量, 假設(shè)它服從

3、以l 0 為參數(shù)的泊松分布,例2隨參數(shù)l 為未知, 現(xiàn)檢查了150只紗錠在某一時(shí)間段內(nèi)斷頭的次數(shù), 數(shù)據(jù)如下, 試估計(jì)參數(shù) l .斷頭次數(shù) k0123456斷頭k 次的紗錠數(shù)nk4560329211150先確定一個(gè)統(tǒng)計(jì)量X , 再計(jì)算出X 的觀察值x,把 x 作為參數(shù) l 的估計(jì)值.解l 的估計(jì)值為 1.133.x = 1.133 .二、估計(jì)量的求法由于估計(jì)量是樣本的函數(shù), 是隨量, 故對(duì)不同的樣本值, 得到的參數(shù)值往往不同, 如何求估計(jì)量是關(guān)鍵問(wèn)題.常用構(gòu)造估計(jì)量的方法:矩估計(jì)法、最大似然估計(jì)法、最小二乘法、Bayes估計(jì)，1.矩估計(jì)法設(shè) X 為連續(xù)型隨量,其概率密度為f ( x;q1 ,q

4、2 ,L,qk ), 或 X 為離散型隨量,其分布律為 P X= x =p( x;q1 ,q2 ,L,qk ),其中q1 ,q2 ,L,qk 為待估參數(shù),若X1 , X2 ,L, Xn 為來(lái)自X 的樣本，假設(shè)總體X 的前k 階矩存在,且均為q1 ,q2 ,L,qk 的函數(shù),即+m(X為連續(xù)型)=ll(X為離散型)或 m= E( X l ) =ll = 1,2,L,k其中RX 是x 可能取值的范圍,n1n因?yàn)闃颖揪?Al=lX依概率收斂于相應(yīng)的ii =1總體矩 ml (l = 1, 2,L, k ),樣本矩的連續(xù)函數(shù)依概率收斂于相應(yīng)的總體矩的連續(xù)函數(shù).矩估計(jì)法的定義用樣本矩來(lái)估計(jì)總體矩,用樣本矩

5、的連續(xù)函數(shù)來(lái)估計(jì)總體矩的連續(xù)函數(shù),這種估計(jì)法稱為矩估計(jì)法.令 ml= Al ,l = 1, 2,L, k.矩估計(jì)法的具體做法:這是一個(gè)包含k 個(gè)未知參數(shù)q1 ,q2 ,L,qk 的方程組,解出其中q1 ,q2 ,L,qk .用方程組的解q ,q ,L,q分別作為q,q,L,q的12k12k估計(jì)量, 這個(gè)估計(jì)量稱為矩估計(jì)量.矩估計(jì)量的觀察值稱為矩估計(jì)值.設(shè)總體X 在0,q 上服從均勻分布,其中q例3(q 0)未知,( X1 , X 2 ,L, Xn )是來(lái)自總體X 的樣本,求q 的估計(jì)量.因?yàn)?m= E( X ) = q ,解12q = A= X ,根據(jù)矩估計(jì)法,令12所以 q = 2 X為所求

6、q 的估計(jì)量.例4設(shè)總體X 在a,b上服從均勻分布,其中a,b未知, ( X1 , X2 ,L, Xn ) 是來(lái)自總體X的樣本,求a,b 的估計(jì)量.m1 = E( X )= a + b ,解2(a - b)2(a + b)2m= E( X2) = D( X ) + E( X )=2+,2124a + bn1n= A1 =X,令i2i =1n(a - b)2 + (a + b)2= 1i =12 ,= A2Xin124a + b = 2 A1 ,即b - a =212( A2 - A1).解方程組得到a, b的矩估計(jì)量分別為n3 3( A- A 2 )= X - X )2 ,a = A-( Xi

7、121ni =1n3 2= X +( Xi - X ).b = A+3( A2 - A1)21ni =1例5設(shè)總體 X服從幾何分布, 即有分布律p)k -1=k =p(1 -(k =1,2,L),PX其中 p (0 p 0, 但m 和s 2 均為未知, 又設(shè)X, X,L, X是12n一個(gè)樣本, 求m 和s 2 的矩估計(jì)量.m1 = E( X ) = m ,解m= E( X 2 ) = D( X ) + E( X )2= s 2+ m 2 ,2m = A1 ,令s+ m= A2 .22m = A1 = X ,解方程組得到矩估計(jì)量分別為n2 = 1 n2 = 1i =1o 2= A2 - A12(

8、 X- X )2.- XXiinni =1上例表明:總體均值與方差的矩估計(jì)量的表達(dá)式不因不同的總體分布而異.X N (m,s 2 ),m, s 2 未知, 即得m,s 2 的矩估計(jì)量n例= 1i =1m = X ,一般地,用樣本均值( X- X )2.o 2inn1nX =X 作為總體X,的均值的矩估計(jì)ii=1n 1n( Xi =1用樣本二階中心矩 B=- X )2作為總體2iX的方差的矩估計(jì).2.最大似然估計(jì)法(1) 設(shè)總體 X屬離散型似然函數(shù)的定義設(shè)分布律 P X = k =p( x;q ), q 為待估參數(shù), q Q , (其中Q 是q 可能的取值范圍)X1 , X2 ,L, Xn是來(lái)自

9、總體X 的樣本,則 X1 , X2 ,L, Xn 的聯(lián)合分布律為 p( xi ;q ).i =1n又設(shè) x1 , x2 ,L, xn 為相應(yīng)于樣本 X1 , X 2 ,L, Xn 的一個(gè)樣本值.則樣本 X1 , X2 ,L, Xn 取到觀察值x1 , x2 ,L, xn 的概率,X1 = x1 , X2 = x2 ,L, Xn = xn 發(fā)生的概率為即nL(x1,x2 ,L ,xn;q ) = p(xi;q ),L(q ) =q Q,i =1L(q)稱為樣本似然函數(shù).最大似然估計(jì)法得到樣本值x1 , x2 ,L, xn時(shí),選取使似然函數(shù)L(q )取得最大值的q作為未知參數(shù)q 的估計(jì)值,即 L(

10、 x1 , x2 ,L, xn ;q) = max L( x1 , x2 ,L, xn ;q ).qQ(其中Q 是q 可能的取值范圍)這樣得到的q與樣本值 x1 , x2 ,L, xn有關(guān),記為參數(shù)q 的最大參數(shù)q 的最大q( X1 , X2 ,L, Xn )q( x1 , x2 ,L, xn ),(2) 設(shè)總體 X似然函數(shù)的定義設(shè)概率密度為f ( x;q ), q 為待估參數(shù),(其中Q 是q 可能的取值范圍)X1 , X2 ,L, Xn 是來(lái)自總體 X 的樣本,q Q ,n則 X1 , X2 ,L, Xn 的聯(lián)合密度為 f ( xi ;q ).i =1又設(shè) x1 , x2 ,L, xn 為相

11、應(yīng)于樣本 X1 , X2 ,L, Xn 的一個(gè)樣本值.則隨機(jī)點(diǎn)( X1 , X 2 ,L, Xn )落在點(diǎn)( x1 , x2 ,L, xn )的鄰域(邊長(zhǎng)分別為dx1 ,dx2 ,L,dxn的n維立方體)內(nèi)n f ( xi ;q )dxi,的概率近似地為i =1nL(q ) = L( x1 , x2 ,L, xn ;q ) = f ( xi ;q ),i =1L(q )稱為樣本的似然函數(shù).若 L( x1 , x2 ,L, xn ;q) = max L( x1 , x2 ,L, xn ;q ).q Q參數(shù)q 的最大)參數(shù)q 的最大q( X1 , X2 ,L, Xn )q( x1 , x2 ,L,

12、 xn最大似然估計(jì)法是由費(fèi)舍爾引進(jìn)的.求最大似然估計(jì)量的步驟: (一) 寫(xiě)出似然函數(shù)L(q ) = L( x1 , x2 ,L, xn ;q ) = p( xi ;q )ni =1nL(q ) = L( x1 , x2 ,L, xn ;q ) = f ( xi ;q );或i =1(二)取對(duì)數(shù)nnln L(q ) = ln p( xi ;q )i =1ln L(q ) = ln f ( xi ;q );i =1或費(fèi)舍爾對(duì)q 求導(dǎo)dln L(q ) ,0,對(duì)數(shù)似(三)并dq然方程解方程即得未知參數(shù)q 的最大似然估計(jì)值q.最大似然估計(jì)法也適用于分布中含有多個(gè)未知參數(shù)的情況. 此時(shí)只需令對(duì)數(shù)似然方程

13、組解出由k 個(gè)方程組成的方程組, 即可得各未知參數(shù)qi (i = 1,2,L, k ) 的最大似然估計(jì)值 q .i ln L = 0,i = 1,2,L, k.qi令dln L(q ) =dq例7設(shè) X B(1, p),X1 , X 2 ,L, Xn是來(lái)自X 的一個(gè)樣本,求 p的最大似然估計(jì)量.設(shè) x1 , x2 ,L, xn為相應(yīng)于樣本X1 , X 2 ,L, Xn 的解一個(gè)樣本值,X的分布律為P X= x =px (1 - p)1-x , x = 0,1,nL( p) = pxi (1 - p)1-xii =1似然函數(shù)nn xin- xii =1=pi =1(1 - p),ln L( p)

14、 = x ln p + n -x ln(1 - p),nn i =1i i i =1nnn - xi xidln L( p) =i =1- i =1= 0,令1 - pdppp = 1nx= x.n 解得 p 的最大似然估計(jì)值ii=1p = 1nX= X .n p 的最大似然估計(jì)量為ii =1這一估計(jì)量與矩估計(jì)量是相同的.設(shè) X 服從參數(shù)為l (l 0) 的泊松分布,例8X1 , X 2 ,L, Xn 是來(lái)自X 的一個(gè)樣本, 求 l 的最大似然估計(jì)量.解因?yàn)閄 的分布律為lx-lP X = x =( x = 0,1, 2,L, n)e,x!所以l 的似然函數(shù)為ni =1xi lxnlii =1

15、e-l =L(l ) =-nle,x !ni(x !)ii =1ln L(l ) = -nl + x lnl -nn(x !), i ii =1i =1d解得l 的最大似然估計(jì)值l = 1n= x,n xii =1l = 1nl 的最大似然估計(jì)量為X= X .n ii =1這一估計(jì)量與矩估計(jì)量是相同的.設(shè)總體X N (m ,s 2 ), m ,s 2為未知參數(shù),例9x , x,L, x是來(lái)自X 的一個(gè)樣本值, 求m 和s 212n的最大似然估計(jì)量.解X的概率密度為-( x- m )212sf ( x; m, s 2 ) =2s 2e,X 的似然函數(shù)為n2n- 1ln L(m ,s 2 ) =

16、- n ln(2) - n lns 2( x- m )2,2s 2i2ln L(m, s 2 ) = 0,2i =1 m令 ln L(m, s 2 ) = 0,s 2 1 nx- nm = 0 ,s 2nii =1n12(s 2 )2-( xi =1- m )2 = 0 ,+i2s 2由 1 nx- nm = 0 解得1nm = i =1o 2inn1( xi - m )i =1由-2s 2+2(s 2 )2= 0 解得2= 1ns 2故m 和s 2 的最大似然估計(jì)量分別為= 1nm = X ,s 2( X-X )2.n 它們與相應(yīng)的矩估計(jì)量相同.ii =1例10設(shè)總體 X 在a,b 上服從均

17、勻分布,其中a,b 未知, x1 , x2 ,L, xn 是來(lái)自總體 X 的一個(gè)樣本值,求 a,b 的最大似然估計(jì)量.= min( x1 , x2 ,L, xn ),= max( x1 , x2 ,L, xn ),x( l )x( h)解記X 的概率密度為1a x b,其他.f ( x; a, b) = b - a,0,因?yàn)閍 x1 , x2 ,L, xn b等價(jià)于a x( l ) , x( h)作為a, b的函數(shù)的似然函數(shù)為 b,1a x,b x,( l )( h)(b - a)0,nL( a, b) =其他于是對(duì)于滿足條件 a x(l ) , b x(h)的任意a,b有11L( a, b)

18、 =,(b - a)n- x)n( x( h)( l )即似然函數(shù)L(a, b)在a = x( l ) ,-n取到最大值( x( h) - x( l ) ),a, b 的最大似然估計(jì)值b = x( h) 時(shí)b = x( h)a = x( l ) = min xi ,= max xi ,1in1ina, b 的最大似然估計(jì)量b = max Xi .a = min Xi ,1in1in最大似然估計(jì)的性質(zhì)設(shè)q 的函數(shù) u = u(q ), q Q 具有單值反函又設(shè)q 是 X 的概率密度函數(shù)q = q (u), u .數(shù)f ( x;q ) ( f 形式已知) 中的參數(shù)q 的最大似然估計(jì), 則 u = u(q) 是 u(q ) 的最大似然估計(jì).因?yàn)閝是q 的最大似然估計(jì)值,證明所以 L( x1 , x2 ,L, xn ;q) = max L( x1 , x2 ,L, xn ;q ),q Q其中x1 , x2 ,L, xn是來(lái)自總體X的一個(gè)樣本值,u = u(q),q = q (u),由于故 L( x1 , x2 ,L, xn;q (u) = max L( x1 , x2 ,L, xn;q (u),u于是 u = u(q)是u(q )的最大似然估計(jì).此性質(zhì)可以推廣到總體分布中含有多個(gè)未知參數(shù)