1、6.6.3 3克拉默克拉默- -拉奧（拉奧（Cramer-Cramer-RaoRao）不等式）不等式一、問題的提出一、問題的提出二、復(fù)習(xí)無偏估計(jì)和二、復(fù)習(xí)無偏估計(jì)和一致估計(jì)一致估計(jì)三、有效估計(jì)三、有效估計(jì)四、小結(jié)四、小結(jié)一、問題的提出 從前一節(jié)可以看到從前一節(jié)可以看到, 對于同一個(gè)參數(shù)對于同一個(gè)參數(shù), 用不用不同的估計(jì)方法求出的估計(jì)量可能不相同同的估計(jì)方法求出的估計(jì)量可能不相同,那么那那么那一個(gè)估計(jì)量好壞的標(biāo)準(zhǔn)是什么一個(gè)估計(jì)量好壞的標(biāo)準(zhǔn)是什么?下面介紹幾個(gè)常用標(biāo)準(zhǔn)下面介紹幾個(gè)常用標(biāo)準(zhǔn).二、復(fù)習(xí)無偏估計(jì)和一致估計(jì)12,n 若為總體 的一個(gè)樣本，是包含在總體 的分布中的待 估參數(shù).126.2( ,

2、)( ), ( ), .nEE 定義若估計(jì)量的數(shù)學(xué)期望存在 且對于任意有 則稱 是 的無偏估計(jì)量(2)無偏估計(jì)的實(shí)際意義無偏估計(jì)的實(shí)際意義: 無系統(tǒng)誤差無系統(tǒng)誤差. (1)無偏性是對估計(jì)量的一個(gè)基本而重要的要求無偏性是對估計(jì)量的一個(gè)基本而重要的要求 .如果有估計(jì)如果有估計(jì) ,滿足關(guān)系式滿足關(guān)系式12,( ,.,)nnn ),.,2 , 1( nlim()nnEn )(E 則稱則稱 是是 的漸近無偏估計(jì)（量）。的漸近無偏估計(jì)（量）。 一個(gè)估計(jì)量如果不是無偏估計(jì)量，就稱一個(gè)估計(jì)量如果不是無偏估計(jì)量，就稱 這個(gè)估計(jì)量是有偏的，且稱這個(gè)估計(jì)量是有偏的，且稱 為估為估計(jì)量計(jì)量 的偏差。的偏差。121(1

3、), ,1, .kknnkkiikkEkknk 設(shè)總體 的 階矩存在又設(shè)是 的一個(gè)樣本，試證明不論總體服從什么分布階樣本矩是階總體矩的無偏估計(jì)證明證明12,n 因?yàn)榕c 同分布，., 2 , 1ni11()()nkkiiEEn即.k 例例1 .kkkk故階樣本矩是 階總體矩的無偏估計(jì)特別地特別地:1 .E不論總體 服從什么分布，只要其數(shù)學(xué)期望存在，則 總是總體 的數(shù)學(xué)期望的無偏估計(jì)量 222222n1 , 0 , , 1 , s()().niin對于均值方差都存在的總體 若均為未知 則的估計(jì)量是有偏的即不是無偏估計(jì)證明證明22211niin22, E因?yàn)?22,E22 ()EDE又,22 n22

4、2 ()()EE所 以22()()EE例例2,122 nn. 2是有偏的是有偏的所以所以 . , 1 2偏的偏的所得到的估計(jì)量就是無所得到的估計(jì)量就是無乘乘若以若以 nn(這種方法稱為這種方法稱為無偏化無偏化).)(11222 EnnnnE221*nSnn 因?yàn)?11(),1niin, 2的無偏估計(jì)是即2*nS.2的估計(jì)量作故通常取2*nS證明證明(2 )2EE因?yàn)?22 2 .所以是的無偏估計(jì)量( )12 max( ,)nn 因?yàn)榈母怕拭芏葹?其它,)(001xnxxpnn例例3P252 的無偏性和極大似然估計(jì)的矩估計(jì)的樣本，討論是來自總體上服從均勻分布，參數(shù)在設(shè)總體nn2, 00,21(

5、)0()nnnnxEdx所以12max( ,).1nnn 故也是 的無偏估計(jì)量1nn 的無偏估計(jì)不是所以n nnnE1由于證明證明,EE .所 以是的 無 偏 估 計(jì) 量例例4 0, , ,1/ 又設(shè)又設(shè)其中參數(shù)其中參數(shù)其它其它度度概率密概率密的指數(shù)分布的指數(shù)分布服從參數(shù)為服從參數(shù)為設(shè)總體設(shè)總體 , 00,1);(xxexp1212,.min(,.)nnn 是來自總體 的樣本，試證明與都是 的無偏估計(jì)。(1)12 min( , , , ) ,nn 而服 從 參 數(shù) 為 的 指 數(shù) 分 布(1) (),En故知(1)(),E n(1) .n所以也是的無偏估計(jì)量 由以上兩例可知,同一個(gè)參數(shù)可以有不

6、同的無偏估計(jì)量.從,00,1,其他xexFx 其他, 00,1xengnx nxengx10時(shí)，即當(dāng) 無偏性雖然是評價(jià)估計(jì)量的一個(gè)重?zé)o偏性雖然是評價(jià)估計(jì)量的一個(gè)重要標(biāo)準(zhǔn)要標(biāo)準(zhǔn),而且在許多場合是合理的而且在許多場合是合理的, 必要必要的。然而有時(shí)一個(gè)參數(shù)的無偏估計(jì)可能的。然而有時(shí)一個(gè)參數(shù)的無偏估計(jì)可能不存在，或不合理的。不存在，或不合理的。 這些說明僅有無偏性要求是不夠的。于這些說明僅有無偏性要求是不夠的。于是，人們又在無偏性的基礎(chǔ)上增加了對是，人們又在無偏性的基礎(chǔ)上增加了對方差方差的的要求。若估計(jì)量的方差越小要求。若估計(jì)量的方差越小,表明該估計(jì)量的取表明該估計(jì)量的取值（即估計(jì)值）圍繞著待估參數(shù)

7、的波動(dòng)就越小，值（即估計(jì)值）圍繞著待估參數(shù)的波動(dòng)就越小，也就是更為理想的估計(jì)量。為此，引入最小方也就是更為理想的估計(jì)量。為此，引入最小方差無偏估計(jì)。差無偏估計(jì)。 2.如例如例4 有時(shí)對同一個(gè)參數(shù)可有多個(gè)無偏估計(jì)有時(shí)對同一個(gè)參數(shù)可有多個(gè)無偏估計(jì). 1.例例:設(shè)總體設(shè)總體 ,則則 就沒有無偏就沒有無偏估計(jì)。估計(jì)。,1N三、有效估計(jì) 由于方差是隨機(jī)變量取值與其數(shù)學(xué)期望的由于方差是隨機(jī)變量取值與其數(shù)學(xué)期望的偏離程度偏離程度, 所以無偏估計(jì)以方差小者為好所以無偏估計(jì)以方差小者為好.1112221212126.3( , ,)( , ,), ( )( ).nnDD 定義設(shè)與都是 的無偏估計(jì)量 若有則稱 較

8、有效(1)1 , . nn試證當(dāng)時(shí)的無偏估計(jì)量 較有效證明證明2 ,D由于2 ,Dn故有2(1)2 (),Dn又因?yàn)?(1) (),D n故有 ,1時(shí)時(shí)當(dāng)當(dāng) n(1)()( ),D nD(1) . n故的無偏估計(jì)量 較有效例例5 (續(xù)例續(xù)例4)121221321max , ,2, . nnnn 在例 中已證明和都是的無偏估計(jì)量 現(xiàn)證當(dāng)時(shí)較有效證明證明1 4DD由于24,3Dnn2( )1 ()nnDDn2( )1,nnDn( )1 (),nnEn又因?yàn)榫毩?xí)練習(xí) (續(xù)例續(xù)例3)（課本例（課本例6.10）21( )0()dnnnnExx,22 nn22( )( )( )()() ()nnnDEE,

9、)2()1(22 nnn,)2(1)( 22 nnD故故 ),()( , 212 DDn 所以所以又又 .12有效有效較較 下面討論建立一個(gè)方差下界的克拉默下面討論建立一個(gè)方差下界的克拉默- -拉奧不等式拉奧不等式11(,),.(,)(),:1:(,)0(,)()(,)(,) (6 .2 3nnfxaba babugxfxfxgfxfxd xd x 設(shè) 母 體具 有 概 率 密 度，：，為 已 知 常 數(shù) ， 可 以 設(shè)，,為 取 自 母 體的 一 個(gè) 子 樣又是的 一 個(gè) 無 偏 估 計(jì)且 滿 足 正 則 條 件（ ） 集 合與無 關(guān) ；（ 2 )與存 在 ， 且 對 一 切，羅 - 克 拉

10、 美 不 等 式 111111)(,)(,)(,)(,)(,) (6 .2 4 )nnnnniniuxxfxfxd xd xuxxfxd xd x2211ln( , )(3)( )()0.( ) (6.25)( ),ln(, )( ) (6.26).( ),(6.25)1(nniifIEgDnIKfKggDnI 令稱為信息量 則且等式成立的充分必要條件為存在一個(gè)不依賴于但可能依賴于 的使得等式以概率1成立特別當(dāng)時(shí) 不等式化為 (6.27).這個(gè)不等式是羅-克拉羅和克拉美幾美不等乎同時(shí)提出的，所以稱為也稱為式信息不等式注注（1 1）稱滿足上述兩個(gè)正則條件（）稱滿足上述兩個(gè)正則條件（1 1）和（）

11、和（2 2）的估計(jì)量為正規(guī)估計(jì)。）的估計(jì)量為正規(guī)估計(jì)。（2 2）克拉默）克拉默- -拉奧不等式所規(guī)定的下界不是整個(gè)無偏估計(jì)類的下界，而拉奧不等式所規(guī)定的下界不是整個(gè)無偏估計(jì)類的下界，而是無偏估計(jì)類的一個(gè)子集是無偏估計(jì)類的一個(gè)子集正規(guī)無偏估計(jì)類的下界。正規(guī)無偏估計(jì)類的下界。2222(),( ,)( ,) (6.36)ln(,)() (6.37)IfxfxdxdxfIE 性 質(zhì)為 了 便 于 計(jì) 算 信 息 量下 面 有 一 個(gè) 重 要 性 質(zhì)若則 16.11 (1),0,1( , )0,.xxpppxf x pp例設(shè)母體 服從參數(shù)為 的0-1分布，即其他證明： 的一個(gè)無偏估計(jì) 達(dá)到了羅 可拉美不

12、等式的下界2210,1ln( , ): ln(1)ln(1)1.1ln( , )1() ()(1)11,(1)1( ) (6.39)(1)(1)1( )( ).( )xxxf x pxpxpppxxppfpxxEpppppppI pppDpPD PDnnnI pp證明 由于因此， 的一個(gè)無偏.估計(jì) 達(dá)到了羅 可拉美不等式的下界6.12 ,0,1,( , )!0,.xexf xx例設(shè)母體 服從參數(shù)為 的普哇松分布，即其他證明： 的一個(gè)無偏估計(jì) 達(dá)到了羅 可拉美不等式的下界22ln( , ): lnln( !)1.ln( , )1( )() ( 1) (6.40) 1( )( ).( ).f xx

13、xxfIEEDDDnnnI 證明 由于因此， 的一個(gè)無偏估計(jì) 達(dá)到了羅 可拉美不等式的下界 對于方差達(dá)到對于方差達(dá)到克拉默克拉默- -拉奧不等式所規(guī)定的下界的估計(jì)，給它名稱如下：拉奧不等式所規(guī)定的下界的估計(jì)，給它名稱如下：2111211( )log( , )(). ,()1( ) 6 (6.41)()ln( , ),( )() .4 6.5.DfnEDnIeDfIE 若 的一個(gè)無偏估計(jì) 使羅克拉美不等式中等式成立，則稱 為 的一個(gè)有效估計(jì)若是 的一個(gè)無偏估計(jì) 且羅克拉美不等式中等式下界存在 則稱下界與的比為估計(jì)的有效率 這里定義定義2126.13 ,( ,).nN 例設(shè)是取自正態(tài)母體的一個(gè)子樣

14、，證明： 的一個(gè)無偏估計(jì) 是 的有效估計(jì)22()22222242211(): ln( , )lnln222ln( , )ln( , )11( )() () 1( )( ).( ).xxf xef xxfIEEDDDnnnI 證明 由于因此， 的一個(gè)無偏估計(jì) 是 的有效估計(jì)1( ), 1()( ). 6.1,6.6 .nIenD 若 是 的一個(gè)無偏估計(jì) 且有效率則稱 為 的漸近有效估計(jì)滿足定理中條件得出的估計(jì)是漸近有效估計(jì) 因此它是漸近正態(tài)漸近無偏、漸定系近有效估計(jì)義2122212*2221226.14 ,( ,)1 ().1(2)()1.nniinniiNSnSn 例設(shè)是取自正態(tài)母體的一個(gè)子樣

15、，（1）若 為已知，可以證明是的一個(gè)有效估計(jì)若 為未知,是的一個(gè)無偏估計(jì)，但它不是的一個(gè)有效估計(jì)，而是的一個(gè)漸近有效估計(jì)22()222222222224222462222246641ln(2)(): ln( , ,)ln222ln( , ,)()1ln( , ,)1(); ()22()2ln( , ) (6.37)( ) 1()1()= =22xxf xef xxf xxfIEIE 證明 由于由式得到：442221422422111.22. 1()( ),12() 2 , () 2, .niinniiiinnDnDnD Sn因此羅 可拉美不等式的下界為由于服從分布*2222212224114*

16、222144(1)1(2)()-1)11() () 2(1),12() .(1)1211 ().21nniinniiiinniinSnDDnD SDnnnnennn 由于服從 （，所以有效率為復(fù)習(xí)一致估計(jì)復(fù)習(xí)一致估計(jì)有時(shí)候我們不僅要求估計(jì)量有較小的方差，還有時(shí)候我們不僅要求估計(jì)量有較小的方差，還希望當(dāng)樣本容量希望當(dāng)樣本容量n充分大時(shí)，估計(jì)量能在某種充分大時(shí)，估計(jì)量能在某種意義下收斂于被估計(jì)參數(shù)，這就是所謂相合性意義下收斂于被估計(jì)參數(shù)，這就是所謂相合性（或一致性）概念。（或一致性）概念。 定義定義6.16.1 設(shè)設(shè) 是未知參數(shù)是未知參數(shù) 估計(jì)序列，如果估計(jì)序列，如果 依概率收斂于依概率收斂于 ，

17、即對任意，即對任意 ，有，有 12,.,nnn n0lim|0nnP定理（補(bǔ)充）定理（補(bǔ)充） 設(shè)設(shè) 是是 的一個(gè)估計(jì)量，若的一個(gè)估計(jì)量，若nlim|1nnP或或則則 稱是稱是 的一致估計(jì)量（的一致估計(jì)量（相合估計(jì)相合估計(jì)）。）。n nnElim 0limnnD且且則則 是是 的一致估計(jì)（的一致估計(jì)（相合估計(jì)）相合估計(jì)）。n 0nP221nE證明：證明：由于由于 221nnED22)()(1 nnnEEE令令 且由定理的假設(shè)，得且由定理的假設(shè)，得 n0lim nnP即即 是是 的一致估計(jì)的一致估計(jì)n例（補(bǔ)充）例（補(bǔ)充） 若總體若總體 的的 和和 存在存在,則樣本均值則樣本均值 是總體均值的相合估計(jì)是總體均值的相合估計(jì).ED解解：EElimlim0nnDDn一般地一般地,樣本的樣本的k 階原點(diǎn)矩階原點(diǎn)矩 是總體是總體 的的k 階原點(diǎn)矩階原點(diǎn)矩 的一致估計(jì)的一致估計(jì).由此可見由此可見,矩矩估計(jì)往往是一致估計(jì)估計(jì)往往是一致估計(jì).11nkkiinkE六、小結(jié)估計(jì)量的評選的三個(gè)標(biāo)準(zhǔn)估計(jì)量的評選的三個(gè)標(biāo)準(zhǔn) 無偏估計(jì)無