§6.3

最小方差無偏估計

6.3.1

Rao-Blackwell定理

以下定理說明：好的無偏估計都是充分統(tǒng)計量的函數(shù)。

定理6.3.2

設總體概率函數(shù)是

p(x,

)，x1,x2

,

…,xn

是其樣本，T=T(x1,x2

,

…,xn)是

的充分統(tǒng)計量，則對

的任一無偏估計，令，則也是

的無偏估計，且

定理6.3.2說明：如果無偏估計不是充分統(tǒng)計量的函數(shù)，則將之對充分統(tǒng)計量求條件期望可以得到一個新的無偏估計，該估計的方差比原來的估計的方差要小，從而降低了無偏估計的方差。換言之，考慮

的估計問題只需要在基于充分統(tǒng)計量的函數(shù)中進行即可，該說法對所有的統(tǒng)計推斷問題都是正確的，這便是所謂的充分性原則。

例6.3.1

設x1,x2

,

…,xn是來自b(1,p)的樣本，則是p的充分統(tǒng)計量。為估計

=p2，可令由于，所以是

的無偏估計。這個只使用了兩個觀測值的估計并不好.下面我們用Rao-Blackwell定理對之加以改進：求關于充分統(tǒng)計量的條件期望，得6.3.2

最小方差無偏估計

定義6.3.1

對參數(shù)估計問題，設是

的一個無偏估計，如果對另外任意一個

的無偏估計，在參數(shù)空間Θ上都有

則稱是

的一致最小方差無偏估計，簡記為

UMVUE。如果UMVUE存在，則它一定是充分統(tǒng)計量的函數(shù)。

定理6.3.3

設x=(x1,x2

,

…,xn)是來自某總體的一個樣本，是

的一個無偏估計，如果對任意一個滿足E(

(x))=0的

(x)，都有則是

的UMVUE。關于UMVUE，有如下一個判斷準則。

例6.3.2

設x1,x2

,…,xn是來自指數(shù)分布Exp(1/

)的樣本，則T=x1+…+xn是

的充分統(tǒng)計量，而是

的無偏估計。設

=

(x1,x2,

…,xn)是0的任一無偏估計，則兩端對

求導得這說明，從而，由定理6.3.3，它是

的UMVUE。6.3.3Cramer-Rao不等式

定義6.3.2

設總體的概率函數(shù)P(x,

),

∈Θ滿足下列條件：

(1)參數(shù)空間Θ是直線上的一個開區(qū)間；

(2)支撐S={x:P(x,

)>0}與

無關；

(3)導數(shù)對一切

∈Θ都存在；

(4)對P(x,

)，積分與微分運算可交換次序；

(5)期望存在；則稱為總體分布的費希爾(Fisher)

信息量。

費希爾信息量是數(shù)理統(tǒng)計學中一個基本概念，很多的統(tǒng)計結果都與費希爾信息量有關。如極大似然估計的漸近方差，無偏估計的方差的下界等都與費希爾信息量I(

)有關。I(

)的種種性質顯示，“I(

)越大”可被解釋為總體分布中包含未知參數(shù)

的信息越多。例6.3.3

設總體為泊松分布P(

)分布，則于是例6.3.4

設總體為指數(shù)分布，其密度函數(shù)為

可以驗證定義6.3.2的條件滿足，且于是定理6.3.4（Cramer-Rao不等式）

設定義6.3.2的條件滿足，x1,x2

,

…,xn是來自該總體的樣本，T=T(x1,x2

,

…,xn)是g(

)的任一個無偏估計，存在，且對

∈Θ

中一切

，微分可在積分號下進行，則有

上式稱為克拉美-羅（C-R）不等式;

[g’(θ)]2/(nI(

))稱為g(

)的無偏估計的方差的C-R下界，簡稱g(

)的C-R下界。特別，對

的無偏估計,有;

如果等號成立，則稱T=T(x1,

…,xn)是

g(

)的有效估計，有效估計一定是UMVUE。例6.3.5

設總體分布列為p(x,

)=

x(1-

)1-x,x=0,1，它滿足定義6.3.2的所有條件，可以算得該分布的費希爾信息量為，若x1,x2,

…,xn是該總體的樣本，則

的C-R下界為(nI(

))-1=

(1-

)/n。因為是

的無偏估計，且其方差等于

(1-

)/n，達到C-R下界，所以是

的有效估計，它也是

的UMVUE。例6.3.6

設總體為指數(shù)分布Exp(1/

)，它滿足定義6.3.2的所有條件，例6.3.4中已經(jīng)算出該分布的費希爾信息量為I(

)=

-2，若x1,x2,

…,xn是樣本，則

的C-R下界為(nI(

))-1=

2/n。而是

的無偏估計，且其方差等于

2/n，達到了C-R下界，所以，是

的有效估計，它也是

的UMVUE。能達到C-R下界的無偏估計不多:例6.3.7

設總體為N(0,

2)，滿足定義6.3.2的條件，且費希爾信息量為，令,

則

的C-R下界為,

而

的UMVUE為其方差大于C-R下界。這表明所有

的無偏估計的方差都大于其C-R下界。費希爾信息量的主要作用體現(xiàn)在極大似然估計。

定理6.3.5

設總體X有密度函數(shù)p(x;

)，

∈Θ，

Θ為非退化區(qū)間，假定

(1)對任意的x，偏導數(shù)，和對所有

∈Θ都存在；

(2)?

∈Θ,有，其中函數(shù)F1(x),F2(x),F3(x)可積.