數(shù)理統(tǒng)計與隨機過程第七章參數(shù)估計第七章:參數(shù)估計數(shù)理統(tǒng)計的任務：

●總體分布類型的判斷；

●總體分布中未知參數(shù)的推斷(參數(shù)估計與

假設檢驗)。參數(shù)估計問題的一般提法

設總體

X

的分布函數(shù)為

F(x,θ)，其中θ為未知參數(shù)或參數(shù)向量，現(xiàn)從該總體中抽樣,得到樣本X1,X2,…,Xn

.

依樣本對參數(shù)θ做出估計，或估計參數(shù)θ的某個已知函數(shù)g(θ)。

這類問題稱為參數(shù)估計。參數(shù)估計包括：點估計和區(qū)間估計。

稱該計算值為

μ

的一個點估計。

為估計參數(shù)μ，需要構造適當?shù)慕y(tǒng)計量

T(

X1,X2,…,Xn

)，一旦當有了樣本，就將樣本值代入到該統(tǒng)計量中，算出一個值作為

μ

的估計，尋求估計量的方法1.矩估計法2.極大似然法3.最小二乘法4.貝葉斯方法

…我們僅介紹前面的兩種參數(shù)估計法。其思想是:用同階、同類的樣本矩來估計總體矩。

矩估計是基于“替換”思想建立起來的一種參數(shù)估計方法。

最早由英國統(tǒng)計學家K.

皮爾遜

提出。§7.1矩估計矩估計就是用相應的樣本矩去估計總體矩。設總體

X

的分布函數(shù)中含

k

個未知參數(shù)步驟一：記總體

X

的

m

階原點矩

E(Xm)為

am

,

m

=

1,2,…,k.am(1,2,…,k),

m=1,2,…,k.

一般地,am(m

=

1,2,

…,K)是總體分布中參數(shù)或參數(shù)向量(1,

2,

…,

k)

的函數(shù)。

故,am(m=1,

2,…,k)應記成:步驟二：算出樣本的

m

階原點矩步驟三：令

得到關于

1,2,…,k

的方程組(L≥k)。一般要求方程組(1)中有

k

個獨立方程。步驟四：解方程組(1),并記其解為

這種參數(shù)估計法稱為參數(shù)的矩估計法，簡稱矩法。解：先求總體的期望例1：設總體

X

的概率密度為由矩法，令樣本矩總體矩解得為α

的矩估計。注意：要在參數(shù)上邊加上“^”，表示參數(shù)的估計。它是統(tǒng)計量。解:

先求總體的均值和

2

階原點矩。例2：設

X1,X2,…Xn

是取自總體

X

的簡單樣本,X有概率密度函數(shù)

用樣本矩估計總體矩得列出方程組:例3：設總體X的均值為，方差為2，求

和2的矩估計。解：由

故，均值,方差2的矩估計為求解，得如：正態(tài)總體N(

,2)中

和2的矩估計為又如：若總體X～

U(a,b)，求a,b的矩估計。解：列出方程組因

解上述方程組，得到

a,b

的矩估計:

矩估計的優(yōu)點是：簡單易行,不需要事先知道總體是什么分布。

缺點是：當總體的分布類型已知時，未充分利用分布所提供的信息；此外，一般情形下，矩估計不具有唯一性?！?.2極大似然估計

極大似然估計法是在總體的分布類型已知前提下，使用的一種參數(shù)估計法。

該方法首先由德國數(shù)學家高斯于1821年提出，其后英國統(tǒng)計學家費歇于1922年發(fā)現(xiàn)了這一方法，研究了方法的一些性質，并給出了求參數(shù)極大似然估計一般方法——極大似然估計原理。I.極大似然估計原理

設總體

X

的分布

(連續(xù)型時為概率密度，離散型時為概率分布)

為f(x,

θ)

,X1,

X2,

…,Xn

是抽自總體

X

的簡單樣本。于是，樣本的聯(lián)合概率函數(shù)(連續(xù)型時為聯(lián)合概率密度，離散型時為聯(lián)合概率分布)

為

被看作固定，但未知的參數(shù)視為變量將上式簡記為

L(θ)，即稱L(θ)為θ的似然函數(shù)。視為變量視為固定值

假定我們觀測到一組樣本X1,X2,…,

Xn，要去估計未知參數(shù)θ

。稱為θ的極大似然估計(MLE)。

一種直觀的想法是：哪個參數(shù)(多個參數(shù)時是哪組參數(shù))使得這組樣本出現(xiàn)的可能性(概率)最大，就用那個參數(shù)(或哪組參數(shù))作為參數(shù)的估計。這就是極大似然估計原理。即，如果θ可能變化空間,稱為參數(shù)空間。(4).在最大值點的表達式中，代入樣本值，就得參數(shù)θ的極大似然估計。II.求極大似然估計(MLE)的一般步驟.由總體分布導出樣本的聯(lián)合概率函數(shù)(連續(xù)型時為聯(lián)合概率密度,離散型時為聯(lián)合概率分布)；(2).把樣本的聯(lián)合概率函數(shù)中的自變量看成已知常數(shù),參數(shù)θ看成自變量,得到似然函數(shù)L(θ)；(3).求似然函數(shù)L(θ

)的最大值點(常常轉化為求ln

L(θ)的最大值點)，即θ的MLE;兩點說明：●求似然函數(shù)

L(θ)

的最大值點，可應用微積分中的技巧。由于

ln(x)

是

x

的增函數(shù)，所以

ln

L(θ)

與

L(θ)

在θ的同一點處達到各自的最大值。假定θ是一實數(shù),ln

L(θ)是θ的一個可微函數(shù)。通過求解似然方程可以得到θ的MLE?！裼蒙鲜龇椒ㄇ髤?shù)的極大似然估計有時行不通，這時要用極大似然原理來求。若θ是向量，上述似然方程需用似然方程組代替。III.下面舉例說明如何求參數(shù)的MLE例1:

設X1,X2,…,Xn是取自總體X~B(1,p)的一個樣本，求參數(shù)p

的極大似然估計。解：似然函數(shù)為對數(shù)似然函數(shù)為：對

p

求導，并令其等于零，得上式等價于解上述方程，得換成換成例2：求正態(tài)總體

N(,2)參數(shù)

和

2

的極大似然估計(注:我們把

2

看作一個參數(shù))。解：似然函數(shù)為對數(shù)似然函數(shù)為

似然方程組為由第一個方程，得到代入第二方程，得到

是L(,2)的最大值點，即

和

2

的極大似然估計。

下面驗證：似然方程組的唯一解是似然函數(shù)的最大值點。例3：設總體

X

服從泊松分布P(

)，求參數(shù)的極大似然估計。解：由

X

的概率分布函數(shù)為得的似然函數(shù)似然方程為對數(shù)似然函數(shù)為其解為換成換成得的極大似然估計例4：設

X

～U(a,b)，求a,b的極大似然估計。

解：因所以

由上式看到：L(a,b)作為a和b的二元函數(shù)是不連續(xù)的，所以我們不能用似然方程組來求極大似然估計，而必須從極大似然估計的定義出發(fā)，求L(a,b)的最大值。

為使

L(a,b)

達到最大，b-a

應該盡量地小。但

b不能小于

max{x1,x2,…,xn}。否則，L(a,b)=0。類似地，a

不能大于min{x1,x2,…,xn}。因此，a

和

b

的極大似然估計為解：似然函數(shù)為例5：設X1,X2,…,Xn

是抽自總體

X

的一個樣本，X

有如下概率密度函數(shù)其中θ

>0為未知常數(shù)。求θ的極大似然估計。也可寫成求導并令其導數(shù)等于零，得解上述方程，得

從前面兩節(jié)的討論中可以看到:●同一參數(shù)可以有幾種不同的估計，這時就需要判斷采用哪一種估計為好的問題?！窳硪环矫?，對于同一個參數(shù)，用矩法和極大似然法即使得到的是同一個估計,也存在衡量這個估計優(yōu)劣的問題。估計量的優(yōu)良性準則就是：評價一個估計量“好”與“壞”的標準?！?.3估計量的優(yōu)良性準則

設總體的分布參數(shù)為θ

，對一切可能的θ成立,則稱為的無偏估計。7.3.1無偏性

對于樣本X1,X2,,Xn的不同取值，取不同的值

)。

如果的均值等于θ，即簡記為是θ

的一個估計(注意!它是一個統(tǒng)計量，是隨機變量。參數(shù)，有時可能估計偏高，有時可能偏低，但是平均來說它等于?！耙磺锌赡艿?/p>

”是指：在參數(shù)估計問題中，參數(shù)

一切可能的取值。我們之所以要求對一切可能的

都成立，是因為在參數(shù)估計問題中,我們并不知道參數(shù)的真實取值。自然要求它在參數(shù)的一切可能取值的范圍內都成立說明：無偏性的意義是：用估計量估計例1：設

X1,X2,…,Xn

為抽自均值為的總體X的隨機樣本，考慮

的如下幾個估計量：例如：若指的是正態(tài)總體N(

,2)的均值,則其一切可能取值范圍是(-∞,∞)。若指的是方差2，則其一切可能取值范圍是(0,∞)。

定理1：設總體

X

的均值為,方差為2,X1,X2,…,Xn

為來自總體

X的隨機樣本，記與分別為樣本均值與樣本方差，即

即樣本均值和樣本方差分別是

總體均值

和總體方差

的無偏估計。證明：因為

X1,X2,…,Xn

獨立同分布，且E(Xi

)=μ

,所以另一方面，因于是，有注意到

前面兩節(jié)中，我們曾用矩法和極大似然法分別求得了正態(tài)總體N(μ

,σ2)中參數(shù)

σ2

的估計,均為很顯然，它不是

σ2

的無偏估計。這正是我們?yōu)槭裁匆獙⑵浞帜感拚秊閚-1，獲得樣本方差S2來估計

σ2

的理由。例2：求證：樣本標準差S不是總體標準差的無偏估計。證明：因

E(S2)=2，所以，D(S)+[E(S)]2=

2，由

D(S)＞0，知

[E(S)]2=

2-D(S)＜

2.所以，E(S)＜.故，S

不是

的無偏估計。例3：設總體

X的

k階原點距為

ak=E(Xk)，X1,X2,…,Xn是X的隨機樣本，樣本

k

階原點距為Ak,則Ak是

ak的無偏估計，k=1,2,…。證明：因X1,X2,…,Xn獨立，且與

X

同分布，故即，Ak是

ak的無偏估計。

這就是人們?yōu)槭裁闯Ｓ脴颖?/p>

k

階矩估計總體

k

階矩的主要原因之一。例4：設總體

X

服從參數(shù)為θ

的指數(shù)分布，即其概率密度函數(shù)為證明：設Z的分布函數(shù)為

FZ(z,θ)，先求分布函數(shù)，然后導出

Z

的概率密度函數(shù)及

E(nZ)。若

X1,X2,…,Xn

是

X

的隨機樣本，記則

nZ

為θ

的無偏估計。

因X1,X2,…,Xn獨立，且與

X

同分布，所以，對任意給定的

Z>0,有于是，E(Z)=θ/n，E(nZ)=θ

，即

nZ

為θ

的無偏估計。

用估計量估計，估計誤差7.3.2均方誤差準則

是隨機變量，通常用其均值衡量估計誤差的大小。要注意:為了防止求均值時正、負誤差相互抵消，我們先將其平方后再求均值，并稱其為均方誤差，記成，即

哪個估計的均方誤差小，就稱哪個估計比較優(yōu)，這種判定估計優(yōu)劣的準則為“均方誤差準則”。注意：均方誤差可分解成兩部分:證明：

上式表明，均方誤差由兩部分構成：第一部分是估計量的方差，第二部分是估計量的偏差的平方和。

注意：如果一個估計量是無偏的，則第二部分是零，則有:

如果兩個估計都是無偏估計，這時哪個估計的方差小，哪個估計就較優(yōu)。這種判定估計量優(yōu)劣的準則稱為方差準則。例5：設

X1,X2,…,Xn

為抽自均值為

的總體,考慮

的如下兩個估計的優(yōu)劣：

我們看到:顯然兩個估計都是的無偏估計。計算二者的方差：這表明：當用樣本均值去估計總體均值時，使用全樣本總比不使用全樣本要好。

前面討論了參數(shù)的點估計。點估計就是利用樣本計算出的值

(即實軸上點)來估計未知參數(shù)?！?.4區(qū)間估計

其優(yōu)點是：可直地告訴人們“未知參數(shù)大致是多少”；

缺點是：并未反映出估計的誤差范圍(精度)。故，在使用上還有不盡如人意之處。

而區(qū)間估計正好彌補了點估計的這一不足之處。

例如：在估計正態(tài)總體均值

μ

的問題中,若根據(jù)一組實際樣本，得到

μ

的極大似然估計為

10.12。

一個可以想到的估計辦法是：給出一個區(qū)間，并告訴人們該區(qū)間包含未知參數(shù)

μ

的可靠度(也稱置信系數(shù))。

實際上，μ的真值可能大于10.12，也可能小于10.12。

也就是說，給出一個區(qū)間，使我們能以一定的可靠度相信區(qū)間包含參數(shù)μ

。

這里的“可靠度”是用概率來度量的，稱為置信系數(shù)，常用表示

置信系數(shù)的大小常根據(jù)實際需要來確定，通常取0.95或0.99，即

根據(jù)實際樣本，由給定的置信系數(shù)，可求出一個盡可能短的區(qū)間，使

為確定置信區(qū)間，我們先回顧前面給出的隨機變量的上α

分位點的概念。

書末附有χ2分布、t

分布、F分布的上側分位數(shù)表可供使用?，F(xiàn)在回到尋找置信區(qū)間問題上來。區(qū)間估計的定義定義1：實際應用上，一般取

α

=0.05或

0.01?！?.5正態(tài)總體參數(shù)的區(qū)間估計

根據(jù)基本定理(見定理6.4.1)，知7.5.1單正態(tài)總體參數(shù)的區(qū)間估計也可簡記為于是，μ的置信區(qū)間為例1:

某廠生產的零件長度

X

服從

N(

,0.04),現(xiàn)從該廠生產的零件中隨機抽取6個，長度測量值如下(單位:毫米):

14.6,15.l,14.9,14.8,15.2,15.1.求:μ的置信系數(shù)為0.95的區(qū)間估計。解：n=6，=0.05，z/2=z0.025=1.96，2=0.22

.所求置信區(qū)間為當方差未知時，取●

μ

的區(qū)間估計于是，μ的置信系數(shù)為1-α

的區(qū)間估計為也可簡記為●

σ2

的區(qū)間估計例2：為估計一物體的重量μ，將其稱量10次,得到重量的測量值(單位:千克)如下:10.l,10.0,9.8,10.5,9.7,l0.l,9.9,10.2,10.3,9.9.設它們服從正態(tài)分布

N(,2)。求的置信系數(shù)為0.95的置信區(qū)間。解:

n=10,=0.05,t9(0.025)=2.2622,例3(續(xù)例2):

求2的置信系數(shù)為0.95的置信區(qū)間。解：n=10,

=0.05,S2=0.0583,查附表得，

于是，7.5.2兩個正態(tài)總體的情況

在實際應用中，我們經常會遇到兩個正態(tài)總體均值差和方差之比的區(qū)間估計問題。

于是,評價新技術的效果問題，就歸結為研究兩個正態(tài)總體均值之差

1-2

與與方差之比12/22的問題。例如:考察一項新技術對提高產品某項質量指標的作用,將實施新技術前產品質量指標看成正態(tài)總體

N(1,

12)，實施新技術后產品質量指標看成正態(tài)總體

N(2,22)。

定理1：設

X1,X2,···,Xm是抽自正態(tài)總體X

的簡單樣本，X～N(1,12)，樣本均值與樣本方差分別為Y1,Y2,···,

Yn

是抽自正態(tài)總體

Y

的簡單樣本，Y

～N(2,22)，樣本均值與樣本方差分別為I.兩個正態(tài)總體均值差的區(qū)間估計當兩樣本相互獨立時，有證明:1).由基本定理(見定理6.4.1)，知

故，(4)式成立；且二者相互獨立。且(6)式與(7)式中的隨機變量相互獨立。由t分布的定義，有N(0,1)χ

2m+n-2換形式~t

m+n

-2

.

分母互換

利用該定理，我們可以得到μ1-μ2

的置信系數(shù)為

1-α的置信區(qū)間。例4

(比較棉花品種的優(yōu)劣)：假設用甲、乙兩種棉花紡出的棉紗強度分別為

X～N(1,2.182)和Y～N(2,1.762)。試驗者從這兩種棉紗中分別抽取樣本X1,X2,…,X200和

Y1,Y2,…,Y100，樣本均值分別為:

求1-2的置信系數(shù)為

0.95

的區(qū)間估計。

解:

1=2.18,

2=1.76,m=200,n=100,=0.05,由(8)式，得

1-

2

的置信系數(shù)為

1-的置信區(qū)間為例5：某公司利用兩條自動化流水線灌裝礦泉水。設這兩條流水線所裝礦泉水的體積(單位:毫升)X～N(1,2)和

Y～N(2,2)?，F(xiàn)從生產線上分別抽取

X1,X2,…,X12

和

Y1,Y2,…,

Y17，樣本均值與樣本方差分別為:求

1-

2的置信系數(shù)為0.95的區(qū)間估計。解：m=12,n=17,=0.05，再由其他已知條件及(10)式，可算出查

t

分布表，得

tm+n-2(α

/2)=

t27(0.025)=2.05.再由(9)式，得

1-

2

的置信系數(shù)為

1-的置信區(qū)間

在這兩個例子中，

1-

2

的置信區(qū)間都包含了零，也就是說：

1可能大于

2，也可能小于

2。這時我們認為二者沒有顯著差異。

II.兩個正態(tài)總體方差比的區(qū)間估計

定理2：設

X1,X2,···,Xm是抽自正態(tài)總體X

的簡單樣本，X～N(1,12)，樣本均值與樣本方差分別為Y1,Y2,···,

Yn

是抽自正態(tài)總體

Y

的簡單樣本，Y

～N(2,22)，樣本均值與樣本方差為由定理2，易得到兩個正態(tài)總體方差之比的置信系數(shù)為1-α

置信區(qū)間為：例5：研究機器A和機器B生產的鋼管的內徑,隨機抽取A生產的鋼管18根,測得樣本方差0.34

(mm2);隨機抽取B生產的鋼管13根,測得樣本方差為0.29(mm2)。設兩樣本相互獨立,且機器A和機器B生產的鋼管的內徑分別服從正態(tài)分布N(1,2)與

N(2,2)。求的置信水平為0.90的置信區(qū)間。

解:

由m=18,n=13,S12=0.34,S22=0.29,

=0.10

及(11)式，得

的置信系數(shù)為

0.90

的置信區(qū)間為§7.6非正態(tài)總體的區(qū)間估計

前面兩節(jié)討論了正態(tài)總體分布參數(shù)的區(qū)間估計。但是在實際應用中，我們有時不能判斷手中的數(shù)據(jù)是否服從正態(tài)分布，或者有足夠理由認為它們不服從正態(tài)分布。這時，只要樣本大小

n

比較大，總體均值

μ

的置信區(qū)間仍可用正態(tài)總體情形的公式或σ2已知時σ2未知時所不同的是：這時的置信區(qū)間是近似的。

這是求一般總體均值的一種簡單有效的方法，其理論依據(jù)是中心極限定理，它要求樣本大小

n

比較大。因此，這個方法稱為大樣本方法。

設總體均值為μ,方差為σ2,

X1,X2,…,Xn

為來自總體的樣本。因為這些樣本獨立同分布的，根據(jù)中心極限定理，對充分大的n,下式近似成立因而，近似地有

于是，μ

的置信系數(shù)約為1-α

的置信區(qū)間為當σ2未知時，用σ2的某個估計，如

S2

來代替，得到只要

n

很大，(2)式所提供的置信區(qū)間在應用上是令人滿意的。

那么，n

究竟多大才算很大呢？

顯然，對于相同的

n

,(2)式所給出的置信區(qū)間的近似程度隨總體分布與正態(tài)分布的接近程度而變化，因此，理論上很難給出n

很大的一個界限。

但許多應用實踐表明：當n≥30時，近似程度是可以接受的；當n≥50時，近似程度是很好的。例1：某公司欲估計自己生產的電池壽命?，F(xiàn)從其產品中隨機抽取

50

只電池做壽命試驗。這些電池壽命的平均值為

2.261

(單位：100小時)，標準差

S=1.935。求該公司生產的電池平均壽命的置信系數(shù)為

95%

的置信區(qū)間。

解：查正態(tài)分布表，得zα

/2=z0.025=1.96，由公式(2)，得電池平均壽命的置信系數(shù)為

95%

的置信區(qū)間為

設事件

A

在一次試驗中發(fā)生的概率為

p，現(xiàn)在做

n

次試驗，以Yn記事件

A

發(fā)生的次數(shù),則

Yn~B(n,p)。依中心極限定理，對充分大的

n，近似地有

7.6.1二項分布

(3)式是(1)式的特殊情形。

(4)式就是二項分布參數(shù)

p

的置信系數(shù)約為1-α

的置信區(qū)間。例2：商品檢驗部門隨機抽查了某公司生產的產品100件，發(fā)現(xiàn)其中合格產品為84件，試求該產品合格率的置信系數(shù)為0.95的置信區(qū)間。解：n=100,Yn=84,α

=0.05,zα/2=1.96,將這些結果代入到(4)式，得p

的置信系數(shù)為0.95的近似置信區(qū)間為[0.77,0.91]。例3：在環(huán)境保護問題中,飲水質量研究占有重要地位，其中一項工作是檢查飲用水中是否存在某種類型的微生物。假設在隨機抽取的100份一定容積的水樣品中有20份含有這種類型的微生物。試求同樣容積的這種水含有這種微生物的概率

p

的置信系數(shù)為0.90的置信區(qū)間。解：n=100,Yn=20,α

=0.10,zα/2=1.645,將這些結果代入到(4)式，得

p

的置信系數(shù)為0.90的近似置信區(qū)間為[0.134,0.226]。7.6.2泊松分布

設X1,X2,…,Xn

為抽自具有泊松分布P(λ

)的總體的樣本，因為

E(X)=D(X)=

λ

，應用(2)式，并用例4：公共汽車站在一單位時間內(如半小時,或1小時,或一天等)到達的乘客數(shù)服從泊松分布P(

λ

),對不同的車站,不同的僅是參數(shù)

λ

的取值不同?，F(xiàn)對某城市某公共汽車站進行100個單位時間的調查。這里單位時間是20分鐘。計算得到每

20

分鐘內來到該車站的乘客數(shù)平均值為

15.2

人。試求參數(shù)

λ

的置信系數(shù)為95%的置信區(qū)間。

解:

n=100,α=0.05,zα

/2=1.96,將這些結果代入到(5)式,得λ

的置信系數(shù)為0.95的近似置信區(qū)間為[14.44,15.96]。1、隨機地取8只活塞環(huán)，測得他們的直徑為(以mm計)74.001 74.005 74.003 74.00174.000 73.998 74.006 74.002求總體均值及方差2的矩估計值，并求樣本方差s2。解：總體均值的矩估計值,總體方差2的矩估計值分別為由給出的觀察值得事實上,只需將觀察值輸入具有統(tǒng)計功能的計算器,就能直接讀出,讀者應掌握計算器的統(tǒng)計功能的用法2、設X1,X2,···,Xn為總體的一個樣本，x1,x2