1、第三章 參數(shù)估計Parametric Estimation,數(shù)理統(tǒng)計課題組,本章大綱,點估計的基本概念 置信區(qū)間估計的基本概念 兩種基本的點估計方法 有效估計和C-R下界 充分統(tǒng)計量,學(xué)習(xí)目標(biāo),參數(shù)估計解決問題的基本思想; 幾種點估計方法的優(yōu)缺點; 常見點估計的評價; 掌握大樣本極大似然估計的近似分布; 置信區(qū)間估計的定義和常用求法; 點估計與置信區(qū)間估計的主要區(qū)別.,本章大綱,點估計的基本概念 兩種基本的點估計方法 矩估計 極大似然估計 多項分布的極大似然估計 極大似然估計的漸進分布 置信區(qū)間估計的基本概念 樞軸量的概念 小樣本置信區(qū)間求法 極大似然估計的置信區(qū)間解法 有效估計和C-R下界

2、充分統(tǒng)計量 因子分解定理 Rao-Blackwell定理,1.點估計的基本概念(Point Estimator),點估計: 就是由樣本x1,x2,xn確定一個統(tǒng)計量 用它估計總體的未知參數(shù)，稱為總體參數(shù)的估計量。當(dāng)具體的樣本抽出后，可求得出樣本統(tǒng)計量的值。用它作為總體參數(shù)的估計值，稱作總體參數(shù)的點估計值。,2.兩種基本的點估計方法,矩估計(Moment Estimator) 極大似然估計 (Maximum Likelihood estimator) 多項分布的極大似然估計 極大似然估計的漸進分布 極大似然估計的置信區(qū)間解法,設(shè) 是一隨機變量， 是它的一個樣本。,稱 為樣本的 階原點矩。,若 存

3、在，則稱之為 X 的 階原點矩。記作,若 存在，則稱之為 X 的 階中心矩。記作,稱 為樣本的 階中心矩。,1） 矩估計法,2 點估計的常用方法,設(shè) 是一隨機變量， 是它的一個樣本。,稱 為樣本的 階原點矩。,若 存在，則稱之為 X 的 階原點矩。記作,若 存在，則稱之為 X 的 階中心矩。記作,稱 為樣本的 階中心矩。,1） 矩估計法,2 點估計的常用方法,矩估計的原理： 經(jīng)驗分布趨向于理論分布; 由辛欽大數(shù)定律知,例1 設(shè)某少年兒童出版社每本書發(fā)生錯字的次數(shù)X服從,例2,解：,解得：,例2（續(xù)）,2）極大似然估計法 設(shè)總體X的概率分布為,或概率密度為,其中,是未知參數(shù)。,如何求極大似然估計

4、量呢？,2 點估計的常用方法,2. 點估計的常用方法-極大似然估計,含多個參數(shù),令,似然方程,或,最大似然解,2. 點估計的常用方法-極大似然估計,多項分布參數(shù)的極大似然估計,很多情況下, 假定一個變量X可能取m個狀態(tài),m2,每個狀態(tài)假定可能性為p1,pm, , 獨立進行n次試驗, 用Xi表示第i種狀態(tài)出現(xiàn)的頻數(shù), X1,Xm會有多項分布,例7:Hardy-Weinberg平衡定律,假定基因的頻率在自然界是固定的,基因類型三類:AA,Aa,aa,它們出現(xiàn)的可能性為 其中 是父代為A的可能性, 是父代為a的可能性 需要給出父代 的MLE.,AA Aa aa 合計 342 500 187 1029

5、,解: 對數(shù)似然函數(shù)為,極大似然估計的理論結(jié)果極大似然估計的分布有漸進的正態(tài)分布,3.置信區(qū)間估計的基本概念(Confidential Interval),樞軸量的概念 小樣本置信區(qū)間求法 拔靴法置信區(qū)間求法,置信區(qū)間估計的概念,樣本,使得,置信度1-,3. 置信區(qū)間估計,置信區(qū)間的含義,樣本分布,區(qū)間 （X - ZX ，X + ZX ）,該隨機區(qū)間以(1 - ) % 包含,以 % 不包含.,構(gòu)造置信區(qū)間的一般方法(pilot function),1.,一.總體均值的區(qū)間估計 總體服從正態(tài)分布,2已知時,當(dāng),時，,根據(jù)區(qū)間估計的定義，在1置信度下，總體均值的置信區(qū)間為：,單一總體參數(shù)的區(qū)間估計

6、,即：,從而有,即在1置信度下，的置信區(qū)間為：,單個總體參數(shù)的區(qū)間估計,注意:有很多滿足置信度的置信區(qū)間,+1.65x +2.58x,X,+1.96x,-2.58x -1.65x,-1.96x,1.數(shù)據(jù)的分布離散程度 Measured by 2.樣本容量 X = / n 3.置信水平 (1 - ) Affects Z,影響到區(qū)間精度的量,X - ZX toX + ZX, 1984-1994 T/Maker Co.,例8 已知某零件的直徑服從正態(tài)分布，從該批產(chǎn)品中隨機抽取10件，測得平均直徑為202.5mm，已知總體標(biāo)準(zhǔn)差=2.5mm，試建立該種零件平均直徑的置信區(qū)間，給定置信度為0.95。 解

7、：已知,=202.5,n=10, 1=0.95,單個總體參數(shù)的區(qū)間估計,即,計算結(jié)果為：200.95,204.05,單個總體參數(shù)的區(qū)間估計,2未知時 （1） n30時，只需將2由S2代替即可.,中的用 S近似,( 2 ) n30時，由,所以,即,單個總體參數(shù)的區(qū)間估計,例9某大學(xué)從該校學(xué)生中隨機抽取30人，調(diào)查到他們平均每人每天完成作業(yè)時間為120分鐘，樣本標(biāo)準(zhǔn)差為30分鐘，試以95的置信水平估計該大學(xué)全體學(xué)生平均每天完成作業(yè)時間。 解：,1-=0.95 t/2=2.04,在95的置信度下，的置信區(qū)間為,單個總體參數(shù)的區(qū)間估計舉例,二.總體方差的區(qū)間估計,單個總體參數(shù)的區(qū)間估計,所以在1-置信

8、度下：,2的置信區(qū)間,總體標(biāo)準(zhǔn)差 的置信區(qū)間為,單個總體參數(shù)的區(qū)間估計,比例的置信區(qū)間的例子,400個畢業(yè)生中有32名進入研究生學(xué)習(xí)，構(gòu)造 p 的95% 置信區(qū)間估計： R程序: p.hat=32/400 n=400 alpha=0.05 L=p.hat-qnorm(1-alpha/2,0,1)*sqrt(p.hat*(1-p.hat)/n) U=p.hat+qnorm(1-alpha/2,0,1) *sqrt(p.hat*(1-p.hat)/n),樣本量 由,1、正態(tài)： 2、比例： （1）總體的方差越大，需要的樣本量越大。 （2）樣本量n和置信區(qū)間長度的平方成反比。 （3）置信度越高，樣本量

9、越大。,在總體均值的區(qū)間估計時，半置信區(qū)間的寬度為：,需要考慮問題：,(1)要求什么樣的精度？即我們想構(gòu)造多寬的區(qū)間？ (2)對于構(gòu)造的置信區(qū)間來說，想要多大的置信度？即我們想要多大的可靠度？,樣本量的確定,樣本容量n與總體方差、允許誤差、置信度有以下關(guān)系：,必要樣本容量n 與總體方差成正比。,2在給定的置信水平下，允許誤差越大，樣本容量就可以越小。,3.樣本容量n與置信度成正比。,估計總體均值時，樣本量的確定,例10 一家廣告公司想估計某類商店去年所花的平均廣告費有多少。經(jīng)驗表明，總體方差約為1 800 000。如置信度取95%，并要使估計值處在總體平均值附近500元的范圍內(nèi)，這家廣告公司應(yīng)

10、取多大的樣本？,解：已知,這家廣告公司應(yīng)抽選28個商店作樣本（注意抽取樣本數(shù)總是整數(shù)，所以n應(yīng)圓整成整數(shù)）。,估計總體均值時，樣本量的確定,估計總體比例時，允許誤差為：,由上式可得出估計總體比例時，確定必要樣本容量的公式。由于總體比率是未知的，因此要用樣本比率代替,估計總體比例時，樣本量的確定,例11 一家市場調(diào)研公司想估計某地區(qū)有健身器材的家庭所占的比例。該公司希望對p 的估計誤差不超過0.05, 要求的可靠程度為95%，應(yīng)取多大量的樣本？沒有可利用的 估計值。 解：對于服從二項分布的隨機變量，當(dāng),時，其方差達到最大值。因此，在無法得到,值時，可以用,計算。,已知：,由于,的估計值未知，可以

11、采用,計算必要的樣本量：,估計總體比例時，樣本量的確定,故為了以95%的可靠度保證估計誤差不超過0.05，應(yīng)取385戶進行調(diào)查。,估計總體比例時，樣本量的確定,注意：比例近似正態(tài)分布時所要求的樣本量,一、兩個總體均值之差的估計,設(shè)兩總體XN(1，12)，YN(2，22)，,由兩總體分別獨立的抽取容量為n1和n2的樣本，,兩個正態(tài)總體參數(shù)的比較,1.兩個總體方差12，22，已知，,在1-置信度下，1-2的置信區(qū)間為,兩個正態(tài)總體參數(shù)的比較,2.兩個總體方差12，22，未知，,（1）1222，且兩樣本容量均30，,由S12和 S22分別估計12和22，即可,（2）12=22=2，2未知，,兩個正態(tài)

12、總體參數(shù)的比較,1222 且兩樣本 均很大時,由S12和 S22分別估計12和22，即可,兩個正態(tài)總體參數(shù)的比較,12=22=2 2未知,在1-置信度下，1-2的置信區(qū)間為,兩個正態(tài)總體參數(shù)的比較,兩個正態(tài)總體參數(shù)的比較,二 、兩個總體方差比的置信區(qū)間估計,由于,兩個正態(tài)總體參數(shù)的比較,在1-置信度下，1222的置信區(qū)間為,兩個正態(tài)總體參數(shù)的比較,三、 兩個總體比例之差的區(qū)間估計,設(shè)兩個總體比例分別為P1和P2，為了估計P1-P2，分別從兩個總體中各隨機抽取容量為n1和n2的兩個隨機樣本，并計算兩個樣本的比例,兩個正態(tài)總體參數(shù)的比較,其中，,在1-置信度下，p1-p2的置信區(qū)間為,兩個正態(tài)總體

13、參數(shù)的比較,例12某減肥用品公司對其所作的報紙廣告在兩個城市的效果進行了比較，其分別從兩個城市中隨機抽取了800名成年人，其中看過該廣告的比例分別為, , 試求:兩城市中看過該廣告的成年人比例之差的置信度為95%的置信區(qū)間:,解：由于n1，n2均為大樣本，,1-=0.95，/2=1.96,兩個正態(tài)總體參數(shù)的比較,p1-p2的置信區(qū)間為,故在95%置信度下，p1-p2的置信區(qū)間為（0.011，0.049）。,兩個正態(tài)總體參數(shù)的比較,4.有效估計和C-R下界,有效估計 Cramer-Rao下界,羅克拉美不等式(Cramer-Rao),兩個以上的 無偏估計量,具有最小方差,最小方差無偏估計量,一個估

14、計量,羅克拉美不等式,檢驗,非最佳無偏 估計量,2. 衡量估計量優(yōu)劣的標(biāo)準(zhǔn),羅克拉美不等式 對于一個無偏估計量 的方差 在分布為正則的條件下，其方差不會小于一個正數(shù)，這個正數(shù)是 的下限，它依賴于總體的概率密度函數(shù)和樣本量n 即:,注：當(dāng) 等于不等式右端時，這時稱 為最佳 無偏估計量。,2.衡量估計量優(yōu)劣的標(biāo)準(zhǔn),例1若 ， 是總體均值的最優(yōu)無偏估計量。 證,2.衡量估計量優(yōu)劣的標(biāo)準(zhǔn),5.充分統(tǒng)計量的概念(Sufficiency),充分統(tǒng)計量 因子分解定理 Rao-Blackwell定理,如何改進你的估計(Rao-Blackwell 定理),如果你設(shè)計了一個估計 假定T是一個充分統(tǒng)計量,那么 不等號成立當(dāng)且僅當(dāng),1).無偏性 (unbiasedness) 設(shè)為總體未知參數(shù)的估計量 若,則稱是的無偏估計量，稱具有無偏性。如果,是有偏估計量，則它的偏差為,偏差=,4.衡量估計量優(yōu)劣的標(biāo)準(zhǔn),注:,具有無偏性。,，,對于,，,具有無偏性,2.衡量估計量優(yōu)劣的標(biāo)準(zhǔn),但S不是 的無偏估