1、第一節(jié) 參數(shù)的點估計,點估計的概念 求估計量的方法 課堂練習(xí) 小結(jié) 與 作業(yè),引言,上一講，我們介紹了總體、樣本、簡單隨機樣本、統(tǒng)計量和抽樣分布的概念，介紹了統(tǒng)計中常用的三大分布，給出了幾個重要的抽樣分布定理 . 它們是進一步學(xué)習(xí)統(tǒng)計推斷的基礎(chǔ) .,現(xiàn)在我們來介紹一類重要的統(tǒng)計推斷問題,參數(shù)估計問題是利用從總體抽樣得到的信息來估計總體的某些參數(shù)或者參數(shù)的某些函數(shù).,參數(shù)估計,估計廢品率,估計新生兒的體重,估計湖中魚數(shù), ,估計降雨量,在參數(shù)估計問題 中，假定總體分 布形式已知，未 知的僅僅是一個 或幾個參數(shù).,這類問題稱為參數(shù)估計.,參數(shù)估計問題的一般提法,X1,X2,Xn,現(xiàn)從該總體抽樣，得

2、樣本,參數(shù)估計,點估計,區(qū)間估計,（假定身高服從正態(tài)分布 ）,設(shè)這5個數(shù)是:,1.65 1.67 1.68 1.78 1.69,估計 為1.68，,這是點估計.,這是區(qū)間估計.,例如我們要估計某隊男生的平均身高.,現(xiàn)從該總體選取容量為5的樣本，我們的任務(wù)是要根據(jù)選出的樣本（5個數(shù)）求出總體均值 的估計. 而全部信息就由這5個數(shù)組成 .,一、點估計概念,隨機抽查100個嬰兒 ,得100個體重數(shù)據(jù),10,7,6,6.5,5,5.2, ,而全部信息就由這100個數(shù)組成 .,為估計 :,我們需要構(gòu)造出適當(dāng)?shù)臉颖镜暮瘮?shù) T(X1,X2,Xn) ， 每當(dāng)有了樣本，就代入該函數(shù)中算出一個值，用來作為 的估計

3、值 .,把樣本值代入T(X1,X2,Xn) 中，,估計值 .,得到 的一個點,我們知道,若 ,由大數(shù)定律,自然想到把樣本體重的平均值作為總體平均體重的一個估計.,樣本體重的平均值,則 .,用樣本體重的均值 估計 .,類似地，用樣本體重的方差 估計 .,使用什么樣的統(tǒng)計量去估計 ？,可以用樣本均值;,也可以用樣本中位數(shù);,還可以用別的統(tǒng)計量 .,問題是:,二、尋求估計量的方法,1. 矩估計法,2. 極大似然法,3. 最小二乘法,4. 貝葉斯方法,這里我們主要介紹前面兩種方法 .,1. 矩估計法,矩估計法是英國統(tǒng)計學(xué)家K.皮爾遜 最早提出來的 .,由辛欽定理 ,若總體 的數(shù)學(xué)期望 有限,則有,其中

4、 為連續(xù)函數(shù) .,這表明 , 當(dāng)樣本容量很大時 , 在統(tǒng)計上 , 可以用 用樣本矩去估計總體矩 . 這一事實導(dǎo)出矩估計法.,理論依據(jù):,大數(shù)定律,矩估計法的具體做法如下,都是這 k 個參數(shù)的函數(shù),記為：,i=1,2, ,k,從這 k 個方程中解出,j=1,2,k,j=1,2,k,那么用諸 的估計量 Ai 分別代替上式中的諸 ,即可得諸 的矩估計量 ：,矩估計量的觀察值稱為矩估計值 .,例2 設(shè)總體 X 在 a , b 上服從均勻分布 , a , b 未知 . 是來自 X 的樣本 , 試求 a , b 的矩估計量 .,解,即,解得,于是 a , b 的矩估計量為,樣本矩,總體矩,解,例3 設(shè)總體

5、 X 的均值 和方差 都存在 , 未知 . 是來自 X 的樣本 , 試求 的矩估計量 .,解得,于是 的矩估計量為,樣本矩,總體矩,矩法的優(yōu)點是簡單易行,并不需要事先知道總體是什么分布 .,缺點是，當(dāng)總體類型已知時，沒有充分利用分布提供的信息 . 一般場合下,矩估計量不具有唯一性 .,其主要原因在于建立矩法方程時，選取那些總體矩用相應(yīng)樣本矩代替帶有一定的隨意性 .,三、課堂練習(xí),例 2 設(shè)X1,X2,Xn是取自總體 X 的一個樣本,其中 0 , 求 的矩估計.,2. 最大似然法,它是在總體類型已知條件下使用的一種參數(shù)估計方法 .,它首先是由德國數(shù)學(xué)家高斯在 1821年提出的 .,Gauss,F

6、isher,然而,這個方法常歸功于英國統(tǒng)計學(xué)家費歇 .,費歇在1922年重新發(fā)現(xiàn)了這一方法，并首先研究了這種方法的一些性質(zhì) .,最大似然法的基本思想,先看一個簡單例子：,一只野兔從前方竄過 .,是誰打中的呢？,某位同學(xué)與一位獵人一起外出打獵 .,如果要你推測，,你會如何想呢?,只聽一聲槍響，野兔應(yīng)聲倒下 .,你就會想，只發(fā)一槍便打中, 獵人命中的概率一般大于這位同學(xué)命中的概率 . 看來這一槍是獵人射中的 .,這個例子所作的推斷已經(jīng)體現(xiàn)了極大似然法的基本思想 .,最大似然估計原理：,當(dāng)給定樣本X1,X2,Xn時，定義似然函數(shù)為：,設(shè)X1,X2,Xn是取自總體X的一個樣本，樣本的聯(lián)合密度(連續(xù)型）

7、或聯(lián)合分布律 (離散型)為 f (x1,x2, ,xn ; ) .,這里 x1, x2 , xn 是樣本的觀察值 .,似然函數(shù)：,最大似然估計法就是用使 達到最大值的 去估計 .,稱 為 的最大似然估計值 .,看作參數(shù) 的函數(shù)，它可作為 將以多大可 能產(chǎn)生樣本值 x1, x2, ,xn 的一種度量 .,而相應(yīng)的統(tǒng)計量,稱為 的最大似然估計量 .,兩點說明：,1、求似然函數(shù)L( ) 的最大值點，可以應(yīng)用微積分中的技巧。由于ln(x)是 x 的增函數(shù), lnL( )與L( )在 的同一值處達到它的最大值，假定 是一實數(shù)，且lnL( )是 的一個可微函數(shù)。通過求解方程：,可以得到 的MLE .,若

8、是向量，上述方程必須用方程組代替 .,2、用上述求導(dǎo)方法求參數(shù)的MLE有時行不通，這時要用最大似然原則來求 .,下面舉例說明如何求最大似然估計,L(p)= f (x1, x2, xn; p ),例5 設(shè)X1,X2,Xn是取自總體 XB(1, p) 的一個樣本，求參數(shù)p的最大似然估計量.,解：似然函數(shù)為:,對數(shù)似然函數(shù)為：,對p求導(dǎo)并令其為0，,=0,得,即為 p 的最大似然估計值 .,從而 p 的最大似然估計量為,(4) 在最大值點的表達式中, 用樣本值代入就得參數(shù)的最大似然估計值 .,求最大似然估計(MLE)的一般步驟是：,(1) 由總體分布導(dǎo)出樣本的聯(lián)合分布率(或聯(lián)合密度);,(2) 把樣

9、本聯(lián)合分布率 ( 或聯(lián)合密度 ) 中自變 量看成已知常數(shù),而把參數(shù) 看作自變量,得到似然 函數(shù)L( );,(3) 求似然函數(shù)L( ) 的最大值點(常常轉(zhuǎn)化為求ln L( )的最大值點) ，即 的MLE;,例6 設(shè)總體 X N( ) , 未知 . 是來自 X 的樣本值 , 試求 的最大似然估計量 .,似然函數(shù)為,解,X 的概率密度為,于是,令,解得,的最大似然估計量為,解：似然函數(shù)為,例7 設(shè)X1,X2,Xn是取自總體X的一個樣本,其中 0,求 的最大似然估計.,i=1,2,n,對數(shù)似然函數(shù)為,解：似然函數(shù)為,i=1,2,n,=0 (2),由(1)得,=0 (1),對 分別求偏導(dǎo)并令其為0,對數(shù)似然函數(shù)為,對,于是,取其它值時，,即 為 的MLE .,且是 的增函數(shù),三、課堂練習(xí),解,樣本矩,總體矩,解得,解 由密度函數(shù)知,例 2 設(shè)X1,X2,Xn是取自總體 X 的一個樣本,其中 0 , 求 的矩估計.,具有均值為 的指數(shù)分布,即,故,解得,也就是,解 似然函數(shù)為,對數(shù)似然函數(shù)為,例3 設(shè)X1,X2,Xn是取自