,二、極大似然估計法,一、矩法估計,第七章,參數(shù)估計,三、估計量的評選標(biāo)準(zhǔn),四、置信區(qū)間,參數(shù)估計,參數(shù)估計問題是利用從總體抽樣得到的信息,估計湖中魚數(shù),估計平均降雨量,來估計總體的某些參數(shù)或者參數(shù)的某些函數(shù)。,統(tǒng)計推斷：參數(shù)估計和假設(shè)檢驗。,參數(shù)估計要解決問題:,總體分布函數(shù)的形式為已知,需要確定未知參數(shù)。,但其中參數(shù),未知時，,這類問題稱為參數(shù)估計問題。,只有當(dāng)參數(shù)確定后，,才能通過率密度函數(shù)計算概率。,對于未知參數(shù)，,如何應(yīng)用樣本,所提供的信息去對其一個或多個未知參數(shù)進(jìn)行估計。,參數(shù)估計是對已知分布類型的總體，,參數(shù)估計,點估計,區(qū)間估計,矩估計,極大似然估計,參數(shù)估計可作如下劃分,利用樣本對其未知參數(shù)作出估計,1.矩估計,2.極大似然估計,3.最小二乘法,4.貝葉斯方法,這里我們主要介紹前面兩種方法.,尋求估計量的方法,點估計問題：,構(gòu)造一個適當(dāng)?shù)慕y(tǒng)計量,用它的觀察值,來估計未知參數(shù).,稱,為的估計量，,為的估計值.,參數(shù)估計：,點估計:估計的具體數(shù)值;,區(qū)間估計:估計的所在范圍.,第七章,第一節(jié),矩法估計,二、常用分布參數(shù)的矩法估計,一、矩法估計,一.矩估計法,故用樣本矩來估計總體矩,基本原理：,總體矩是反映總體分布的最簡單的,數(shù)字特征，,當(dāng)總體含有待估計參數(shù)時，,總體矩是,待估計參數(shù)的函數(shù)。,樣本取自總體，,樣本矩在一定程度上可以逼近總體矩，,由英國統(tǒng)計學(xué)家K.皮爾遜最早提出的。,其中,是待估參數(shù).,存在,設(shè)總體的k階矩,則樣本的k階矩,(由大數(shù)定理),令,從中解得,即為矩估計量。,矩估計量的觀察值稱為矩估計值。,設(shè)總體X的分布函數(shù)為,矩估計步驟：,連續(xù)型,離散型,所以參數(shù)p的矩估計量為,例：,總體X的分布列為：,是來自總體X的樣本，,解：,由于總體X的分布為二項分布，,設(shè)某炸藥廠一天中發(fā)生著火現(xiàn)象的次數(shù)X,例1,服從,下面我們通過幾個例子說明利用矩估計法求,未知參數(shù)的過程。,二、常用分布常數(shù)的矩法估計,例2,解,注:總體均值方差的矩估計量與總體分布無關(guān)。,做矩估計時,也可用中心矩建立關(guān)于未知參數(shù)的,方程組，,因而矩估計不唯一。,未知，求參數(shù)的矩估計。,例3,解：,解,不合格品率p的矩法估計,分析設(shè)總體X為抽的不合格產(chǎn)品數(shù)，相當(dāng)于抽取了一組樣本X1，X2，Xn,且,因p=EX,故p的矩估計量為,設(shè)某車間生產(chǎn)一批產(chǎn)品，為估計該批產(chǎn)品不合格品,(即出現(xiàn)不合格產(chǎn)品的頻率).,例4,率，抽取了n件產(chǎn)品進(jìn)行檢查.,例5,解,是未知參數(shù)，X1，X2，,Xn，是X的一組樣本，,解,設(shè)總體X的概率密度為,解得,例6,求的矩估計量.,其中0，與是未知參數(shù)，X1，X2，,Xn，是X的一組樣本，求與的矩估計量.,解,例7.設(shè)總體X的概率密度為,令,令,注意到DX=E(X2)(EX)2=2,=2+(+)2,第七章,第二節(jié),極大似然估計,極大似然估計,極大似然法的基本思想,先看一個簡單例子：,一只野兔從前方竄過.,是誰打中的呢？,某位同學(xué)與一位獵人一起外出打獵.,如果要你推測，,你會如何想呢?,只聽一聲槍響，野兔應(yīng)聲倒下.,基本思想:,若事件Ai發(fā)生了,則認(rèn)為事件Ai在這n個可能結(jié)果,中出現(xiàn)的概率最大。,極大似然估計就是在一次抽樣中,若得到觀測值,則選取,若一試驗有n個可能結(jié)果,現(xiàn)做一試驗,作為的估計值。,使得當(dāng),時,樣本出現(xiàn)的概率最大。,極大似然估計法:,事件發(fā)生的概率為,為的函數(shù)，,形式已知,(如離散型)X的分布列為,的聯(lián)合分布列為：,為樣本的似然函數(shù)。,定義7.1,與,有關(guān),記為,稱為參數(shù)的極大似然估計值。,稱為參數(shù)的極大似然估計量。,達(dá)到最大的參數(shù),作為的估計值。,現(xiàn)從中挑選使概率,樣本的似然函數(shù),若總體X屬連續(xù)型,其概率密度,的形式已知，,為待估參數(shù)；,則,的聯(lián)合密度：,一般，,關(guān)于可微，故可由下式求得：,因此,的極大似然估計也可從下式解得：,在同一點處取極值。,故似然函數(shù)為,例1,設(shè),是來自總體X的一,個樣本，,試求參數(shù)p的極大似然估計值.,解：設(shè),是一個樣本值。,X的分布列為：,而,令,它與矩估計量是相同的。,解得,p的極大似然估計值,p的極大似然估計量,令,解得,設(shè)總體X的分布列為：,解：,似然函數(shù)為,似然估計值。,例2,是來自總體X的樣本，求p的極大,令,即,解,例3,設(shè)X1,X2,Xn是取自總體X的一個樣本,，求參數(shù)的極大似然估計值。,似然函數(shù)為:,例4,設(shè),未知，,是一個樣本值,解設(shè),的概率密度為：,似然函數(shù)為,等價于,因為,即,時,取最大值,在,似然函數(shù)為,即,時,取最大值,在,似然函數(shù)為,今取得一組樣本Xk數(shù)據(jù)如下，問如何估計？,某電子管的使用壽命X（單位：小時)服從指數(shù)分布,例5指數(shù)分布的點估計,分析可用兩種方法：矩法估計和極大似然估計.,1）矩法估計,2）極大似然估計,構(gòu)造似然函數(shù),當(dāng)xi0,（i=1,2,n)時，似然函數(shù)為,取對數(shù),建立似然方程,5.得極大似然估計量：,求解得極大似然估計值,似然函數(shù)為：,例6,設(shè),為未知參數(shù)，,是來自X的一個樣本值，求,的極大似然估計值。,解：,X的概率密度為：,解得：,令,即：,注：lnx是x的嚴(yán)格單增函數(shù)，lnL與L有相同的極大值，一般只需求lnL的極大值.,求極大似然估計的一般步驟：,寫出似然函數(shù),2.對似然函數(shù)取對數(shù),3.對i(i=1,m)分別求偏導(dǎo),建立似然方程(組),解得分別為的極大估計值.,例7矩估計與似然估計不等的例子,設(shè)總體概率密度為,求參數(shù)的極大似然估計,并用矩法估計.,解1)極大似然估計法,構(gòu)造似然函數(shù),2.取對數(shù)：,當(dāng)0xi1,(i=1,2,n)時,2.取對數(shù)：,當(dāng)0xi1,(i=1,2,n)時,建立似然方程,求解得極大似然估計值為,5.極大似然估計量為,2)矩估計法,1.矩法估計量與極大似然估計量不一定相同；,2.用矩法估計參數(shù)比較簡單,但有信息量損失；,3.極大似然估計法精度較高,但運算較復(fù)雜；,4.不是所有極大似然估計法都需要建立似然方程,小結(jié),求解.,解,例6.不合格品率的矩法估計,分析設(shè)總體X即抽一件產(chǎn)品的不合格產(chǎn)品數(shù)，相當(dāng)于抽取了一組樣本X1，X2，Xn,且,因p=EX,故p的矩估計量為,設(shè)某車間生產(chǎn)一批產(chǎn)品，為估計該批產(chǎn)品不合格品率，抽取了n件產(chǎn)品進(jìn)行檢查.,(即出現(xiàn)不合格產(chǎn)品的頻率).,不合格品率p的估計,設(shè)總體X是抽一件產(chǎn)品的不合格品數(shù)，記p=PX=1=P產(chǎn)品不合格,則X的分布列可表示為,現(xiàn)得到X的一組樣本X1，X2，,Xn的實際觀察值為x1,x2,xn,則事件,X1=x1，X2=x2，,Xn=xn,例7,出現(xiàn)的可能性應(yīng)最大,其概率為,應(yīng)選取使L(p)達(dá)到最大的值作為參數(shù)p的估計.,令,解得,（頻率值）,注意到,其中0，與是未知參數(shù)，X1，X2，,Xn，,解,設(shè)總體X的概率密度為,是X的一組樣本，求與的矩估計量.,例8,令,注意到DX=E(X2)E(X)2=2,=2+(+)2,例9均勻分布的極大似然估計,設(shè)樣本X1，X2，Xn來自在區(qū)間0