1、2020/9/5,1,第二章 參數(shù)估計和假設檢驗,第一節(jié) 參數(shù)的估計,第二節(jié) 估計量的好壞標準,第三節(jié) 似然函數(shù)的漸近性質(zhì),第四節(jié) 區(qū)間估計,第五節(jié) 參數(shù)估計的貝葉斯方法,第六節(jié) 假設檢驗概述,第七節(jié) 正態(tài)分布的參數(shù)檢驗,第八節(jié) 分布型式的檢驗,第九節(jié) 似然比檢驗,第十節(jié) 方差分析,2020/9/5,2,實驗測量,隨機變量的n個容量的樣本,隨機變量的信息,2020/9/5,3,第一節(jié) 參數(shù)的估計,一、參數(shù)估計的兩類作法,二、點估計的作法,三、點估計的兩類常見作法：矩法、最大似然法,四、總結(jié),2020/9/5,4,一、參數(shù)估計的兩種作法,參數(shù) 估計,對參數(shù)本身數(shù)值作意估計（點估計）,找出一個區(qū)間

2、來并確定參數(shù)落在此區(qū)間的概率（區(qū)間估計）,隨機變量x,參數(shù)c的值,？,2020/9/5,5,二、點估計的作法,獲得點估計的方法有矩法、最大似然法、最小二乘法等。本章主 要介紹矩法和最大似然法，最小二乘法將在第五章詳細討論。,2020/9/5,6,三、點估計的兩類常見作法：矩法、最大似然法,1、矩法,樣本矩,總體矩,設樣本按大小順序排好，樣本分布函數(shù)Fn（x）可定義為,2020/9/5,7,樣本平均值為,樣本的K階原點矩為,樣本的K階中心矩為,由參數(shù)和各階矩的關系，解方程可得到參數(shù)的估計值，此方法稱為矩法。,2020/9/5,8,例：用矩法估計方差,解：由K階原點矩的定義有,由方程（1）、（2）

3、得,2020/9/5,9,2、最大似然法,由于各次觀測相互獨立，因而似然函數(shù)為各觀測值的概率密度之積。,未知參數(shù)c,參數(shù)c應該是使得觀測值具有最大概率，即似然函數(shù)為最大！即 為數(shù)學的極值問題。,2020/9/5,10,便于計算，引入對數(shù)似然函數(shù)l,由數(shù)學中的求解極值問題有：,將測量樣本代入（2.1.12）即可求得參數(shù)c的值（c可以是多個參數(shù)）,2020/9/5,11,例：求正態(tài)總體,參數(shù)的最大似然估計,解：由于是正態(tài)分布，因而概率密度函數(shù)為,則似然函數(shù)為,由數(shù)學極值問題有：,解之得,2020/9/5,12,四、總結(jié),最大似然法：統(tǒng)計性好、具有漸近行為（即分 布最終趨于一正態(tài)分布，但需知道總體概

4、率分布,矩法和最大似然法的比較：,矩法：簡單、直觀，不需知道總體概率分布的形式，但統(tǒng)計性沒最大似然法好,方法比較,2020/9/5,13,第二節(jié) 估計量的好壞標準,一、引言,二、判斷估計量好壞的三個主要標準,三、總結(jié),2020/9/5,14,一、引言,不同的方法,不同的結(jié)果,好壞怎么判斷,判斷標準,無偏性,有效性,一致性,2020/9/5,15,二、判斷估計量好壞的三個主要標準,1、無偏性,估計量是樣本的函數(shù)，也可以看作一隨機變量，不同樣本得到不同的數(shù)值。估計值應該圍繞著待估計參數(shù)的真值上下擺動。即要求參數(shù)值的期望值等于參數(shù)的真值。即：,若滿足（2.2.1）式要求的估計量稱為無偏估計量。,若,

5、則此估計量為有偏，偏離量為b。,2020/9/5,16,證明： 是無偏估計量， 是有偏估計量。,證：,由于,因而 是 的無偏估計量,2020/9/5,17,同一樣本容量，圍繞期望值擺動最小的，即是有較小方差的那個無偏估計量更好一些。,2、有效性,同一個參數(shù)可能找到多個無偏估計量，怎么來比較它們的好壞呢？,有效性概念,2020/9/5,18,所有無偏估計的方差下限(羅-克拉美不等式）,或等價于,此下限稱為無偏估計的最小方差限，若方差達到這個下限的無偏估計稱為佳效估計（或有效估計）,2020/9/5,19,例：對正態(tài)分布 ，檢驗 的無偏估計 是否為佳效估計。,由于是正態(tài)分布，則分布函數(shù)為,則,代入

6、（2.2.5）,解：,2020/9/5,20,羅-克拉美不等式的證明,證：,兩邊對c求導，有,2020/9/5,21,由,有,又,2020/9/5,22,其中,因而,因而,2020/9/5,23,下面要證明,因,兩邊取期望值有,其中,因而命題得證,2020/9/5,24,3、一致性,由于參數(shù)估計值是樣本的函數(shù)，不同的樣本有不同的值，總希望觀測次數(shù)增加（樣本容量增大），估計值要越來越靠近真值。滿足此要求叫一致性。,三、總結(jié),無偏性、有效性是對每一n提出的要求，即參數(shù)估計值在每一n下 都要無偏和有效；一致性是對n增加提出的要求，即為對估計量的 漸近性要求。,2020/9/5,25,第三節(jié) 似然函數(shù)

7、的漸近性質(zhì),一、單參數(shù)情況,二、多參數(shù)情況,2020/9/5,26,一、單參數(shù)情況,是通過最大似然法估計出來的，因而有,其中,2020/9/5,27,對于n比較大的情況，上式可用數(shù)學期望替代，因而有,由（2.3.1）和（2.3.2）式有:,2020/9/5,28,因而，在大樣本（n較大）情況下，似然函數(shù)具有平均值為 、方差為 的正態(tài)分布形式。最大似然估計的這種性質(zhì)（無偏、有最小方差、服從正態(tài)分布）是在大樣本下 才具有的。因而為漸近無偏。因而似然函數(shù)也被稱為漸近正態(tài)。,上式積分得：,二、多參數(shù)情況,設似然函數(shù)中有m個參數(shù)，用c來表示。將對數(shù)似然函數(shù)在c的最大似然估計 處展開，有,2020/9/5

8、,29,由于 是最大似然估計，因而對數(shù)似然函數(shù)的一階導數(shù)為0。,因而（2.3.5）化為,其中,2020/9/5,30,積分（2.3.6）得似然函數(shù)L（C）為,這為一m維正態(tài)分布，其均值為C，協(xié)方差矩陣為,2020/9/5,31,例：求正態(tài)分布參數(shù)的最大似然估計的方差,解：,由于是正態(tài)分布，因而有對數(shù)似然函數(shù)為,權W的矩陣元為,其中 和 未知，用最大似然估計值代入有,2020/9/5,32,則權矩陣為,協(xié)方差矩陣為,由于協(xié)方差矩陣非對角元素為0，因而 和 是不相關。,2020/9/5,33,第四節(jié) 區(qū)間估計,一、置信區(qū)間的概念,二、置信區(qū)間的求法,2020/9/5,34,一、置信區(qū)間的概念,對于

9、參數(shù)c，僅求其點估計，還是不夠的。它只是得到參數(shù)c的一 個近似值。還必須知道它的近似程度，即要求給出包含參數(shù)真值的一個區(qū)間及其相應的概率。這即是區(qū)間估計所討論的問題。,則稱區(qū)間 是參數(shù)c的置信概率為 的置信區(qū)間。 又稱為置信水平或置信度， 稱為顯著水平或顯著度。,2020/9/5,35,注意?。簠?shù)真值沒有隨機性，是一個確定值。這里的隨機性是屬于置信區(qū)間本身。,二、置信區(qū)間的求法,（一）利用無參數(shù)的分布來求,若能找到一統(tǒng)計量，它為樣本和被估參數(shù)的函數(shù)，分布不依賴于任何參數(shù)，則可用此統(tǒng)計量求出一定置信水平下參數(shù)的置信區(qū)間。,例1：求正態(tài)分布期望值的置信區(qū)間,解：,選統(tǒng)計量,2020/9/5,36

10、,對 取對稱位置，,即,則上式化為：,因而可得,2020/9/5,37,相應置信概率為：,亦可表為：,因而 的置信區(qū)間為,2. 未知情況,選統(tǒng)計量,2020/9/5,38,統(tǒng)計量t服從自由度為n-1的t分布，因而有,由上式有,相應的置信概率為：,也可表為：,2020/9/5,39,由似然函數(shù)和最大似然估計值，可以對于任意給定置信水平，求出參數(shù)c的置信區(qū)間：,（二）利用似然函數(shù)求置信區(qū)間,步驟：,其次，找出對數(shù)似然函數(shù) ，比其最大值 下降 所相應的參數(shù)值，即由方程,解出 和 。,最后，得到參數(shù)c在置信概率為 時的置信區(qū)間為：,最后，得到參數(shù)c在置信概率為 時的置信區(qū)間為： 。,證明(略）,202

11、0/9/5,40,（三）大樣本下最大似然估計的置信區(qū)間,在大樣本情況下，參數(shù)c的最大似然估計量c總趨于一正態(tài)分布,其中方差V為無偏估計的最小方差限，由（2.2.6）式?jīng)Q定，即,因而大樣本情況下，對任意分布f（x；c）的參數(shù)c進行區(qū)間估計時，就可以利用對正態(tài)分布期望值進行區(qū)間估計的方法進行。,做變量代換,2020/9/5,41,得c的置信區(qū)間,V可通過下面方法求得,2020/9/5,42,上式中V的求法的兩個近似：,一是在V的式子中對 的期望值的積分計算很難做，用其平均值代替；,一是概率密度函數(shù) 中的參數(shù)c未知，用估計值代替。,（四）似然區(qū)間（自學）,2020/9/5,43,第五節(jié) 參數(shù)估計的貝

12、葉斯方法,一、參數(shù)的驗前分布與驗后分布,二、貝葉斯假設,2020/9/5,44,一、參數(shù)的驗前分布與驗后分布,有些情況下，參數(shù)c本身也可以是一個隨機變量，它可能服從某種 分布 ，參數(shù)c的這種分布稱為驗前分布。,在參數(shù)本身是隨機變量的情況下，推斷在出現(xiàn)某樣本情況下，參數(shù)c取各種可能值的概率密度，即參數(shù)c的條件概率密度 。這個函數(shù)稱參數(shù)c的驗后分布。,即：,驗前分布,驗后分布,2020/9/5,45,由貝葉斯公式有：,為似然函數(shù)，由下式?jīng)Q定,由上面知，要確定驗后分布，關鍵問題是要知道參數(shù)c的驗前分布。,為樣本的函數(shù)，由下式?jīng)Q定,2020/9/5,46,解：,由（2.5.2）式，當 或 時,2020

13、/9/5,47,二、貝葉斯假設,參數(shù)的驗前分布,參數(shù)的驗后分布,但驗后分布一般不知，怎么辦？,由（2.5.2）,如果對參數(shù)的驗前分布沒有任何知道和信息，則假定參數(shù)對一切可能取值都是等概率的。,貝葉斯假設：,2020/9/5,48,基于貝葉斯假設，有參數(shù)c的驗后分布為：,即驗后分布是似然函數(shù)歸一化的結(jié)果。,2020/9/5,49,第六節(jié) 假設驗證概述,一、基本概念,二、顯著性檢驗的一般方法,三、兩類錯誤,2020/9/5,50,一、基本概念,對抽樣總體的分布形式或其中的參數(shù)所作出的某個推測或斷言稱作一個假設，記為H。,根據(jù)觀測的樣本對假設進行檢驗，稱為假設檢驗。,接受假設或拒絕假設（舍棄）。,接

14、受假設并不是證明假設，只是說明樣本和假設之間還沒有發(fā)現(xiàn)顯著的矛盾。,注意：,如果被檢驗的假設只涉及到參數(shù)值，,如果要檢驗分布類型，,假設：,假設檢驗：,檢驗結(jié)果：,則為參數(shù)檢驗。,則稱非參數(shù)檢驗或分布類型檢驗。,2020/9/5,51,不考慮備擇假設，只檢驗樣本與零假設有無顯著差異，稱為顯著性檢驗。若只涉及參數(shù)，稱為參數(shù)顯著性檢驗。,單假設（假設中概率密度函數(shù)參數(shù)完全給定）,復假設（假設中參數(shù)給出在一個范圍內(nèi)，參數(shù)值沒確定）,二、顯著性檢驗的一般方法,首先根據(jù)檢驗假設的性質(zhì)選擇一個檢驗統(tǒng)計量T，它為樣本的函數(shù),2020/9/5,52,其次，在假設H成立的條件下得到該統(tǒng)計量的概率密度函數(shù) 由此確

15、定關于T值的某個區(qū)域R，在這個區(qū)域內(nèi)T值落入的概率為 其值很少，此區(qū)域稱為拒絕域，見下圖,稱為顯著水平，意義為：表示在零假設成立的條件下檢驗統(tǒng)計量T,2020/9/5,53,歸納步驟：,1.根據(jù)實際問題，構(gòu)成統(tǒng)計假設H；,2.選用恰當?shù)臋z驗統(tǒng)計量T；,3.選定顯著水平 ，確定拒絕域R；,3.選定顯著水平 ，確定拒絕域R；,4.由樣本計算出 ；,5.如果T落在R內(nèi)，則稱在顯著水平 下拒絕假設H，否則接受假設。,2020/9/5,54,三、兩類錯誤,一類為“以假當真”錯誤，存?zhèn)五e誤、檢驗污染、第二類錯誤、 錯誤。,犯兩類錯誤的概率與分布函數(shù) 及拒絕域位置有關，見右圖,2020/9/5,55,同時考

16、慮到犯兩類錯誤的概率，才有可能選擇最佳的檢驗方案。,2020/9/5,56,注意：,2020/9/5,57,第七節(jié) 正態(tài)分布的參數(shù)檢驗,一、平均值的檢驗,二、兩個平均值的比較,三、方差的檢驗,2020/9/5,58,一、平均值的檢驗,假設H：,（一） 已知 檢驗法,選統(tǒng)計量為,服從標準的正態(tài)分布。根據(jù)顯著水平確定拒絕域。有兩種檢驗方法： 單邊檢驗（拒絕域在一端）；雙邊檢驗（拒絕域在兩端），見下圖。,2020/9/5,59,選取標準：,我們在此討論雙邊檢驗,步驟：,首先：根據(jù)顯著水平查正態(tài)分布函數(shù)值 表得到 ；,其次：由樣本按（2.7.1）計算出 值；,這一檢驗稱為 檢驗法。,若 ，則接受假設；

17、反之，則拒絕假設。,2020/9/5,60,選統(tǒng)計變量,服從自由度為n-1的t分布，其中,由顯著水平 ，查t分布表得出分位點 ，即,由樣本，利用（2.7.2）計算統(tǒng)計量t。,若 ，則拒絕原假設H，否則接受H。,2020/9/5,61,解：,由題知n=4，方差未知，因而選t檢驗法。,查自由度n=3的t分布表，得到分位點,選統(tǒng)計量,由樣本信息得統(tǒng)計量t的值為：,2020/9/5,62,由于,因而在顯著水平 下接受假設。,二、兩個平均值的比較,兩組樣本：,問題：檢驗這兩個總體的期望值是否相同。,問題的實驗背景：兩組實驗數(shù)據(jù)是否對同一物理量的測量或在某種 實驗條件變化下正態(tài)分布的期望值是否有明顯的變化

18、。,2020/9/5,63,零假設,備擇假設,根據(jù)方差 是否已知和相等，分三種情況討論。,（一） 和 已知,分布合成定理,選統(tǒng)計量,因而可以利用前面的u檢驗法進行檢驗。,假設,2020/9/5,64,（二） 和 未知但相等,選擇統(tǒng)計變量（抽樣分布定理）,其服從自由度為n+m-2的t分布。式中S為,在原假設成立的條件下，統(tǒng)計量變?yōu)椋?2020/9/5,65,若m=n時，則上式化為：,以上兩種情況都可用t檢驗法進行檢驗。,（三） 和 未知且不相等,這種情況不能進行嚴格，只能進行近似處理。,選統(tǒng)計量,利用u檢驗法進行檢驗。,2020/9/5,66,例:有以下兩組數(shù)據(jù)，各來自正態(tài)總體。問可否認為來自同

19、一正態(tài)總體？,解：,由題可知n=10，由數(shù)據(jù)可計算出,2020/9/5,67,選定 ，查t分布表，相應自由度為(10+10-2)=18,得,由于,因而接受假設。,三、方差的檢驗,方差反映出變量離散程度。因而檢查儀器工作穩(wěn)定與否或檢查兩臺儀器的精確度是否相同時，常用到方差的檢驗。,（一） 檢驗法,問題是檢驗總體方差是否與已知方差相同？,2020/9/5,68,提出假設,選擇統(tǒng)計量,其服從自由度為n-1的 分布。,因為總體方差比已知方差太大或太小都說明總體方差有所變化，因而采用雙邊檢驗。,由顯著水平 ，查 分布表，得上下分位數(shù) ，它們應滿足,即,2020/9/5,69,因而得拒絕域為：,若單邊檢驗

20、，則拒絕域為：,（二）F檢驗法（用來比較兩個正態(tài)分布的方差是否相同）,提出假設,由于總體方差可用樣本方差來近似（樣本容量足夠大）。,選擇統(tǒng)計量,其服從自由度為（n-1，m-1）的F分布。,2020/9/5,70,由顯著水平 ，查F分布表，得拒絕域的下界 ，其滿足,由樣本計算出F，若 ，則拒絕原假設，反之則接受原假設。,例：兩種儀器對同一零件長度測得數(shù)據(jù)如下。問它們的精度一致嗎？,第一儀器X：,第二儀器Y：,解：,由題可提出假設,選擇統(tǒng)計量,2020/9/5,71,由兩組數(shù)據(jù)可得,選顯著水平 ，查F分布表，對應自由度為（n-1=6，m-1=9）得,由于,故接受假設，即認為他們的精度一致。,202

21、0/9/5,72,第八節(jié) 分布型式的檢驗,二、柯爾莫哥洛夫檢驗法,2020/9/5,73,由樣本 ，檢驗隨機變量的分布 是否為某種給定的分布 ，即檢驗假設 ，這類檢驗稱為分布型式的檢驗，又叫擬合性檢驗。,分布型式的檢驗：,選取統(tǒng)計變量,1.將樣本由小到大按順序排列并分組。把區(qū)間 （或有限區(qū)間）分為m個區(qū)間，分點分別為 ，相應區(qū)間為,檢驗步驟和符合的意義：,一、皮爾遜 檢驗法（離散型、連續(xù)型）,2020/9/5,74,統(tǒng)計樣本落在第i個區(qū)間內(nèi)的觀測值的個數(shù) ,稱為第i組的實測頻數(shù)；,2.根據(jù)樣本計算理論分布 中的未知參數(shù)c的最大似然估計值 。 假設未知參數(shù)為K個。,3.計算理論分布在各個區(qū)間內(nèi)的

22、概率含量,及計算各組理論頻數(shù),4.計算皮爾遜 量。此 量是漸近地（即 時）服從自由度為m-K-1的 分布；,2020/9/5,75,5.選取顯著水平 ，由 分布表（注意：自由度為：m-k-1)查出分位點 ,則拒絕域為 。若 ，認為差異顯著，從而懷疑假設，反之，接受假設。,注意：,1.選統(tǒng)計量是在極限情況下服從 分布，因而一般,2.分組時，各組內(nèi)理論頻數(shù)不能太小，至少 ，如果達不到要求則合并區(qū)間。,二、柯爾莫哥洛夫檢驗法（適用于連續(xù)型）,直接比較樣本數(shù)據(jù)與理論分布的差異,步驟：,1.將觀測從小到大順序排列，得到 。作經(jīng)驗分布函數(shù),2020/9/5,76,2.在以上各點求出總體理論分布函數(shù)值 ；,

23、3.在各點計算 ，找出最大的絕對偏差,將其作為檢驗統(tǒng)計變量?？聽柲缏宸蚪o出樣本容量n和顯著水平 下的 的臨界值 ，即 落入拒絕域中的概率為,2020/9/5,77,4.選定 ，查表(見下圖）得到 值。將 與 比較，若 ，則認為在顯著水平 下差異顯著，故拒絕理論分布為真的假設；反之，接受。,2020/9/5,78,第九節(jié) 似然比檢驗,一、對單假設的似然比檢驗,二、最大似然比檢驗,2020/9/5,79,檢驗方法,不同的檢驗方法,不同的檢驗結(jié)果,怎么比較好壞,檢查檢驗好壞的標準：在損失 一定，污染 最小，即功效 最大的檢驗方法（最佳效檢驗）。,2020/9/5,80,一、對單假設的似然比檢驗,由原假設，可求樣本似然函數(shù) 及檢驗統(tǒng)計變量 的概率密度函數(shù) 。,一定顯著水平下的拒絕域總是相應于一定的樣本空間，因而有,其中 為樣本空間， 為拒絕域。,2020/