1、參數(shù)估計在建模中的應用,參數(shù)估計的一般問題 一個總體參數(shù)的區(qū)間估計 兩個總體參數(shù)的區(qū)間估計 樣本容量的確定,統(tǒng)計推斷的過程,參數(shù)估計的一般問題,一、估計量與估計值 二、點估計與區(qū)間估計 三、評價估計量的標準,估計量：用于估計總體參數(shù)的隨機變量 如樣本均值，樣本比率、樣本方差等 例如: 樣本均值就是總體均值 的一個估計量 參數(shù)用 表示，估計量用 表示 估計值：估計參數(shù)時計算出來的統(tǒng)計量的具體值 如果樣本均值 x =80，則80就是的估計值,估計量與估計值,點估計,用樣本的估計量直接作為總體參數(shù)的估計值 例如：用樣本均值直接作為總體均值的估計 例如：用兩個樣本均值之差直接作為總體均值之差的估計 沒

2、有給出估計值接近總體參數(shù)程度的信息 點估計的方法有矩估計法、順序統(tǒng)計量法、最大似然法、最小二乘法等,點估計完全正確的概率通常為0。因此，我們更多的是考慮用樣本統(tǒng)計量去估計總體參數(shù)的范圍 區(qū)間估計。,含義：在點估計的基礎上，估計總體參數(shù)的區(qū)間范圍，并給出區(qū)間估計成立的概率值。 其中： 1-(01)稱為置信水平 是區(qū)間估計的顯著性水平； 常用的置信水平值有 99%, 95%, 90% 相應的 為0.01，0.05，0.10,注意對上式的理解： 例如抽取了1000個樣本，根據(jù)每一個樣本均構造了一個置信區(qū)間，這樣，由1000個樣本構造的總體參數(shù)的1000個置信區(qū)間中，有95%的區(qū)間包含了總體參數(shù)的真值

3、，而5%的置信區(qū)間則沒有包含。這里，95%這個值被稱為置信水平（或置信度）。 一般地，將構造置區(qū)間的步驟重復很多次，置信區(qū)間包含總體參數(shù)真值的次數(shù)所占的比例稱為置信水平。,區(qū)間估計,由樣本統(tǒng)計量所構造的總體參數(shù)的估計區(qū)間稱為置信區(qū)間 統(tǒng)計學家在某種程度上確信這個區(qū)間會包含真正的總體參數(shù)，所以給它取名為置信區(qū)間 用一個具體的樣本所構造的區(qū)間是一個特定的區(qū)間，我們無法知道這個樣本所產生的區(qū)間是否包含總體參數(shù)的真值 我們只能是希望這個區(qū)間是大量包含總體參數(shù)真值的區(qū)間中的一個，但它也可能是少數(shù)幾個不包含參數(shù)真值的區(qū)間中的一個,置信區(qū)間,我們用95%的置信水平得到某班學生考試成績的置信區(qū)間為60-80分

4、，如何理解？ 錯誤的理解：60-80區(qū)間以95%的概率包含全班同學平均成績的真值；或以95%的概率保證全班同學平均成績的真值落在60-80分之間。 正確的理解：如果做了多次抽樣（如100次），大概有95次找到的區(qū)間包含真值，有5次找到的區(qū)間不包括真值。 真值只有一個，一個特定的區(qū)間“總是包含”或“絕對不包含”該真值。但是，用概率可以知道在多次抽樣得到的區(qū)間中大概有多少個區(qū)間包含了參數(shù)的真值。 如果大家還是不能理解，那你們最好這樣回答有關區(qū)間估計的結果： 該班同學平均成績的置信區(qū)間是60-80分，置信度為95%。,置信區(qū)間與置信水平,區(qū)間估計的圖示,無偏性：估計量抽樣分布的數(shù)學期望等于被估計的總

5、體參數(shù),評價估計量的標準無偏性,評價估計量的標準有效性,有效性：對同一總體參數(shù)的兩個無偏點估計 量，有更小標準差的估計量更有效,評價估計量的標準一致性,一致性：隨著樣本容量的增大，估計量的值越來越接近被估計的總體參數(shù),一般常用 表示參數(shù)，參數(shù) 所有可能取值組成的集合稱為參數(shù)空間，常用表示。參數(shù)估計問題就是根據(jù)樣本對上述各個未知參數(shù)作出估計。 參數(shù)估計的兩種形式：點估計與區(qū)間估計。,設 x1, x2, xn 是來自總體 X 的一個樣本，我們用一個統(tǒng)計量 的取值作為 的估計值， 稱為 的點估計（量），簡稱估計。在這里如何構造統(tǒng)計量 并沒有明確的規(guī)定，只要它滿足一定的合理性即可。這就涉及到兩個問題：

6、,其一 是如何給出估計，即估計的方法問題； 其二 是如何對不同的估計進行評價，即估 計的好壞判斷標準。,點估計,替換原理和矩估計法,一、矩估計法 替換原理是指用樣本矩及其函數(shù)去替換相應的總體矩及其函數(shù)，譬如： 用樣本均值估計總體均值E(X)，即 ； 用樣本方差估計總體方差Var(X)，即 用樣本的 p 分位數(shù)估計總體的 p 分位數(shù)， 用樣本中位數(shù)估計總體中位數(shù)。,例 對某型號的20輛汽車記錄其每加侖汽油的行駛里程(km)，觀測數(shù)據(jù)如下： 29.8 27.6 28.3 27.9 30.1 28.7 29.9 28.0 27.9 28.7 28.4 27.2 29.5 28.5 28.0 30.0

7、 29.1 29.8 29.6 26.9 經(jīng)計算有 由此給出總體均值、方差和中位數(shù)的估計分別為: 28.695, 0.9185 和 28.6。 矩估計法的實質是用經(jīng)驗分布函數(shù)去替換總體分布，其理論基礎是格里紋科定理。,二、概率函數(shù)P(x,)已知時未知參數(shù)的矩估計法,設總體具有已知的概率函數(shù) P(x, 1, , k)， x1, x2 , , xn 是樣本，假定總體的k階原點矩k存在，若1, , k 能夠表示成 1, , k 的函數(shù)j = j(1, ,k)，則可給出諸j 的矩估計法為 其中,例設總體服從指數(shù)分布，由于EX=1/， 即 =1/ EX，故 的矩法估計為 另外，由于Var(X)=1/2，

8、其反函數(shù)為 因此，從替換原理來看，的矩法估計也可取為 s 為樣本標準差。這說明矩估計可能是不唯一的，這是矩估計法的一個缺點，此時通常應該盡量采用低階矩給出未知參數(shù)的估計。,例x1, x2, , xn是來自(a,b)上的均勻分布U(a,b)的樣本，a與b均是未知參數(shù)，這里k=2，由于 不難推出 由此即可得到a, b的矩估計為：,最大似然估計,定義 設總體X屬離散型，其分布律為p(x; )，是參數(shù) 可能取值的參數(shù)空間，x1, x2 , , xn 是樣本，將樣本的聯(lián)合分布律看成 的函數(shù)，用L( ; x1, x2, , xn) 表示，簡記為L( )， 稱為樣本的似然函數(shù)。,極大似然估計（續(xù)）,定義 設

9、總體X為連續(xù)型，其概率密度為f(x; )，是參數(shù) 可能取值的參數(shù)空間，x1, x2 , , xn 是樣本，將樣本的聯(lián)合密度函數(shù)看成 的函數(shù)，用L( ; x1, x2, , xn) 表示，簡記為L( )， 稱為樣本的似然函數(shù)。,如果某統(tǒng)計量 滿足 則稱 是 的最（極）大似然估計，簡記為MLE（Maximum Likelihood Estimate）。,人們通常更習慣于由對數(shù)似然函數(shù)lnL( )出發(fā)尋找 的極大似然估計。 當L( )是可微函數(shù)時，求導是求極大似然估計最常用的方法，對lnL( )求導更加簡單些。,例 設一個試驗有三種可能結果，其發(fā)生概率分別為 現(xiàn)做了n次試驗，觀測到三種結果發(fā)生的次數(shù)

10、分別為 n1 , n2 , n3 (n1+ n2+ n3 = n)，則似然函數(shù)為 其對數(shù)似然函數(shù)為,將之關于 求導，并令其為0得到似然方程 解之，得 由于 所以 是極大值點。,例 對正態(tài)總體N(, 2)，=(, 2)是二維參數(shù)，設有樣本 x1, x2 , , xn，則似然函數(shù)及其對數(shù)分別為,將 lnL(, 2) 分別關于兩個分量求偏導并令其為0, 即得到似然方程組,解此方程組，可得 的極大似然估計為 代入得出 2的極大似然估計 利用二階導函數(shù)矩陣的非正定性可以說明上述估計使得似然函數(shù)取極大值。,雖然求導函數(shù)是求極大似然估計最常用的方法，但并不是在所有場合求導都是有效的。,例 設 x1, x2 , , xn 是來自均勻總體 U(0, )的樣本，試求 的極大似然估計。,解 似然函數(shù) 要使L( )達到最大，首先一點是指示函數(shù)取值應該為1，其次是1/ n盡可