1、Chapter 6,Parameter Estimation,成員：董春波 馬和峰 李聘婷,1,目 錄,6.1 最大似然估計 6.2 廣義似然比檢驗 6.3 優(yōu)良估計評價標準 6.4 貝葉斯估計 6.5 Cramer-Rao不等式 6.6 多參數(shù)估計 6.7 最佳線性無偏估計 6.8 最小二乘估計 6.9 遞歸最小二乘估計,2,序言,在第5章中，我們學習了關于檢測理論的問題，主要是解決在M個可能的假設中來確定哪個假設是正確。 本章主要介紹假設接受的信號是正確的，但是有些相關聯(lián)的參數(shù)是未知的，主要的目的就是利用有限的樣本參數(shù)用最佳的方式估計這些參數(shù)。 令Y1，Y2，.，YK為K個獨立同分布的隨機

2、變量Y的樣本，其密度函數(shù)取決于未知參數(shù)。 y 1，y 2，.，y K為樣本Y1，Y2，.，YK所對應的值，函數(shù) g（Y1，Y2，.，YK）用來估計參數(shù)。 表示為 稱為參數(shù)的估計。 通常，估計的參數(shù)可以是隨機的或非隨機的。 隨機參數(shù)的估計被稱為貝葉斯估計，而非隨機參數(shù)的估計被稱為最大似然估計（MLE）。,3,6.1 最大似然估計,如在前面的函數(shù)中所提到的，通常用最大似然（ML）估計來估計非隨機參數(shù)。 令Y1，Y2，.，YK具有樣本值y 1，y 2，.，y K的隨機變量Y的K個觀測值，并且這些隨機變量是獨立同分布的。令 表示隨機變量Y的條件密度函數(shù)。Y的密度函數(shù)取決于需要估計的參數(shù)， 記最大似然函

3、數(shù)為L()，式6.1.1 (6.1.1) 似然函數(shù)最大的值 稱為的最大似然估計量。為求最大似然估計量，我們利用數(shù)學中所學的微積分。為了計算簡單，利用對數(shù)函數(shù)，由于對數(shù)函數(shù)lnx是關于變量x的遞增函數(shù)，由第五章可知最大化L()與ln(L()等價?？梢杂米畲笏迫缓瘮?shù)的對數(shù)函數(shù)式求解，對參數(shù)求導數(shù)可以求的最大似然估計量。如式6.1.2 (6.1.2) 不變性：令L()是的似然函數(shù),并且g()是參數(shù)一一對應的函數(shù)，即g(1)=g(2) 1=2 如果 是參數(shù)的最大似然估計量，則 是g()最大似然估計量。,4,6.1 最大似然估計,Examle6.1,the received signal under h

4、ypotheses H1 and H0 was (a) Assuming the constant m is not known, obtain the ML estimate of the mean. (b) Suppose now that the mean m is known, but the variance 2 is unknown. Obtain the MLE of = 2 . 在第五章中，是確定假設中的那個假設是真的。而在本章中，假設H1是真的，參數(shù)是未知的需要用最大似然估計來估計。 (a) 在例題中需要確定的參數(shù) 對應為 ，mM,由于樣本參數(shù)是獨立同分布的，由式6.1.1得

5、似然函數(shù)：,5,6.1 最大似然估計,等式兩邊同取對數(shù)得,利用式6.1.2 解似然方程得到似然估計得,得到 。 Thus, the ML estimator is,6,6.1 最大似然估計,(b) 最大似然估計式為,方程兩邊取對數(shù)得,其中對lnL( 2)最大化等價于對 2最小化,由似然函數(shù)的不變性得,7,6.1 最大似然估計,因此， 2的最大似然估計為,8,6.2 廣義似然比檢驗,在例5.9中，我們解決了復合假設檢驗問題。參數(shù)m在假設H1下雖然已知m是正或負，但是值是未知。 當m僅為正值（僅為負值）時，在UMP測試，判決規(guī)則為,m0時,m0時,由于設置參數(shù)m的正負致使實驗結果不同，因此，對所有

6、的參數(shù)m，UMP測試是不行的。因此運用了上節(jié)所講的最大似然估計。也就是說，假設H1是真，要用已有的樣本來估計。如果假設是正確的，我們可以用最大似然比檢驗。,9,6.2 廣義似然比檢驗,如果所使用的估計是最大似然估計，則稱為廣義似然比檢驗，并且由下式給出 (6.2.1),0和1是在假設H0和H1估計的未知參數(shù)。,Example 6.2 Consider the problem of Example 5.9, where m is an unknown parameter. Obtain the generalized likelihood ratio test and compare it to

7、 the optimum Neyman-Pearson test.,10,6.2 廣義似然比檢驗,Example 5.9 Consider the situation where the observations under each hypothesis are given by,where N denotes a white Gaussian noise of zero mean and variance 2 , and m is unknown. Then, we say that H0 is a simple hypothesis, and H1 a composite hypothe

8、sis.,由于K個觀測值是獨立的，所以在假設H1和H0下的條件密度函數(shù)是,11,6.2 廣義似然比檢驗,其中m是未知參數(shù)。 由于假設H0不包含m，所以估計過程僅適用于假設H1。 根據(jù)（6.1.2）給出的似然方程，假設H1下的m的似然估計由下式給出,代入式 得,或者,則似然比檢驗為,12,6.2 廣義似然比檢驗,代入在上述表達式中獲得的 的值，并在取對數(shù)之后進行簡化得,由于 是非負的，如果小于等于1（ln負），則判定H1總是真的。,因此，可以設置為大于等于1的數(shù)。因此，不等式變換得,13,6.2 廣義似然比檢驗,其中10。因此，上式等價于下式,判決門限圖如圖6.2.1,Figure 6.2.1

9、Decision regions of the generalized likelihood ratio test,設定期望的失警概率，可以確定1的值。 在得到失警概率PF的表達式之前，我們需要確定Z的密度函數(shù)。,14,6.2 廣義似然比檢測,在假設H0下Y的均值為零和方差2，所有的觀察數(shù)據(jù)都是統(tǒng)計獨立的高斯過程。 因此， 的密度函數(shù)均是均值為零和方差K2的高斯過程。因此，Z也是具有均值為零和方差2的高斯過程。,失警的概率為，如圖6.2.2所示,Figure 6.2.2 Density function of Z under H0.,15,6.2 廣義似然比檢驗,從上面可以在沒有m的失警概率中

10、確定1的值。然而，檢測的概率不能在沒有m的情況下確定， 但可以對m做參數(shù)估計。在假設H1下， 是具有均值為Km和方差K2的高斯過程。因 此，Z的密度函數(shù)是具有均K m和方差2。,給定m的檢測概率為，概率密度圖如圖6.2.3所示,16,6.2 廣義似然比檢驗,通過比較，廣義似然比檢驗和奈曼-皮爾遜檢驗效果一樣好。,Figure 6.2.3 Density function of Z under H1.,17,6.3 優(yōu)良估計評價標準,由于估計參量 是隨機變量，所對應的值不止一個。因此需要確定最優(yōu)估計。,無偏估計： 是無偏估計，滿足6.3.1式,（6.3.1）,有偏估計：如式6.3.2,（6.3.

11、2）,1.如果b()不依賴于(b()=b)，就認為估計量 具有已知的偏差，也就是說( -b)是無偏估計。,2.當b()b，由于是未知的，所以不能獲得無偏估計。在這種情況下，就認為估計量具有 未知的偏差。,當參數(shù)既滿足式（6.3.1）并且不是隨機的（沒有的先驗概率分布），這有時稱為絕對無偏估計。,18,6.3 優(yōu)良估計評價標準,如果估計是無偏的，其意味著估計值與真實值接近，但是不一定是最優(yōu)估計。可以通過圖6.3.1中所示的估計的條件密度函數(shù)容易地看出。從圖中觀察到，即使是無偏估計，因估計的方差很大也可能發(fā)生相當大的誤差。然而如果方差小，估計量和期望值的相差也很小。因此，可以認為估計的優(yōu)良性可以有

12、方差大小判斷。,Figure 6.3.1 Density function of the unbiased estimator .,19,6.3 優(yōu)良估計評價標準,無偏最小方差： 是的最小方差和無偏估計，對所有的參數(shù)都有E()=,則對所有var( )var() 也就是說，對于所有無偏估計， 具有最小的方差。 一致估計： 是基于K個觀察樣本的參數(shù)的一致估計，如果滿足式6.3.3,(6.3.3),P(.)代表概率。,應用上述定義并不能驗證估計的一致性。 可以用以下定理,定理： 是基于K個觀察樣本的參數(shù)的無偏估計，如果滿足式6.3.4,（6.3.4）,（6.3.5）,是參數(shù)的一致估計量。,如果滿足式

13、6.3.5,20,21,22,6.4 貝葉斯估計,3.均勻代價函數(shù),（6.4.5）,表示一個很小的量，可見所謂的均勻代價函數(shù)是指當誤差超過某一門限值時，代價是相同的，而當誤差小于該門限值時，代價為零。,Figure 6.4.1 Cost functions: (a) squared error, (b) absolute value of error, and (c) uniform.,23,6.4 貝葉斯估計,未知參數(shù)假定為密度函數(shù)為 的連續(xù)隨機變量，風險函數(shù)可以用是6.4.6表示。,（6.4.6）,可以取所有和Y的平均代價，Y可以由向量Y1 ,Y2,.,YK T表示。,6.4.1 最小均方

14、誤差估計,式（6.4.2）中給出的代價函數(shù)使風險函數(shù)最小的估計稱為最小均方估計（MMSE）。相應的風險函數(shù)用ms表示。 得式6.4.7,（6.4.7）,由式1.91，風險函數(shù)可以化為式6.4.8,（6.4.8）,24,6.4 貝葉斯估計,由于密度函數(shù)fY(y)是非負的，最小化ms就等價于最小化括號中的方程。因此對括號中的方程對參數(shù) 求導，得式6.4.9,(6.4.9),用式（1.38）給出的萊布尼茨準則，得式6.4.10,（6.4.10）,25,6.4 貝葉斯估計,也就是說， 的最小均方估計是在Y的條件下參數(shù)的均值（的后驗均值）?？梢缘贸觯P于 的二階導數(shù)是正定的，所以是對應于ms唯一的最小值

15、，并且由6.4.11式給出,（6.4.11）,給定Y的條件下的方差為式6.4.12,（6.4.12）,因此，ms是給定所有可能Y的值條件下的方差。平方誤差準則的該估計過程有時稱為誤差估計的最小方差（MV）。,26,6.4 貝葉斯估計,6.4.2 條件中位數(shù)估計,這種情況下，把式6.4.4代入風險函數(shù)得式6.4.13,（6.4.13）,使用與上節(jié)相同的方法，可以通過最小化括號中的積分來最小化風險函數(shù)，括號中的方程由6.4.14式給出,（6.4.14）,相對于式6.4.14 的微分，并且設結果等于零，得式6.4.15,（6.4.15）,27,6.4 貝葉斯估計,也就是說，估計 是密度函數(shù) 條件的中

16、值 ，該估計稱為誤差的最小平均絕對值（MAVE）估計，因此 。,6.4.3 最大后驗概率,對于式6.4.5給出的代價函數(shù)，貝葉斯風險函數(shù)變?yōu)槭?.4.16,（6.4.16）,28,6.4 貝葉斯估計,然而,（6.4.17）,P(.)表示概率。因此，通過最大化式（6.4.17）對unf最小化。 的后驗密度函數(shù)為 ，尋求 的使其滿足條件 最大，則稱 的最大后驗估計量。 定義為式6.4.18,（6.4.18）,對式6.4.18兩邊取對數(shù)得式6.4.19,（6.4.19）,29,6.4 貝葉斯估計,方程（6.4.19）稱為MAP方程。 但是要注意這是必要不充分條件，因為 可以具有幾個局部最大值。由貝葉

17、斯準則得式6.4.20,（6.4.20）,兩邊取對數(shù)變換得式6.4.21,（6.4.21）,由最大后驗估計準則得式6.4.22,（6.4.22）,總是假設足夠小，使得估計 由最大后驗概率方程給出。也就是說，圖6.4.1中所示的成本函數(shù)可以定義為式6.4.23,（6.4.23）,30,6.4 貝葉斯估計,Example 6.4,Consider the problem where the observed samples are,M and Nk are statistically independent Gaussian random variables with zero mean and variance 2 . Find , and,從6.4.10，估計 是在Y條件下m的均值。密度函數(shù)f M | Y（m | y）可表示為,同時,31,6.4 貝葉斯估計,邊緣密度函數(shù) 為,注意，函數(shù)f M | Y（m | y）是關