1、參數估計的基本理論,第五講,主 要 內 容,參數估計介紹 參數估計解釋 最小方差估計MV 最大似然估計ML 最小二乘估計 LS 三種估計方法總結 估計的評價標準 參數估計和極小化 相關抵消,1 參數估計介紹,參數估計應用背景：在很多實際問題中，隨機信號一般是符合或近似符合各態(tài)遍歷的，所以可以用一個樣本函數在有限的時間軸上的數據來估計出總體的參數。 參數估計的范疇：參數估計是一個統(tǒng)計推斷問題，也是信號處理的一個重要課題。如何在測得的一個樣本觀測值后來推斷出總體的參數（如均值、方差等），就是屬于參數估計的問題。,2 參數估計介紹,估計的范疇：估計理論就是研究對觀測數據進行怎樣的運算才能獲得對未知參

2、數的最佳估計值的理論，所謂最佳是指估計值與真值最“接近”，衡量這種接近程度的有各種不同的標準，就產生了各種估計方法。 常用的估計方法：最小方差估計、最小線性方差估計、最大似然估計、最小平方估計，另外還有貝葉斯估計、維納濾波、卡爾曼濾波等。,3 參數估計解釋,設被觀測的對象為一隨機向量x，實際觀測結果為隨機向量z。我們要講的估計問題就是根據觀測向量z去構造一個函數 ，使 成為x的最佳估計。 例如：,4 最小方差估計定義,設 是根據觀測值z對x所求的某種估計，將其估計誤差記做 。希望誤差 越小越好，即估計誤差越密集在零點附件越好，而估計誤差的二階原點混合矩 （也稱均方誤差陣）就是表示誤差分布在零點

3、附近密集程度。也就是要求估計值 ，使估計誤差的二階原點混合矩 達到最小，這個估計值 就叫做x基于觀測值z的最小方差估計。,5 最小方差估計局限性,在最小方差估計中必須要知道x和z的聯(lián)合概率密度，這就限制應用。下面介紹一種較常用的最小方差估計的特殊情況線性最小方差估計。,6 線性最小方差估計定義（最優(yōu)線性估計）,設估計量 只是觀測量z的線性函數，即 ，此時稱線性最小方差估計，又叫最優(yōu)線性估計，記做 。式中a是與被估計量x同維的非隨機向量，B是行數同x的維數，列數同z的維數的非隨機矩陣。根據最小方差估計的原理，選擇目標函數 ，令 使 達到最小。設 ，所以求 相當于求 和 。,7 線性最小方差估計優(yōu)

4、越性,可以放寬條件，不需要知道x和z的聯(lián)合概率密度，只要知道x和z的一、二階矩就夠了，即,8 推導最優(yōu)線性估計參數,代數導出 和 ：,9 最大似然估計的提出,在實際問題中碰到的隨機變量，經常知道其分布密度函數的類型，但不知其參數，因此寫不出確切的密度函數，例如，測量一物體長度，測量值是一個隨機變量，服從正態(tài)分布，即密度函數為 但均值 和方差 的值不知道。為了寫出確切的密度函數，可以根據樣本值 （即測量值）來估計出均值和方差的值。,10 最大似然估計的提出,更一般地，待求取的未知參數有m個，即 （上例中 ， ），此時設x的分布密度函數是 ，若x的樣本值是 ，那么如何估計出參數 的值？估計的方法有

5、很多。這里介紹一種最重要的、適用范圍較廣的最大似然估計法。,11 最大似然估計定義,設已知n個簡單隨機樣本值 ，令 我們稱為樣本的似然函數。 如果 在 達到最大值，則稱 為 的最大似然估計，并記做 。,12 最大似然估計的計算,將 簡記為L，由于對數函數為單調的，所以L與lnL同時達到最大值。LnL在最大點的一階偏導數為零，即最大似然函數估計 滿足方程組（稱似然方程組） 由以上分析可知，計算參數 的極大似然估計需要兩個條件： A 已測得簡單隨機樣本值 ； B 已知隨機變量x的概率密度 ；,13 最小二乘估計（最小平方估計 ）,問題的提出： 在實際問題中，重復的測量值 可以認為是未知數x和觀測誤

6、差 之和，即 。這里我們希望誤差 最小，但誤差有正有負，所以誤差和最小并不反映各項誤差都最小。因為絕對值在數學上運算不便，所以我們將考慮誤差平方和最小。,14 最小二乘估計（最小平方估計 ）,定義： 使誤差平方和達到最小的 稱為x的最小二乘估計。這里的目標函數顯然為 。 一般觀測值 與未知量x（待估計值）不是直接相關而是間接相關的，如觀測值作為幾個未知量的線性或非線性模型時。下面我們介紹這兩種情況下的LS估計。,15 線性模型的參數最小二乘估計,線性方程組系數矩陣A為非奇異方陣時，方程組有唯一解，但在實際問題中常常遇到系數矩陣為長方陣 （觀測次數n大于未知量個數r時），其對應的方程組為超定方程

7、組（方程數n大于未知量個數r），無法找到滿足所有方程組的解，只能求出一組解使每一個方程的誤差最小，即所謂最優(yōu)近似解 。,16 線性模型的參數最小二乘估計,例如線性模型為 ，（k1，2，n） 把此式改寫為 ，其中已知量（記錄數據）為 ，未知量為 ，模型誤差為 ，它在零附近波動，且與 無關，如果觀測值（期望響應值）為 ，則按最小二乘估計原理應使得誤差平方和 達到最小，上式寫成矩陣形式為 或 。,17 線性模型參數最小二乘估計的解,解的代數導出 ： 將 展開，并求導可得。 矢量空間導出 ：,17 線性模型參數最小二乘估計的解,LSE估計的矢量空間解釋,18 非線性模型的參數最小二乘估計,考慮模型 ，

8、其中f是向量x和 的函數，對于x是非線性的。這時如果得到觀測值 ，則使誤差平方和 達到最小的解就是x的非線性最小二乘估計值。,19 加權最小二乘估計,前述的結果是通過利用LS準則得到的，這個準則把每一個誤差 同等對待。然而，基于先驗的信息，我們可能把更多的重點放在不同的誤差上，用加權LS準則的誤差平方和： 其中， 是一個元素為正數的對角加權矩陣。 通常，在誤差比較大的地方，我們選用小權重，反之選較大權重。 相對于x的最小化產生了加權的LS估計器（WLS）： 。,20 三種估計方法總結,最大似然估計：事先了解被估計隨機序列的概率分布形式，如，事先知道隨機變量符合正態(tài)分布，從而估計參數均值和方差。

9、 線性最小方差估計：不必知道隨機序列的概率密度分布，知道其一、二階矩即可根據樣本進行估計。 最小二乘估計：對模型的統(tǒng)計特性不加任何條件，許多復雜模型的參數可用它來估計。但其無法充分利用觀測數據的全部（統(tǒng)計）信息。,21 三種估計方法總結,總結： 以上三種估計方法對于統(tǒng)計假設的要求越來越少，所以他們的估計精度相應逐步變差。而且都是由觀測值z來估計隨機向量x，而x是不依賴時間t的。 在很多實際問題中，x既是隨機變量又是時間函數，這時常常需要采用濾波的方法，即用輸出值作為現(xiàn)在或者將來的估計值。維納濾波和卡爾曼濾波都是按線性最小方差準則來估計的，所以都屬于線性估計范圍，稱為線性最優(yōu)濾波。,22 估計的

10、評價標準（一致估計）,一致性： 當樣本容量趨于無窮時，樣本的數字特征依概率收斂于相應的總體數字特征。對于總體參數的估計量 來說，我們也希望 有上述性質，這就引入了一致性的概念。 依概率收斂： 對任意正整數 有， P表示概率。,23 估計的評價標準（一致估計）,一致估計定義： 設 為未知參數 的估計量，若當 時 依概率收斂于 ，則稱 為 的一致估計量。例如樣本均值與樣本方差分別是總體均值和總體方差的一致估計量。最大似然估計量也具有一致性。,24 估計的評價標準（無偏性）,無偏性： 估計量是隨機變量，對于不同的樣本實現(xiàn)它有不同的估計值。我們希望它在未知參數真值附近，即希望它的數學期望等于未知參數的

11、真值，這是無偏性的概念。 無偏估計定義： 設 為未知參數 的估計量，若 ，則稱 為未知參數 的無偏估計量。,25 估計的評價標準（有效性 ）,有效性： 比較參數 的兩個無偏估計量 、 ，如果 較 更密集在 附近，我們就說 較 更為理想。估計量 密集在參數 附近的程度通常用平方誤差 來衡量，因為 是無偏的，（即 ）故 ，從這個意義上來說，無偏估計量以方差小者較有效，所以引出下面定義。 有效性定義： 設 、 是 的兩個無偏估計量，若 ，則稱 較 有效。,26 評價標準總結,我們自然希望一個估計量具有一致估計，不過估計量的一致性只有當樣本容量相當大時，才能顯示出優(yōu)越性，這在實際中往往難以做到。 因此

12、，在工程實際中往往使用無偏性和有效性這兩個標準。,27 參數估計和極小化,問題的提出： 上面介紹的三種估計方法可以從觀測值z來求未知量x，求x的方法是對某個目標函數 極?。ù螅┗O小化問題用處很廣，但在實際問題中此法并不都是成功的，如涉及目標函數可導的問題、參數收斂的問題、收斂快慢的問題等。,28 極小化問題的一般解法 1,極小化問題的一般解法（特別當目標函數較復雜或不能用變量的顯函數表示時）是采用逐次線性極小化，即從某個近似值 開始，在參數空間中沿某個方向 進行搜索，以獲得新的參數 ，其中搜索步長 ，使 。通常我們設法確定 ，使得沿著方向 ， 是J的絕對極小值。,29 極小化問題的一般解法 2,然后再沿著方向 進行第二步搜索，一般的迭