1、信號處理的根本任務(wù)是要提取有用的信息，有用信息是通過檢測、估計的方法對信號進行處理后提取出來的，所以、檢測、估計的信號處理方法是信號處理技術(shù)的理論基礎(chǔ)，它的應(yīng)用領(lǐng)域十分廣泛。,聲納系統(tǒng)-利用聲波信號確定船只的位置 圖象處理-使用紅外檢測是否有飛機出現(xiàn) 圖象分析-根據(jù)照相機的圖象估計目標(biāo)的位置和方向，用機器人抓目標(biāo)時是必須的 生物醫(yī)學(xué)-估計胎兒的心率 控制-估計汽艇的位置，以便采用正確的導(dǎo)航行為，如Loran系統(tǒng) 地震學(xué)-檢測地下是否有油田，并根據(jù)油層和巖層的密度，根據(jù)聲反射來估計油田的地下距離。,所有這些問題都有一個共同的特點，那就是從含有噪聲的數(shù)據(jù)集中去提取我們所需要的有用信息，這些有用信息

2、可能是“目標(biāo)出現(xiàn)與否”、“數(shù)字源發(fā)射的是0還是1”或者“目標(biāo)的距離”、“目標(biāo)的方位”，或”目標(biāo)的速度”等，由于噪聲固有的隨機性，因此，有用信息的提取必須采用統(tǒng)計的方法，這些統(tǒng)計方法的基礎(chǔ)就是檢測理論與估計理論，就是本課程后續(xù)章節(jié)學(xué)習(xí)的內(nèi)容。,5.估計理論,5.1 估計的基本概念,5.2 貝葉斯估計：已知代價函數(shù)及先驗概率，使估計付出的平均代價最小,5.3 最大似然估計：使似然函數(shù)最大,5.4 估計量的性能,5.5 線性最小均方估計：已知估計量的一、二階矩,使均方誤差最小的 線性估計,5.6 最小二乘估計：觀測與估計偏差的平方和最小,5.7 波形估計,估計問題通常是以下三種情況： 根據(jù)觀測樣本直

3、接對觀測樣本的各類統(tǒng)計特性作出估計； 根據(jù)觀測樣本，對觀測樣本中的信號中的未知的待定參量作出估計，稱為信號的參量估計問題，又分為點估計和區(qū)間估計； 根據(jù)觀測樣本對隨時間變化的信號作出波形估計，又稱為過程估計。,5.1估計的基本概念,信源s() P(),混合,P(n),n,估計規(guī)則,估計 (),z,觀測空間,信號參量估計的統(tǒng)計推斷模型,5.1估計的基本概念,估計問題基本要素,5.1估計的基本概念,概率傳遞機制,估計準(zhǔn)則,1、貝葉斯估計 在已知代價函數(shù)及先驗概率基礎(chǔ)上，使估計付出的平均代價最小。 設(shè)觀測值為z，待估參量為。 估計誤差： 設(shè)代價函數(shù)： 貝葉斯估計準(zhǔn)則：,5.2貝葉斯估計,條件平均代價

4、,統(tǒng)計平均代價：,等價于使下式最小：,5.2貝葉斯估計,2、典型代價函數(shù)及貝葉斯估計,5.2貝葉斯估計,平方代價：, 最小均方估計(Minimal Square) 對 求導(dǎo)數(shù)，并使其等于零： 得： 即 ，也稱為條件均值估計。,5.2貝葉斯估計,平方代價：,條件中位數(shù)估計(Median) 對 求導(dǎo)數(shù)，并使其等于零，得： 可見，估計為條件概率密度 的中位數(shù)。,5.2貝葉斯估計,最大后驗概率估計(maximal posterior probability) 應(yīng)當(dāng)選擇 ，使它處在后驗概率 的最大處。 最大后驗概率方程： 或,5.2貝葉斯估計,由關(guān)系式： 兩邊取對數(shù)并對求導(dǎo)，得最大后驗概率方程的另一形式

5、：,5.2貝葉斯估計,例1設(shè)觀測為 ，其中被估計量A在-A0,A0上均勻分布,測量噪聲vN(0, )，求A的最大后驗概率估計和最小均方估計。,5.2貝葉斯估計,例2 高斯白噪聲中的直流電平估計-高斯先驗分布。設(shè)有N次獨立觀測zi=A+vi,i=1,2,.N，其中vN(0, )，A ，求A的估計。,5.2貝葉斯估計,習(xí)題：7.3、7.6,由最大后驗概率估計 若先驗概率密度函數(shù) 未知，則由左邊第一項求解參量，即最大似然估計，用 表示。最大似然方程為：,1、最大似然估計,5.3最大似然估計,(Maximum Likelihood Estimate),例1、高斯白噪聲中的直流電平估計-未知參數(shù)。設(shè)有N

6、次獨立觀測zi=A+vi ，i=1,2,.N，其中viN(0,2)，A為未知參數(shù)，2已知，求A的最大似然估計。,5.3最大似然估計,例2、設(shè)有N次獨立觀測zi=vi ，i=1,2,.N，其中viN(0,2)，求2 的最大似然估計。,5.3最大似然估計,例3、高斯白噪聲中的直流電平估計-未知參數(shù)與未知方差。設(shè)有N次獨立觀測zi=A+vi ，i=1,2,.N，其中vN(0,2)，2、A均為未知參數(shù)，求A和2的最大似然估計。,5.3最大似然估計,=A 2T,1、估計量的性能標(biāo)準(zhǔn) 無偏性 如果估計量的均值等于非隨機參量或等于隨機參量的均值，則稱估計量具有無偏性。即滿足： 對于確定量，有： 對于隨機量，

7、有：,5.4估計量的性能, 有效性,5.4估計量的性能,對于無偏估計，如果估計的方差越小，表明估計量的取值越集中于真值附近，估計的性能越好。,對于有偏估計，盡管估計的方差很小，但估計的誤差可能仍然很大。,5.4估計量的性能, 有效性,5.4估計量的性能,對于無偏估計，如果估計的方差越小，表明估計量的取值越集中于真值附近，估計的性能越好。,用估計的方差還不能準(zhǔn)確地描述估計的性能，所以我們可以用均方誤差作為評價估計量性能的一個指標(biāo)。, 一致性 即對于任意小數(shù)，若有： 則估計量 為一致估計量。 若滿足 則稱為均方一致估計量。,5.4估計量的性能,5.4估計量的性能,例1、高斯白噪聲中的直流電平估計-

8、未知參數(shù)。設(shè)有N次獨立觀測zi=A+vi ，i=1,2,.N，其中viN(0,2)，2已知。,2、克拉美羅限(Cramer-Rao Low bound) 無偏估計量的估計方差的最小值 非隨機參量,5.4估計量的性能,任何無偏估計量的方差滿足,等號成立的條件：,克拉美-羅限,2、克拉美羅限(Cramer-Rao bound),5.4估計量的性能,如果一個無偏估計，它的方差達(dá)到CRLB，那么，這個估計必定是最大似然估計。這時最大似然估計是最好的。但如果不存在達(dá)到CRLB的估計，最大似然估計就不一定是最好的估計。,例2、高斯白噪聲中的DC電平。DC電平的最大似然估計的方差是否達(dá)到CRLB？它的估計方

9、差是多少？,5.4估計量的性能,2、克拉美羅限(Cramer-Rao Low bound) 無偏估計量的估計方差的最小值 隨機參量,5.4估計量的性能,任何無偏估計量的均方誤差滿足,等號成立的條件：,克拉美-羅限,2、克拉美羅限(Cramer-Rao Low bound) 無偏估計量的估計方差的最小值 隨機參量,5.4估計量的性能,如果有某個無偏估計達(dá)到CRLB,那么該估計必定是最大后驗概率估計.而最小均方估計的均方誤差也是最小的,所以這時最小均方估計與最大后驗概率估計等價.,5.4估計量的性能,例2 高斯白噪聲中的直流電平估計-高斯先驗分布。設(shè)有N次獨立觀測zi=A+vi,i=1,2,.N，

10、其中vN(0, )，A ，求A的估計的CRLB。,1、線性最小均方估計(linear minimum mean square error estimation) 前提：不知道 ，知道 的一、二階矩特性 準(zhǔn)則：使均方誤差最小的線性估計 實現(xiàn)： 選擇適當(dāng)?shù)南禂?shù)ai及b，使估計均方誤差最小。,5.5線性最小均方估計,5.5線性最小均方估計,正交條件,正交條件是信號最佳線性濾波和估計算法的基礎(chǔ)，在隨機信號處理中占有十分重要的地位。,性能分析： 線性最小均方估計為無偏估計，即有： 線性最小均方估計的均方誤差等于誤差與被估計量乘積的統(tǒng)計均值，即： 其中：,5.5線性最小均方估計,例1、設(shè)觀測模型為zi=s

11、+vi ，i=1,2,.，其中隨機參量s以等概率取-2,-1,0,1,2諸值，噪聲干擾vi以等概率取-1,0,1諸值，且Esvi=0， ，試根據(jù)一次、二次、三次觀測數(shù)據(jù)求參量s的線性最小均方估計。,5.5線性最小均方估計,1、最小二乘估計（Least square estimation） 前提：適用于線性觀測模型； 不規(guī)定估計的概率或統(tǒng)計描述； 需要關(guān)于被估計量的觀測信號模型 ; 準(zhǔn)則：使觀測與估計偏差的平方和最小。 假定觀測模型為線性，即觀測數(shù)據(jù)zk與參量1， 2， M之間服從： 其中hk1，hk2，hkM為已知常系數(shù)。,5.6最小二乘估計,將觀測方程用矢量及矩陣表示： 最小二乘估計是使觀測

12、與估計偏差的平方和最小，即：,5.6最小二乘估計,性能分析： 對于線性觀測模型，最小二乘估計是線性估計，對測量噪聲的統(tǒng)計特性無任何假設(shè)，應(yīng)用十分廣泛； 若噪聲均值為零，最小二乘估計為無偏估計，即有：,5.6最小二乘估計,性能分析： 最小二乘估計的均方誤差為： 對于加權(quán)最小二乘估計，如果有一些模型的知識，如E(v)=0， ，當(dāng) 時，估計誤差的方差陣達(dá)到最小，這個最小的方差陣為：,5.6最小二乘估計,例1、觀測數(shù)據(jù)為： 其中a為待估參量，nk為觀測噪聲，求a的最小二乘估計。,5.6最小二乘估計,例2、根據(jù)以下對二維矢量 的兩次觀測， 求 的線性最小二乘估計。,5.6最小二乘估計,最小二乘估計在目標(biāo)

13、跟蹤中的應(yīng)用,5.6最小二乘估計,勻速直線運動的觀測模型：,習(xí)題：7.26,7.31,1、波形估計 參量估計適用于非時變參量，無法解決時變參量估計問題。 關(guān)于時變參量甚至?xí)r變信號本身的估計稱為時變信號估計或波形估計，因此波形估計又稱過程估計。 波形估計其實質(zhì)就是給定有用信號和加性噪聲的混合波形，尋求一種線性運算作用于此混合波形，使信號與噪聲實現(xiàn)最佳分離，最佳的含義是使估計的均方誤差最小，故又稱為最佳線性濾波理論。,5.7波形估計,波形估計通常分為濾波、平滑、預(yù)測三種基本估計。 濾波： 根據(jù)當(dāng)前和過去的觀測值z(k),k= n0, n0+1,.,n對信號s(n)進行估計(Filtering)；

14、預(yù)測: 根據(jù)當(dāng)前和過去的觀測值z(k),k= n0, n0+1,.,nf對未來時刻n(nnf)的信號s(n)進行估計，預(yù)測也稱為外推；(Prediction) 根據(jù)某一區(qū)間的觀測數(shù)據(jù)z(k),k= n0,n0+1,.,nf對區(qū)間內(nèi)的某一個時刻n(n0nnf)的信號進行估計，內(nèi)插也稱為平滑。(Smoothing)。,5.7波形估計,2、維納濾波,5.7波形估計,線性最小均方估計是觀測的線性函數(shù)，它可以看作為觀測序列通過離散時間線性系統(tǒng)，即,Wiener-Hopf方程,濾波器系數(shù)的選擇：,正交原理,5.7波形估計,假定信號和觀測過程是平穩(wěn)隨機序列，并且是聯(lián)合平穩(wěn)隨機序列，系統(tǒng)為因果的線性時不變離散時間線性系統(tǒng),5.7波形估計,維納濾波器,信號s(n)與觀測噪聲統(tǒng)計獨立時，維納濾波器為：,觀測為白噪聲時，維納濾波器為：,維納濾波和卡爾曼濾波是實現(xiàn)從噪聲中提取信號，完成信號波形估計的兩種線性最佳估計方法。 維納濾波需要設(shè)計維納濾波器，它的求解要求知道隨機信號的統(tǒng)計特性，即相關(guān)函數(shù)