6.1估計(jì)的基本概念所謂信號(hào)參量是指描述信號(hào)的物理量,如正弦信號(hào)的振幅、頻率和相位;脈沖信號(hào)的幅度、寬度和時(shí)延等。由于信號(hào)參量中包含著研究對(duì)象特征與狀態(tài)的信息,所以在工程實(shí)際中常需要測(cè)量信號(hào)的參量。如在雷達(dá)或聲吶中,通過測(cè)量目標(biāo)反射到達(dá)的時(shí)間,可以估算出目標(biāo)的距離;根據(jù)回波頻率的變化可以估算出目標(biāo)的徑向速度等。由于傳輸介質(zhì)的影響和噪聲的干擾,連續(xù)觀測(cè)得到的信號(hào)變?yōu)殡S機(jī)過程,其采樣數(shù)據(jù)變?yōu)殡S機(jī)變量,所以只能對(duì)信號(hào)參量進(jìn)行統(tǒng)計(jì)推斷,即進(jìn)行估計(jì)。下面通過一個(gè)簡(jiǎn)單的例子來說明估計(jì)的基本方法。下一頁返回6.1估計(jì)的基本概念

例題1假定要測(cè)量某個(gè)電壓值θ,電壓θ的取值范圍為(-θ0,θ0

),由于測(cè)量設(shè)備的不完善,測(cè)量總會(huì)有些誤差,測(cè)量誤差可歸結(jié)為噪聲,因此,實(shí)際得到的測(cè)量值為其中v一般服從零均值正態(tài)分布,方差為σ2v。問題是如何根據(jù)測(cè)量值z(mì)來估計(jì)θ的值。解:這是一個(gè)參數(shù)估計(jì)問題,解決這一問題有許多方法。如果θ為隨機(jī)變量,那么,可以計(jì)算后驗(yàn)概率密度,然后求出使最大的θ作為對(duì)θ的估計(jì)值,上一頁下一頁返回6.1估計(jì)的基本概念

即稱為最大后驗(yàn)概率估計(jì)。這一估計(jì)的合理性可以這樣來解釋:得到觀測(cè)值z(mì)后,計(jì)算后驗(yàn)概率密度fθz,很顯然,θ落在以為中心,以δ為半徑的鄰域內(nèi)的概率要大于落在其他值為中心相同大小鄰域的概率,因此有理由認(rèn)為,之所以得到觀測(cè)值z(mì),是因?yàn)棣鹊闹?從后驗(yàn)概率最大這個(gè)角度講是合理的選擇。對(duì)于上式描述的估計(jì)問題,假定(θ~N0,σ2θ),那么上一頁下一頁返回6.1估計(jì)的基本概念

如果θ為未知常數(shù),這時(shí)可以求出似然函數(shù)fz;θ,求出使f(z;θ)最大的θ作為對(duì)θ的估計(jì),記為,稱為θ的最大似然估計(jì),即從上面這個(gè)例子可以看出構(gòu)造一個(gè)估計(jì)問題的基本要素包括:①被估計(jì)量:指需要估計(jì)的參量,一般用θ表示。②觀測(cè)量與觀測(cè)值:觀測(cè)所得到的量稱為觀測(cè)量。當(dāng)觀測(cè)是在有噪聲的情況下進(jìn)行時(shí),觀測(cè)量是隨機(jī)變量,它的樣本叫觀測(cè)值,用x表示。③估計(jì)量和估計(jì)值:根據(jù)觀測(cè)量與被估計(jì)量的統(tǒng)計(jì)特性,按照一種最佳準(zhǔn)則構(gòu)造出某個(gè)函數(shù),它是觀測(cè)量的函數(shù),稱為估計(jì)量。估計(jì)量的樣本,稱為估計(jì)值,簡(jiǎn)稱估值,用表示。上一頁下一頁返回6.1估計(jì)的基本概念

估計(jì)就是指求得估計(jì)量或估計(jì)值的過程。設(shè)在(0,T)時(shí)間內(nèi),觀測(cè)波形為式中,n(t)表示觀測(cè)噪聲;s(t,θ)表示信號(hào);θ是被估計(jì)量(可以是一個(gè)或多個(gè)),它一般是隨機(jī)變量(也可以是未知的非隨機(jī)變量)。假定被估計(jì)量是某設(shè)備的輸出電壓θ,噪聲存在使其具有隨機(jī)性,為了得到較精確的估計(jì)結(jié)果,一般地不只測(cè)量一次,而是取多次測(cè)量的平均值作為這個(gè)電壓的估值。若測(cè)量了N次,得到N個(gè)測(cè)量值,即x1,x2,…,xN,估值上一頁下一頁返回6.1估計(jì)的基本概念

這是以樣本的平均值作為隨機(jī)參量θ的估值。這種估計(jì)方法叫樣本數(shù)字特征法,是較簡(jiǎn)單的一種估計(jì)方法。若根據(jù)觀測(cè)量與被估計(jì)量的不同統(tǒng)計(jì)特性,或者說采用不同的準(zhǔn)則,那么就會(huì)產(chǎn)生不同的估計(jì)方法。對(duì)于同一參量,若用不同的方法進(jìn)行估計(jì),所得的估值是不同的。上一頁返回6.2估計(jì)量的性質(zhì)6.2.1無偏性估計(jì)量是隨觀測(cè)量而變化的,希望當(dāng)觀測(cè)重復(fù)進(jìn)行時(shí),所求得的估計(jì)量都分布在被估計(jì)量的真值附近擺動(dòng)。如果估計(jì)量的均值等于被估計(jì)量的均值(對(duì)于隨機(jī)變量),即或者等于被估計(jì)量的真值(對(duì)于非隨機(jī)變量),即下一頁返回6.2估計(jì)量的性質(zhì)則稱估計(jì)量具有無偏性。即是θ的無偏估計(jì)量;否則是有偏的,其偏差用表示由于是隨機(jī)變量,故也是隨機(jī)變量。上一頁ss返回6.2估計(jì)量的性質(zhì)6.2.2有效性如果同一個(gè)參量用兩種方法進(jìn)行估計(jì),所得的估計(jì)量都是無偏的,怎樣評(píng)價(jià)哪一種方法更好些呢?應(yīng)進(jìn)一步討論估計(jì)誤差的方差,以便比較估計(jì)值偏離真值的程度。估計(jì)誤差的方差為若兩種估計(jì)方法之中有一種均方誤差較小,則認(rèn)為它比另一種有效。為了確定某一種方法是否有效,則要看它的誤差方差是不是所有估計(jì)方法中最小的。上一頁下一頁返回6.2估計(jì)量的性質(zhì)6.2.3一致性由于估計(jì)量是隨機(jī)變量,其概率分布不可能集中在參量真實(shí)值這一點(diǎn)上,希望當(dāng)觀測(cè)次數(shù)增加時(shí),估計(jì)量的概率密度函數(shù)變得越來越尖銳,即方差越小,估計(jì)值趨近于參量的真值(或均值)。若對(duì)于任意ε>0,有下式成立則稱估計(jì)量是一致估計(jì)量。其含義是當(dāng)觀測(cè)次數(shù)增加時(shí),估計(jì)量取被估計(jì)量的可能性為100%,即以概率1收斂于θ。上一頁返回6.3貝葉斯估計(jì)貝葉斯估計(jì)采用平均代價(jià)最小的估計(jì)準(zhǔn)則,為此,先介紹代價(jià)函數(shù)及平均代價(jià)的概念。1.代價(jià)函數(shù)代價(jià)函數(shù)是估計(jì)誤差的函數(shù),表示估計(jì)誤差帶來的損失,它是非負(fù)的,在=θ處有最小值,用C(,θ)表示,常用的代價(jià)函數(shù)有以下三種。下一頁返回6.3貝葉斯估計(jì)

常用的三種代價(jià)函數(shù)如圖6.1所示。2.平均代價(jià)假設(shè)先驗(yàn)聯(lián)合概率密度p(θ,r)已知,則平均代價(jià)(風(fēng)險(xiǎn))定義為上一頁下一頁返回6.3貝葉斯估計(jì)

若后驗(yàn)概率密度已知,則式(6.3.4)可以表示為貝葉斯準(zhǔn)則就是選擇,使平均代價(jià)達(dá)到最小的準(zhǔn)則。上式中內(nèi)積分和p(r)都是非負(fù)的,要使平均代價(jià)最小,只要使內(nèi)積分極小即可。即內(nèi)積分為此內(nèi)積分又稱為條件平均代價(jià)或條件平均風(fēng)險(xiǎn)。所以,使平均代價(jià)最小求估計(jì)值,等效為使條件平均代價(jià)最小求估計(jì)值。上一頁下一頁返回6.3貝葉斯估計(jì)

3.貝葉斯估計(jì)準(zhǔn)則將不同的代價(jià)函數(shù)代入條件平均代價(jià)表示式(6.3.5)或式(6.3.6)中,使其平均代價(jià)最小,即可得到以下不同的估計(jì)準(zhǔn)則。1)最小均方誤差估計(jì)將誤差平方代價(jià)函數(shù)代入條件平均代價(jià)公式(6.3.6)中,得為求的極小值,上式對(duì)求偏導(dǎo),并令其等于0,得上一頁下一頁返回6.3貝葉斯估計(jì)

上一頁下一頁返回及所以6.3貝葉斯估計(jì)

最小方差估計(jì)值為恰好等于條件均值,所以,最小方差估計(jì)又稱為條件均值估計(jì)。對(duì)于最小方差估計(jì)取均值,得所以,最小方差估計(jì)是無偏估計(jì),且是最小方差無偏估計(jì)。上一頁下一頁返回6.3貝葉斯估計(jì)

2)條件中值估計(jì)將絕對(duì)值代價(jià)函數(shù)代入條件平均代價(jià)公式(6.3.6)中,得上一頁下一頁返回6.3貝葉斯估計(jì)

可以看出,估計(jì)值是條件概率密度的中值,所以又稱為條件中值估計(jì)。上式的求解較為復(fù)雜,因此,未得到廣泛應(yīng)用。3)最大后驗(yàn)估計(jì)將均勻代價(jià)函數(shù)代入條件平均代價(jià)公式(6.3.6)中,得上一頁下一頁返回6.3貝葉斯估計(jì)

從上式可以看出,使最小等價(jià)于使后驗(yàn)概率最大。于是,可得最大后驗(yàn)估計(jì)方程,即解此方程,即可求得最大后驗(yàn)估計(jì)值利用關(guān)系式(6.3.14)上一頁下一頁返回6.3貝葉斯估計(jì)

可以得到另一種形式的MAP方程,即(6.3.15)上一頁返回6.4最大似然估計(jì)最大后驗(yàn)估計(jì)式中需要知道先驗(yàn)概率pθ,如果僅僅知道后驗(yàn)概率則該方法不可用。于是,在后驗(yàn)估計(jì)式中將p(θ)看成常數(shù),則最大后驗(yàn)方程退化為非隨機(jī)參量的估計(jì),即或下一頁返回6.4最大似然估計(jì)

稱式(6.4.2)為似然方程,式(6.4.1)為對(duì)數(shù)似然方程。上述方程表示求解使似然函數(shù)最大的估計(jì)值,所以,此估計(jì)值稱為最大似然估計(jì)。其物理意義即選擇一個(gè)估計(jì)值使觀測(cè)到的r出現(xiàn)的概率最大。(1)若有效估計(jì)存在,對(duì)于非隨機(jī)參數(shù)估計(jì)來說,最大似然估計(jì)就是有效估計(jì),根據(jù)似然方程,有得上一頁返回6.5線性最小均方估計(jì)對(duì)于隨機(jī)參數(shù)的估計(jì),前面小節(jié)介紹了最小均方誤差估計(jì),最小均方誤差估計(jì)是被估計(jì)量的條件均值,這個(gè)條件均值通常都是觀測(cè)的非線性函數(shù),估計(jì)器實(shí)現(xiàn)起來比較復(fù)雜。條件均值的計(jì)算需要用到被估計(jì)量θ的概率密度fθ,如果并不知道概率密度fθ,而只知道θ的一、二階矩特性,并且希望估計(jì)器能用線性系統(tǒng)實(shí)現(xiàn),這時(shí)可以采用線性最小均方估計(jì)。線性最小均方估計(jì)是一種使均方誤差最小的線性估計(jì)。假定觀測(cè)為那么線性估計(jì)為下一頁返回6.5線性最小均方估計(jì)

估計(jì)的均方誤差為線性最小均方估計(jì)就是通過選擇一組最佳系數(shù)ai和b,使上式的均方誤差達(dá)到最小。均方誤差對(duì)系數(shù)求導(dǎo),并令導(dǎo)數(shù)等于零,得上一頁下一頁返回6.5線性最小均方估計(jì)

經(jīng)整理得利用上兩個(gè)式子的N+1個(gè)方程可以求得系數(shù)b和ai。式是線性最小均方估計(jì)的重要條件,稱為正交條件,即估計(jì)誤差與任意的觀測(cè)數(shù)據(jù)是正交的。對(duì)于線性最小均方估計(jì)由于所以,線性最小均方估計(jì)是無偏估計(jì)。上一頁返回6.6最小二乘估計(jì)6.6.1數(shù)量情況下的最小二乘估計(jì)為了估計(jì)一個(gè)未知數(shù)量θ,對(duì)它進(jìn)行m次線性觀測(cè)hiθ,i=1,2,…,m,其中hi是已知常量。由于觀測(cè)有誤差,所以實(shí)際所得觀測(cè)值為式中,vi為第i次觀測(cè)的誤差,最小二乘法就是希望所求的估計(jì),能使觀測(cè)值z(mì)i與其相應(yīng)的估計(jì)值hiθ^之間的誤差平方和達(dá)到最小。記這個(gè)誤差平方和為下一頁返回6.6最小二乘估計(jì)

使達(dá)到最小的那個(gè)θ^值就稱為x的最小二乘估計(jì),記為或。欲求,必須使解之,得上一頁下一頁返回6.6最小二乘估計(jì)

如果令則可以把上式寫成下列矩陣形式:與上一頁下一頁返回6.6最小二乘估計(jì)

由矩陣求導(dǎo),得令上式等于零,可以求得為(6.6.8)上一頁下一頁返回6.6最小二乘估計(jì)

6.6.2矢量情況下的最小二乘估計(jì)假設(shè)待估計(jì)量為觀測(cè)為用矢量和矩陣可表示為其中上一頁下一頁返回6.6最小二乘估計(jì)

觀測(cè)與估計(jì)偏差的平方和可表示為觀測(cè)與估計(jì)偏差的加權(quán)平方和可表示為上一頁下一頁返回6.6最小二乘估計(jì)

最小二乘估計(jì)就是使最小的估計(jì),記為,加權(quán)最小二乘估計(jì)就是使最小的估計(jì),記為。求對(duì)的導(dǎo)數(shù),并令導(dǎo)數(shù)等于零,得由此可解得最小二乘估計(jì)為。求的導(dǎo)數(shù),并令導(dǎo)數(shù)等于零,得上一頁下一頁返回6.6最小二乘估計(jì)

由此可解得最小二乘估計(jì)為最小二乘估計(jì)具有如下特點(diǎn):(1)對(duì)于線性的觀測(cè)模型,最小二乘估計(jì)和加權(quán)最小二乘估計(jì)都是線性估計(jì),對(duì)測(cè)量噪聲的統(tǒng)計(jì)特性沒有做任何假定,應(yīng)用十分廣泛。(2)當(dāng)測(cè)量噪聲的均值為零時(shí),即Evi=0時(shí),最小二乘估計(jì)和加權(quán)最小二乘估計(jì)都是無偏估計(jì)。上一頁下一頁返回6.6最小二乘估計(jì)

6.6.3最小二乘估計(jì)用于目標(biāo)跟蹤目標(biāo)的跟蹤問題可等效看成一個(gè)曲線擬合問題,對(duì)于勻速直線運(yùn)動(dòng)目標(biāo)的跟蹤可以等效一階多項(xiàng)式擬合一個(gè)噪聲測(cè)量的問題,而對(duì)于勻加速運(yùn)動(dòng)目標(biāo)的跟蹤可以等效成二階多項(xiàng)式擬合一個(gè)噪聲測(cè)量的問題。首先考慮勻速直線運(yùn)動(dòng)目標(biāo)的跟蹤問題,勻速直線運(yùn)動(dòng)目標(biāo)模型(只考慮x方向,要擴(kuò)展到平面x、y或空間的x、y、z是很容易的)為對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行連續(xù)觀測(cè),觀測(cè)模型為上一頁下一頁返回6.6最小二乘估計(jì)

其中測(cè)量噪聲w（i）是零均值高斯白噪聲,方差為分別表示目標(biāo)的起始位置和起始速度。令則令上一頁下一頁返回6.6最小二乘估計(jì)

由最小二乘估計(jì)公式,可得隨著對(duì)運(yùn)動(dòng)目標(biāo)的不斷觀測(cè),可以根據(jù)上式對(duì)目標(biāo)的起始位置估計(jì)不斷更新,根據(jù)估計(jì)的起始位置,再外推目標(biāo)在tk時(shí)刻的位置,就可以實(shí)現(xiàn)對(duì)目標(biāo)的連續(xù)不斷的跟蹤。上一頁返回6.7波形估計(jì)6.7.1波形估計(jì)的一般概念前幾節(jié)討論的參數(shù)估計(jì)問題是根據(jù)觀測(cè)數(shù)據(jù)對(duì)信號(hào)的未知參量進(jìn)行估計(jì),另一類估計(jì)稱為波形估計(jì)或狀態(tài)估計(jì);二者的差別在于,前者的被估計(jì)量不隨時(shí)間而變化,也稱為靜態(tài)估計(jì),而后者的被估計(jì)量是隨時(shí)間變化的,也稱為動(dòng)態(tài)估計(jì)。假定離散時(shí)間的觀測(cè)過程為下一頁返回6.7波形估計(jì)其中,v(n)為噪聲,s(n)為信號(hào),n0為起始觀測(cè)時(shí)間,nf為觀測(cè)結(jié)束時(shí)刻。波形估計(jì)問題就是要根據(jù)觀測(cè)過程zn(n=n0,n+1,…,nf)去估計(jì)信號(hào)sn。這一問題可以看作含有噪聲的觀測(cè)過程中信號(hào)的恢復(fù)問題,如語音恢復(fù)、圖像恢復(fù)等,也可以看作一個(gè)受到噪聲污染的信號(hào)去噪問題。把從含有噪聲的觀測(cè)波形中最佳地提取有用信號(hào)稱為最佳濾波。波形估計(jì)有三種類型:(1)濾波:根據(jù)當(dāng)前和過去的觀測(cè)值{z（k）,k=n0,n0+1,…,nf}對(duì)信號(hào)s(n)進(jìn)行估計(jì)。(2)預(yù)測(cè):根據(jù)當(dāng)前和過去的觀測(cè)值{z（k）,k=n0,n0+1,…,nf}對(duì)未來時(shí)刻n(n>nf)的信號(hào)s(n)進(jìn)行估計(jì),預(yù)測(cè)也稱為外推。上一頁下一頁返回6.7波形估計(jì)(3)內(nèi)插:根據(jù)某一區(qū)間內(nèi)的觀測(cè)數(shù)據(jù){z（k）,k=n0,n0+1,…,nf}對(duì)區(qū)間內(nèi)的某一個(gè)時(shí)刻n(n0<n<nf)的信號(hào)進(jìn)行估計(jì),內(nèi)插也稱為平滑。把估計(jì)簡(jiǎn)寫成即濾波器系數(shù)的選擇可以由線性最小均方估計(jì)的正交原理來求取,即上一頁下一頁返回6.7波形估計(jì)或者寫成上式稱為Wiener-Hopf方程,對(duì)應(yīng)的均方誤差為上一頁下一頁返回6.7波形估計(jì)6.7.2維納濾波器假定信號(hào)和觀測(cè)過程是平穩(wěn)隨機(jī)序列,并且是聯(lián)合平穩(wěn)隨機(jī)序列,系統(tǒng)為因果的線性時(shí)不變離散時(shí)間線性系統(tǒng),n0=-∞,即觀測(cè)數(shù)據(jù)為zk,-∞<k≤n,那么式(6.7.4)可表示為上一頁下一頁返回6.7波形估計(jì)令m=n-i,l=n-k上式用變量n替換m可表示為對(duì)上式兩端做z變換,得上一頁下一頁返回6.7波形估計(jì)所以H(z)稱為維納濾波器。當(dāng)信號(hào)s(n)與觀測(cè)噪聲統(tǒng)計(jì)獨(dú)立時(shí),維納濾波器為其中,Gv(z)為噪聲的功率譜,維納濾波器用離散傅里葉變換可表示為上一頁下一頁返回6.7波形估計(jì)當(dāng)觀測(cè)為白噪聲時(shí),式(6.7.9)可表示為或者用z變換表示為其中G+

sz(z)是Gsz(z)所有零、極點(diǎn)在單位圓內(nèi)的那一部分。如果z(n)不是白噪聲,那么可以先將z(n)白化,變成白噪聲,然后利用上式。白化濾波器Hω(z)為Hω上一頁下一頁返回6.7波形估計(jì)而Hz(z)為所以,維納濾波器為6.7.3最優(yōu)線性預(yù)測(cè)最優(yōu)線性預(yù)測(cè)(或簡(jiǎn)稱為線性預(yù)測(cè))是維納濾波的一種特殊形式,將M個(gè)“過去”的數(shù)據(jù)構(gòu)成數(shù)據(jù)矢量,把當(dāng)前的輸入作為期望響應(yīng),代入Wiener-Hopf方程,則可得到最優(yōu)線性預(yù)測(cè)系數(shù)滿足的方程。最優(yōu)線性預(yù)測(cè)分為前向預(yù)測(cè)和后向預(yù)測(cè)兩種情況。上一頁下一頁返回6.7波形估計(jì)1.前向線性預(yù)測(cè)用M個(gè)“過去”的數(shù)據(jù)點(diǎn)x(n-1),x(n-2),…,x(n-M)預(yù)測(cè)“當(dāng)前”數(shù)據(jù)點(diǎn)x(n)的值,是前向預(yù)測(cè)問題。在所有可能的線性預(yù)測(cè)器中,存在一個(gè)使預(yù)測(cè)誤差的均方值最小的預(yù)測(cè)器,稱這樣的預(yù)測(cè)為最優(yōu)前向線性預(yù)測(cè)。設(shè)預(yù)測(cè)器的系數(shù)為wf,1,wf,2,…,wf,M,則x(n)的預(yù)測(cè)值為顯然,最優(yōu)前向線性預(yù)測(cè)相當(dāng)于一個(gè)維納濾波器,與維納濾波器的理論相對(duì)應(yīng),線性預(yù)測(cè)的期望響應(yīng)為上一頁下一頁返回6.7波形估計(jì)前向預(yù)測(cè)誤差為當(dāng)預(yù)測(cè)器系數(shù)取最優(yōu)解時(shí),前向預(yù)測(cè)誤差的均方差最小,設(shè)其為為了把最優(yōu)線性濾波器的結(jié)論直接應(yīng)用到線性預(yù)測(cè)中,我們引入下列變量和參數(shù)。先令輸入數(shù)據(jù)矢量為上一頁下一頁返回6.7波形估計(jì)由于x(n)為實(shí)平穩(wěn)隨機(jī)信號(hào),因而輸入數(shù)據(jù)的自相關(guān)矩陣為輸入數(shù)據(jù)與期望響應(yīng)的互相關(guān)矢量為上一頁下一頁返回6.7波形估計(jì)這里利用了實(shí)平穩(wěn)隨機(jī)信號(hào)自相關(guān)函數(shù)的偶對(duì)稱性。相應(yīng)地,求解前向最優(yōu)線性預(yù)測(cè)的Wi