1、第四章 自適應(yīng)數(shù)字濾波器,4.1 引言 4.2 LMS橫向自適應(yīng)濾波器 4.3 LMS格型自適應(yīng)濾波器 4.4 LS自適應(yīng)濾波 4.5 自適應(yīng)濾波的應(yīng)用,4.1 引 言,自適應(yīng)數(shù)字濾波器 自適應(yīng)數(shù)字濾波器的應(yīng)用 本章討論的主要內(nèi)容,1、自適應(yīng)數(shù)字濾波器,維納濾波存在的問題： 適用于平穩(wěn)隨機信號的最佳濾波； 維納濾波器的參數(shù)是固定的； 必須已知信號和噪聲的有關(guān)統(tǒng)計特性。,自適應(yīng)的概念是從仿生學(xué)中引伸出來的，生物能以各種有效的方式適應(yīng)生存環(huán)境。 實際上，自適應(yīng)濾波器是一種能自動調(diào)節(jié)本身的單位脈沖響應(yīng)h(n)以達到最優(yōu)化的維納濾波器。,自適應(yīng)數(shù)字濾波器：利用前一時刻已獲得的濾波器參數(shù)等結(jié)果，自動地調(diào)

2、節(jié)現(xiàn)時刻的濾波器參數(shù)，以適應(yīng)信號與噪聲未知的或隨時間變化的統(tǒng)計特性，從而實現(xiàn)最優(yōu)濾波。,維納濾波器的輸入輸出關(guān)系,自適應(yīng)濾波器原理圖,e(n)=d(n)-y(n),自適應(yīng)濾波器H(z)的系數(shù)根據(jù)誤差信號，通過一定的自適應(yīng)算法，不斷地進行改變， 使輸出y(n)最接近期望信號d(n)。 實際中，d(n)要根據(jù)具體情況進行選取。,圖 4.1.3 自適應(yīng)線性組合器,圖 4.1.4 橫向FIR結(jié)構(gòu)的自適應(yīng)濾波器,自適應(yīng)濾波器的特點： 濾波器的參數(shù)可以自動地按照某種準(zhǔn)則調(diào)整到最佳濾波，是一種最佳的時變數(shù)字濾波器； 實現(xiàn)時不需要任何關(guān)于信號和噪聲的先驗統(tǒng)計知識； 具有學(xué)習(xí)和跟蹤的性能。,2、自適應(yīng)數(shù)字濾波器

3、的應(yīng)用,1967年由美國B.Windrow 及Hoff等人提出自適應(yīng)數(shù)字濾波算法，主要用于隨機信號處理。 自提出以來，自適應(yīng)濾波器發(fā)展很快，在各個方面得到了廣泛的應(yīng)用： 系統(tǒng)模型識別； 通信信道的自適應(yīng)均衡； 雷達與聲納的波束形成； 消除心電圖中的電源干擾； 噪聲中信號的檢測、跟蹤、 增強和線性預(yù)測等。,自適應(yīng)濾波器分類： FIR自適應(yīng)濾波器、IIR自適應(yīng)濾波器 最小均方誤差（LMS）自適應(yīng)濾波器、最小二乘（LS）自適應(yīng)濾波器 橫向結(jié)構(gòu)、格型結(jié)構(gòu),3、本章討論的主要內(nèi)容,主要內(nèi)容：LMS自適應(yīng)濾波器、LS自適應(yīng)濾波、自適應(yīng)濾波的應(yīng)用； 分析思路：根據(jù)LMS或LS準(zhǔn)則，求得自適應(yīng)濾波器的最佳單位

4、脈沖響應(yīng)w(n) ，或者說求其最佳的濾波器加權(quán)系數(shù)wj。,4.2 LMS自適應(yīng)濾波器,本節(jié)討論的主要問題及方法 LMS自適應(yīng)濾波器的基本原理 最陡下降法 Widrow-Hoff LMS算法 LMS算法的收斂性質(zhì),1、本節(jié)討論的主要問題及方法,討論的主要問題：LMS自適應(yīng)濾波器的基本原理、最佳權(quán)系數(shù)的求解方法（最陡下降法和Widrow-Hoff LMS算法）。 分析方法：,2、LMS自適應(yīng)橫向濾波器的基本原理,e(n)=d(n)-y(n),LMS自適應(yīng)橫向濾波器的基本原理： 自適應(yīng)數(shù)字濾波器的單位脈沖響應(yīng)h(n)受誤差信號e(n)控制； 根據(jù)e(n)的值而自動調(diào)節(jié)，使之適合下一刻(n+1)的輸入

5、x(n+1)，以使輸出y(n+1)更接近于所期望的響應(yīng)d(n+1),直至均方誤差 達到最小值； y(n)最佳地逼近d(n)，系統(tǒng)完全適應(yīng)了所加入的兩個外來信號，即外界環(huán)境。 注意： x(n)和d(n)兩個輸入信號可以是確定的，也可以是隨機的，可以是平穩(wěn)的隨機過程，也可以是非平穩(wěn)的隨機過程。 從圖中可見：自適應(yīng)數(shù)字濾波器是由（普通數(shù)字濾波器+相關(guān)抵消回路）構(gòu)成。,表示成矩陣形式：,式中,誤差信號表示為,利用LMS準(zhǔn)則求最佳權(quán)系數(shù)和最小均方誤差 誤差信號被用來作為權(quán)系數(shù)的控制信號。均方誤差（性能函數(shù)）為,上式表明，當(dāng)輸入信號和期望信號是平穩(wěn)隨機信號時， 均方誤差信號Ee2j是權(quán)系數(shù)的二次函數(shù)，它是

6、一個中間上凹的超拋物形曲面，是具有唯一最小值的函數(shù)。,圖 4.2.5 二維權(quán)矢量性能表面,調(diào)節(jié)加權(quán)系數(shù)W使均方誤差最小，相當(dāng)于沿超拋物形曲面下降到最小值。 在數(shù)學(xué)上，可用梯度法沿著該曲面調(diào)節(jié)權(quán)矢量的各元素得到均方誤差Eej2的最小值。,用 表示Eej2的梯度向量，用公式表示如下：,為求最佳權(quán)系數(shù)，令 即,當(dāng)濾波器的單位脈沖響應(yīng)取最佳值時，其誤差信號和輸入信號是正交的。,可以得到,最佳權(quán)矢量W*：,均方誤差將取最小值：,或者將上式取轉(zhuǎn)置，用下式表示：,例 4.2.1 一個單輸入的二維權(quán)矢量自適應(yīng)濾波器如圖 所示，圖中輸入信號與期望信號分別為,求：該濾波器的最佳權(quán)矢量和最小均方誤差。,兩個權(quán)的自適

7、應(yīng)濾波器,解： （1）、計算相關(guān)矩陣Rxx和Rdx,（2）、求梯度向量,（3）、求最佳權(quán)矢量和最小均方誤差：,3、 最陡下降法,存在問題：自適應(yīng)濾波過程是尋求W*的過程 ，需要知道Rxx和Rdx。 解決方法：采用最優(yōu)化的數(shù)學(xué)算法最陡下降法（Steepest Descent Method），搜索性能函數(shù)表面尋找最佳權(quán)系數(shù)。,自適應(yīng)過程的物理意義,最陡下降法的遞推公式,其中,是一個控制穩(wěn)定性和收斂速度的參量，稱之為收斂因子。 方向是性能函數(shù)下降最快的方向，因此稱為最陡梯度下降法。,Ee2(j)與W的關(guān)系在幾何上是一個“碗形”的多維曲面。,收索方向為梯度負方向，每一步更新都使目標(biāo)函數(shù)值減小。,4、

8、Widrow-Hoff LMS算法,存在問題：采用最陡下降法遞推求最佳權(quán)系數(shù)W*時，關(guān)鍵是如何適時地求得（或估計得） ？ 解決方法：由Widrow等人提出，采用梯度的估計值代替梯度的精確值。,LMS算法的權(quán)值計算 LMS(Least Mean Square)算法的梯度估計值用一條樣本曲線進行計算，公式如下：,因為,所以,對梯度估計值求統(tǒng)計平均， 得到,上式說明梯度估計值是無偏估計的，梯度的估計量在理想梯度j附近隨機變化。,最陡下降法的遞推公式修改為：,權(quán)系數(shù)也是在理想情況下的權(quán)軌跡附近隨機變化的,搜索方向為瞬時梯度負方向，不能保證每一步更新都使目標(biāo)函數(shù)值減小，但總趨勢使目標(biāo)函數(shù)值減小。,圖 4

9、.2.8 FIR第i個支路的控制電路,圖 4.2.8 LMS自適應(yīng)濾波器總計算框圖,5、 LMS算法的收斂性質(zhì),對加權(quán)矢量取統(tǒng)計平均：,將Rxx進行分解，得到,Rxx=QTQ,=QTRxxQ,其中，Q稱為正交矩陣或特征矩陣， 是由特征值組成的對角矩陣， 用下式表示：,其中,欲使上式收斂必須滿足,收斂條件還可以表示為,LMS算法加權(quán)矢量是在最陡下降法加權(quán)矢量附近隨機變化的， 其統(tǒng)計平均值等于最陡下降法的加權(quán)矢量。,值對收斂穩(wěn)定性和收斂速度影響很大，首先必須選擇得足夠小，使之滿足收斂條件，同時，它還影響收斂速度。,加權(quán)矢量的收斂性質(zhì),W*,W, Wj,W,Eej2,性能函數(shù)和最小均方誤差分別為：,

10、令 =Ee2j, 則,又,最陡下降法的過渡過程,可得,令,V=W-W*=v1, v2, , vNT,V稱為偏差權(quán)向量，它表示權(quán)向量對最佳權(quán)向量的偏差。這樣性能函數(shù)可以表示得更簡單：,在上式兩邊都減去W *,并令Vj=W j-W*, 得到,Vj+1=I-2RxxVj,因為,所以,將Rxx進行分解，得到,Rxx=QTQ, =QTRxxQ,其中，Q稱為正交矩陣或特征矩陣，是由特征值組成的對角矩陣， 用下式表示：,由此可得,令,得到最陡下降法的性能函數(shù)遞推公式：,假設(shè)起始值是V0，可得到上式的遞推解為,當(dāng) 。且 隨 增加的衰減比 快一倍。,下面用二維權(quán)矢量的情況說明它的幾何意義。對于二維權(quán)矢量情況，有

11、下面公式：,圖 4.2.5 二維權(quán)矢量性能表面,圖 4.2.6 等均方誤差的橢圓曲線族,權(quán)矢量的過渡過程：,第i個權(quán)系數(shù)遞推方程是,令,上式說明第i個分量v i按指數(shù)規(guī)律變化，其時常數(shù)為,i=1, 2, 3, , N,因為一般取得比較小，可以近似得到,i=1, 2, 3, , N,因為,所以,得到,式中,i=1, 2, 3, , N,第i個權(quán)矢量的時間常數(shù)為,性能函數(shù)的過渡過程：,性能函數(shù)的時常數(shù)，即自適應(yīng)學(xué)習(xí)的時間常數(shù)為,最終的收斂要取決于最慢的指數(shù)過程，它的時常數(shù)最大，對應(yīng)最小的特征值，公式如下：,穩(wěn)態(tài)誤差和失調(diào)系數(shù) 存在問題：實際中，工作于實時的自適應(yīng)算法，權(quán)系數(shù)不能完全收斂于最佳值，只

12、是其平均值可以收斂到最佳值。這是由于采用梯度的估計值代替梯度值而產(chǎn)生的估計誤差。,解決方法：引入失調(diào)系數(shù)M進行描述，其定義為,上式說明，和輸入功率加大都會增加失調(diào)系數(shù)。,跟蹤能力越好，曲線穩(wěn)態(tài)越接近橫軸。,圖 4.2.10 LMS算法穩(wěn)態(tài)誤差,上式說明，當(dāng)選擇足夠長的 ，M可以做到任意小。但當(dāng) 一定時，M隨著權(quán)數(shù)目N的增加而增大。另一方面， 越小，收斂也會越快。如此，便產(chǎn)生了動態(tài)特性和靜態(tài)特性的矛盾，這就要求我們在收斂速度和失調(diào)量間取得適當(dāng)?shù)恼壑?。一般而言，迭代次?shù)選擇為 。,例 設(shè)M=10%（一般M=10%可以滿足大多數(shù)工程設(shè)計的要求）并設(shè)N=10，問應(yīng)該取多少次迭代數(shù)？ 解：,按經(jīng)驗實際迭

13、代次數(shù)應(yīng)取100（=10濾波器長度N）或取,圖 4.2.11 LMS算法的學(xué)習(xí)曲線,4.3 LMS格型自適應(yīng)濾波器,本節(jié)討論的主要內(nèi)容及方法 預(yù)測誤差濾波器 預(yù)測誤差格型濾波器 LMS格型自適應(yīng)濾波器,1、本節(jié)討論的主要內(nèi)容及方法,討論的主要內(nèi)容：前、后向橫向預(yù)測誤差濾波器、預(yù)測誤差格型濾波器和LMS格型自適應(yīng)濾波器 主要方法：基于前、后向橫向預(yù)測誤差濾波器，導(dǎo)出預(yù)測誤差格型濾波器,2、 線性預(yù)測誤差濾波器,前向預(yù)測誤差為,將前向預(yù)測誤差用 表示，上式重寫為,前向預(yù)測誤差濾波器,將上式用矩陣方程表示為,其Yule-Walker方程式為：,假設(shè)前、后向預(yù)測器具有相同的系數(shù)，則后向預(yù)測誤差為,后向

14、預(yù)測誤差用 表示，上式可寫為：,后向預(yù)測誤差濾波器,前、 后向預(yù)測誤差濾波器的系數(shù)函數(shù)之間的關(guān)系是,為了求解前、后向預(yù)測誤差濾波器的最佳系數(shù)，需要解Yule-Walker方程，求解方法采用Levinson-Durbin算法。,Levinson-Durbin的一般遞推公式如下：,其中，kp稱為反射系數(shù)。2p和2p-1是預(yù)測誤差的均方值，因此1-k2p必須大于等于0，這樣kp應(yīng)要求滿足下式：,由上式可知，預(yù)測誤差隨遞推次數(shù)增加而減少。,3、預(yù)測誤差格型濾波器,由預(yù)測誤差濾波器導(dǎo)出格型濾波器 將前面已推導(dǎo)的前向預(yù)測誤差公式重寫如下:,將系數(shù)ap,k(k=1,2,3,p)的遞推公式代入上式，并令kp=

15、ap,p，得到,由此，便可得到前向預(yù)測誤差的遞推公式， 即,類似地，得到后向預(yù)測誤差的遞推公式為,對于p=0的情況， 得到,圖 4.3.5 全零點格型濾波器,格型濾波器的性質(zhì) (1) 各階后向預(yù)測誤差相互正交。 用公式表示如下：,(2) 平穩(wěn)隨機序列可由自相關(guān)函數(shù)或反射系數(shù)表征。 (3) 前向預(yù)測誤差濾波器是最小相位濾波器，即它的全部零點在單位圓內(nèi)。后向預(yù)測誤差濾波器是一個穩(wěn)定的最大相位濾波器，全部零點在單位圓外。,4、LMS格型自適應(yīng)濾波器,在滿足預(yù)測誤差的均方值最小的準(zhǔn)則下，最佳自適應(yīng)格型濾波器求解關(guān)鍵在于計算出反射系數(shù)。其方法有：,采用使前、后向預(yù)測誤差功率的和為最小的原則求反射系數(shù)。

16、公式為,即,可以得到,實際計算時，上式中的統(tǒng)計平均值用時間平均計算， 公式為,對于復(fù)信號情況，公式為,如果輸入數(shù)據(jù)為x(i), i=0, 1, 2, , n， 當(dāng)p=1時，,這里,因此,當(dāng)p=2時，,其中,以此類推，可以得到 的具體計算公式為,這種算法必須從低階推起，要求較大的存儲時間，有較大的計算延遲，使應(yīng)用受到限制。,采用梯度算法計算反射系數(shù),其中，,將上式代入前一式中， 得到,式中，=2，為步長因子。,4.4 最小二乘自適應(yīng)濾波,本節(jié)討論的主要內(nèi)容及方法 最小二乘（LS）濾波 遞推最小二乘（RLS）算法,1、本節(jié)討論的主要內(nèi)容及方法,主要內(nèi)容：討論一種以誤差的平方和最小作為最佳準(zhǔn)則的誤差

17、準(zhǔn)則最小二乘準(zhǔn)則，及其遞推算法。 分析方法：,2、最小二乘濾波,最小均方誤差(LMS)濾波（統(tǒng)計分析法）,最小二乘(LS)濾波（精確分析法）,最小二乘的基本問題 已知n個數(shù)據(jù)x(1),x(2),x(n)，采用M個權(quán)的FIR濾波器對數(shù)據(jù)進行濾波，假設(shè)期望信號為d(i)，,濾波器的輸出 是對期望信號d(i)的估計,n時刻的估計誤差為,圖 4.4.1 M個權(quán)的FIR濾波器,誤差信號的平方加權(quán)和為,為了后面敘述方面，引入一些符號。,e(n)=e(1), e(2), , e(n)T,d(n)=d(1), d2), , d(n)T,XM(n)=xM(1),xM(2),xM(n),應(yīng)用這些符號，期望信號的估

18、計、估計誤差和誤差信號能量分別為,式中,為了推導(dǎo)簡單起見， 取=I，則誤差信號能量重新表示為,要使(n)取得最小值，滿足,引入M維向量pM(n)以及MM維矩陣RM(n)，,可得wM(n)的最小二乘估計wLS(n),若rankXM(n)M, 則wM(n)不能唯一辨識。,當(dāng) 存在時，最小二乘的估計值 為,最小二乘估計的誤差信號能量min為,最小二乘估計的模型描述,令誤差信號能量為J，并取加權(quán)矩陣=I，則,3、 遞推最小二乘法(RLS),基本思想：新的估計值是在老的估計值的基礎(chǔ)上修正而成的。,最小二乘遞推算法的關(guān)鍵是得到修正項的表達式,遞推最小二乘法(RLS),根據(jù)最小二乘估計式,用a(i)表示第i

19、步迭代時A的取值，Ak表示前k步A的數(shù)值構(gòu)成的向量。定義一個變量P： ,其中,那么,k-1時刻的估計值為,上式兩邊同時左乘P-1(k-1)，得,定義q(k)為,根據(jù)矩陣反演公式,由此可得,最小二乘遞推算法：,4.5 自適應(yīng)濾波的應(yīng)用,自適應(yīng)抵消器 自適應(yīng)陷波濾波器 自適應(yīng)逆濾波 自適應(yīng)信號分離器,1、自適應(yīng)抵消器,自適應(yīng)濾波器的重要特性：能有效地在未知環(huán)境中跟蹤時變的輸入信號，使輸出信號達到最優(yōu)。 自適應(yīng)噪聲抵消器，利用干擾源的輸出，通過一個數(shù)字濾波器，最佳地估計出干擾值，從而從混有干擾的輸入中減去干擾估值，實現(xiàn)了干擾與信號相當(dāng)完善的分離。 輸入：原始信號（含信號與噪聲），參考信號（與待抵消噪

20、聲信號相關(guān)）； 輸出：無噪聲信號,圖 4.5.1 自適應(yīng)對消系統(tǒng),對消原理 原始輸入端：dj=sj+n0, n0是要抵消的噪聲，并且與s不相關(guān)； 參考輸入端：xj =n1，n1是與n0相關(guān)、與s不相關(guān)的噪聲信號； 系統(tǒng)的輸出：zj=dj-yj； 濾波器的傳輸函數(shù)可以根據(jù)系統(tǒng)的輸出信號自動調(diào)整，假定s, n0, n1是零均值的平穩(wěn)隨機過程,輸出信號的均方值,由于s與n0, n1不相關(guān)，因此s與yj也不相關(guān)，則,性能分析 參考輸入端噪聲與原始輸入端噪聲相關(guān)性； 參考輸入端存在一定的有用信號。,由此可知，原始信號進來什么信號，出來什么信號，這時自適應(yīng)濾波器關(guān)閉。要使其完成自適應(yīng)噪聲抵消任務(wù)，則參考輸

21、入必須與被抵消信號相關(guān)。,若n0與 n1不相關(guān)，其與yj也不相關(guān)，則,參考輸入端存在一定的有用信號 當(dāng)有信號分量泄漏到參考輸入中時，噪聲的抵消能力可以通過比較輸入端的信噪比、參考輸入端的信噪比及輸出端的信噪比數(shù)值大小來評價。,噪聲抵消后，輸出端信號為sout(n)= spri(n)- sref(n)，噪聲為 nout(n)= npri(n)- nref(n) ,其功率譜分別為,噪聲抵消前，原始輸入端的信號為spri(n)= s(n)，噪聲為npri(n)= v(n) ，其功率譜分別為,參考輸入端信號 spri(n)= s(n)*g(n) ,噪聲為nref(n)= v(n)*h(n)，其功率譜分

22、別為,輸入端的信噪比為,參考輸入端的信噪比為,輸出端的信噪比為,參考輸入端的總功率為,參考輸入端與原始輸入端的互功率為,由此可得， 一個自適應(yīng)對消器的穩(wěn)態(tài)解為,結(jié)論：只要參考輸入端的信噪比足夠小，輸出就可以得到好的信噪比。即泄露到參考輸入端的有用信號越少，抵消效果越好。,在參考輸入端存在信號s時，自適應(yīng)抵消器輸出端的信號分量將比原始輸入端的信號分量有一定損失，損失大小用D(z)表示：,3. 應(yīng)用 1) 消除心電圖中的電源干擾,2) 胎兒心電監(jiān)護,其中原始輸入a(t)=f(t)+m(t)+n(t) f(t):胎兒心臟產(chǎn)生信號 m(t):母親心臟產(chǎn)生信號 n(t):噪聲干擾信號（主要由肌肉起的，有

23、時稱“肌肉噪聲”）。,采用自適應(yīng)噪聲抵消器消除胎兒心電圖中母體心臟信號（干擾）。一般采用：四個普通胸導(dǎo)（每路信號相同）記錄母親心跳，作為參考輸入信號。經(jīng)過自適應(yīng)噪聲抵消器處理后，母親心臟干擾信號被顯著消弱，胎兒心聲可辨。,圖 3.5.5 胎兒心電的監(jiān)護 （a） 胸部導(dǎo)聯(lián)心電（參考輸入）；（b） 腹部導(dǎo)聯(lián)的心電（原始輸入）； (c) 自適應(yīng)對消器的輸出,2、自適應(yīng)陷波器（NF）,當(dāng)需要抵消掉的噪聲是單色干擾（即單一頻率的正弦波干擾）時，這樣的系統(tǒng)稱為自適應(yīng)陷波器(Notch Filter,簡稱NF)，又稱為點阻濾波器。,自適應(yīng)譜線增強器：將正弦波與寬帶噪聲分離開來，并提取正弦信號。,陷波器的理想頻率特性,圖 4.5.6