1、第三章 自適應(yīng)數(shù)字濾波器,3.1 引言 3.2 自適應(yīng)橫向?yàn)V波器 3.3 自適應(yīng)格型濾波器 3.4 最小二乘自適應(yīng)濾波 3.5 自適應(yīng)濾波的應(yīng)用,3.1 引 言,自適應(yīng)數(shù)字濾波器和維納濾波器一樣，都是符合某種準(zhǔn)則的最佳濾波器。維納濾波器的參數(shù)是固定的，適用于平穩(wěn)隨機(jī)信號的最佳濾波，但要設(shè)計(jì)這種濾波器，必須要求輸入信號是平穩(wěn)的，且具有信號和噪聲統(tǒng)計(jì)分布規(guī)律的先驗(yàn)知識。在實(shí)際中， 常常無法知道這些先驗(yàn)知識，且統(tǒng)計(jì)特性還會(huì)變化，因此實(shí)現(xiàn)最佳濾波是困難的。,自適應(yīng)濾波器的特點(diǎn)是：濾波器的參數(shù)可以自動(dòng)地按照某種準(zhǔn)則調(diào)整到最佳濾波；實(shí)現(xiàn)時(shí)不需要任何關(guān)于信號和噪聲的先驗(yàn)統(tǒng)計(jì)知識，尤其當(dāng)輸入統(tǒng)計(jì)特性變化時(shí)，自

2、適應(yīng)濾波器都能調(diào)整自身的參數(shù)來滿足最佳濾波的需要。 常常將這種輸入統(tǒng)計(jì)特性未知，調(diào)整自身的參數(shù)到最佳的過程稱為“學(xué)習(xí)過程”。 將輸入信號統(tǒng)計(jì)特性變化時(shí)，調(diào)整自身的參數(shù)到最佳的過程稱為“跟蹤過程”，因此自適應(yīng)濾波器具有學(xué)習(xí)和跟蹤的性能。 由于自適應(yīng)濾波器有這些特點(diǎn)，自1967年威德諾(B.Widrow)等人提出自適應(yīng)濾波器以來，在短短十幾年中，自適應(yīng)濾波器發(fā)展很快，已廣泛地用于系統(tǒng)模型識別，通信信道的自適應(yīng)均衡， 雷達(dá)與聲納的波束形成，減少或消除心電圖中的周期干擾，噪聲中信號的檢測、跟蹤、 增強(qiáng)和線性預(yù)測等。,3.2 自適應(yīng)橫向?yàn)V波器,自適應(yīng)濾波器的原理框圖如圖3.2.1所示，圖中x(n)稱為輸

3、入信號，y(n)是輸出信號，d(n)稱為期望信號，或者稱為參考信號、訓(xùn)練信號，e(n)是誤差信號。 其中,e(n)=d(n)-y(n),自適應(yīng)濾波器H(z)的系數(shù)根據(jù)誤差信號，通過一定的自適應(yīng)算法，不斷地進(jìn)行改變， 使輸出y(n)最接近期望信號d(n)。 這里暫時(shí)假定d(n)是可以利用的，實(shí)際中，d(n)要根據(jù)具體情況進(jìn)行選取， 能夠選到一個(gè)合適的信號作為期望信號，是設(shè)計(jì)自適應(yīng)濾波器的一項(xiàng)有創(chuàng)意的工作。如果真正的d(n)可以獲得， 我們將不需要做任何自適應(yīng)濾波器。,圖 3.2.1 自適應(yīng)濾波器原理圖,3.2.1 自適應(yīng)線性組合器和自適應(yīng)FIR濾波器 1. 自適應(yīng)濾波器的矩陣表示式 圖 3.2.

4、2 表示的是一個(gè)有N個(gè)權(quán)系數(shù)的自適應(yīng)線性組合器， 圖中N個(gè)權(quán)系數(shù)w1,w2,wN受誤差信號ej的自適應(yīng)控制。對于固定的權(quán)系數(shù)，輸出yj是輸入信號x1j,x2j,xNj的線性組合，因此稱它為線性組合器。這里的x1j,x2j,xNj可以理解為是從N個(gè)不同的信號源到達(dá)的瞬時(shí)輸入，是一個(gè)多輸入系統(tǒng)， 也可以是同一個(gè)信號源的N個(gè)序貫樣本，如圖 3.2.3 所示。因此它是一個(gè)單輸入系統(tǒng)， 實(shí)際上這種單輸入系統(tǒng)就是一個(gè)FIR網(wǎng)絡(luò)結(jié)構(gòu)， 或者說是一個(gè)自適應(yīng)橫向?yàn)V波器。其輸出y(n)用濾波器的單位脈沖相應(yīng)表示成下式：,(3.2.1),圖 3.2.2 自適應(yīng)線性組合器,圖 3.2.3 自適應(yīng)FIR濾波器,這里w(

5、n)稱為濾波器單位脈沖響應(yīng)，令：i=m+1,wi=w(i-1), xi=x(n-i+1)，n用j表示，上式可以寫成,(3.2.2),這里wi也稱為濾波器加權(quán)系數(shù)。用上面公式表示其輸出，適合于自適應(yīng)線性組合器，也適合于FIR濾波器。將上式表示成矩陣形式：,(3.2.3),式中,誤差信號表示為,(3.2.4),2. 利用均方誤差最小準(zhǔn)則求最佳權(quán)系數(shù)和最小均方誤差 誤差信號被用來作為權(quán)系數(shù)的控制信號。下面采用均方誤差最小的準(zhǔn)則，求最佳權(quán)系數(shù)。由(3.2.4)式，均方誤差為,(3.2.5),令,(3.2.6),(3.2.7),將(3.2.6)、 (3.2.7)式代入(3.2.5)式， 得到,(3.2.

6、8),Rdx稱為dj與Xj的互相關(guān)矩陣，是一個(gè)N維列矩陣；Rxx是輸入信號的自相關(guān)矩陣，特點(diǎn)如下： (1)是對稱矩陣，即; (2) 是正定或半正定的，因?yàn)閷τ谌我馐噶縑滿足下式：,自相關(guān)矩陣的主對角線是輸入信號的均方值， 交叉項(xiàng)是輸入信號的自相關(guān)值。,(3.2.8)式表明，當(dāng)輸入信號和期望信號是平穩(wěn)隨機(jī)信號時(shí)， 均方誤差信號Ee2j是權(quán)系數(shù)的二次函數(shù)，即將(3.2.8)式展開時(shí)，公式中的權(quán)系數(shù)均以它的一次冪或二次冪出現(xiàn)。如果只有一個(gè)權(quán)系數(shù)w1,則Ee2j是w1的口向上的拋物線；如果有兩個(gè)權(quán)系數(shù)w1w2,則Eej2是它們的口向上的拋物面；對于兩個(gè)權(quán)系數(shù)以上的情況，則屬于超拋物面性質(zhì)。 Eej2在

7、自適應(yīng)信號處理中是一個(gè)重要的函數(shù)，經(jīng)常稱它為性能函數(shù)。為選擇權(quán)系數(shù)，使性能函數(shù)到達(dá)它的最小點(diǎn)， 一些有用的自適應(yīng)方法都是基于梯度法的，我們用 表示Eej2的梯度向量，它是用Eej2對每個(gè)權(quán)系數(shù)求微分而形成的一個(gè)列向量， 用公式表示如下：,(3.2.9),按照(3.2.4)式, 梯度推導(dǎo)如下：,(3.2.10),還可以用(3.2.8)式對W求導(dǎo)得到,(3.2.11),令上式等于0, 得到最佳權(quán)矢量W*的表達(dá)式：,(3.2.12),對比第二章維納濾波器的最佳解，結(jié)果是一樣的。上式也稱為維納權(quán)矢量。當(dāng)自適應(yīng)濾波器的權(quán)系數(shù)滿足上式時(shí)，均方誤差將取最小值。將(3.2.12)式代入(3.2.8)式得到最小

8、均方誤差：,(3.2.13),或者將上式取轉(zhuǎn)置，用下式表示：,(3.2.14),我們知道，在維納濾波器中，當(dāng)濾波器的單位脈沖響應(yīng)取最佳值時(shí)， 其誤差信號和輸入信號是正交的；這里也有相同的結(jié)果， 當(dāng)權(quán)矢量取最佳值時(shí)，梯度為0，按照(3.2.10)式：,例 3.2.1 一個(gè)單輸入的二維權(quán)矢量自適應(yīng)濾波器如圖 3.2.4所示，圖中輸入信號與期望信號分別為,這兩個(gè)信號都是周期性確定性信號， 因?yàn)槿魏握液瘮?shù)積的期望值，都可由這個(gè)積在一個(gè)或多個(gè)周期上作時(shí)間平均來計(jì)算， 可以推導(dǎo)出下面公式6:,圖 3.2.4 兩個(gè)權(quán)的自適應(yīng)濾波器,上式表明性能函數(shù)Eej2對權(quán)函數(shù)是二次型的，用(3.2.11)式求梯度向量

9、，得到,求最佳權(quán)矢量可以用(3.2.12)式，通過對Rxx求逆得到，也可以通過上式，令 ，而求出：,用(3.2.13)式求最小均方誤差：,上式說明只要N2,不管N取多少，通過對權(quán)系數(shù)的調(diào)整可使均方誤差達(dá)到0，此時(shí)輸出信號yj完全等于期望信號dj, 例如N=2， 按照上面公式，可以求出輸入、輸出信號以及最佳權(quán)系數(shù)如下：,3.2.2 性能函數(shù)表示式及其幾何意義 在自適應(yīng)濾波器的分析研究中，性能函數(shù)是一個(gè)重要函數(shù)， 前面已推導(dǎo)出性能函數(shù)用(3.2.8)式表示，重寫如下：,下面我們推導(dǎo)它的其它表示方法以及幾何意義。 均方誤差是權(quán)系數(shù)的二次函數(shù)，當(dāng)權(quán)系數(shù)取最佳值時(shí)， 均方誤差取最小值，將(3.2.14)

10、式代入(3.2.8)式，可以用最小均方誤差表示性能函數(shù)，推導(dǎo)如下： 為了表示方便，令 =Ee2j, 則,將(3.2.12)式代入上式，得到,(3.2.15),令,V=W-W*=v1, v2, , vNT,(3.2.16),V稱為偏差權(quán)向量，它表示權(quán)向量對最佳權(quán)向量的偏差。這樣性能函數(shù)可以表示得更簡單：,(3.2.17),因?yàn)镽xx是對稱的，正定或半正定的，利用它的特征值和特征向量再進(jìn)一步簡化，假設(shè)Rxx是NN維，它的N個(gè)特征值為： 1,2,N，將Rxx進(jìn)行分解，得到,Rxx=QTQ,=QTRxxQ,(3.2.18),通過調(diào)節(jié)使Q歸一化，即,(3.2.19),(3.2.20),式中，Q稱為正交矩

11、陣或特征矩陣，qi稱為特征向量，滿足下式：,(3.2.21),(3.2.22),是由特征值組成的對角矩陣， 用下式表示：,(3.2.23),將(3.2.18)式代入(3.2.17)式，得到,令,(3.2.24),則,(3.2.25),上式將性能函數(shù)變成了平方和的形式。再觀察(3.2.24)式， 該式將V坐標(biāo)中的Rxx的特征向量變成了V坐標(biāo)中的單位向量。 利用(3.2.24)式將特征向量qi變成qi，再利用(3.2.20)、 (3.2.21)式， 可得,(3.2.26),也就是說，qi為V坐標(biāo)中的第i個(gè)單位向量，qi亦是矩陣對應(yīng)于i的特征向量。下面用二維權(quán)矢量的情況說明它的幾何意義。對于二維權(quán)矢

12、量情況，有下面公式：,圖 3.2.5 二維權(quán)矢量性能表面,圖 3.2.6 等均方誤差的橢圓曲線族,按照(3.2.17)式，有,或,當(dāng)c=min時(shí)，對應(yīng)橢圓的中心，V=W-W*, 則相當(dāng)于W坐標(biāo)平移到V坐標(biāo)的原點(diǎn)，即V坐標(biāo)的原點(diǎn)對應(yīng)W坐標(biāo)的最佳點(diǎn)W *。這里, v1v2不是橢圓的主軸。但經(jīng)過對Rxx的分解：,且V=QTV將性能函數(shù)的橢圓族(按照(3.2.25)式)變成,即,或者,(3.2.27),顯然，上式是一個(gè)橢圓方程，v1和v2是橢圓族的主軸，如果12,則v1是長軸，v2是短軸。因此(3.2.24)式起坐標(biāo)旋轉(zhuǎn)的作用，將v1v2旋轉(zhuǎn)到主軸上，形成v1v2主軸。對于維數(shù)N2的情況，長軸對應(yīng)最小

13、特征值，按照上面的橢圓方程長軸正比于；短軸對應(yīng)于最大特征值，正比于 。另外， 因?yàn)?得到,(3.2.28),V中單位矢量就是V坐標(biāo)中的Rxx的特征矢量。,3.2.3 最陡下降法,1. 最陡下降法的遞推公式 將(3.2.11)式代入(3.2.29)式，得到,(3.2.30),(3.2.31),在上式兩邊都減去W *,并令Vj=W j-W*, 得到,Vj+1=I-2RxxVj,(3.2.32),上式是一個(gè)遞推公式，由于項(xiàng)不是對角矩陣，計(jì)算與分析均復(fù)雜。下面仍然采用坐標(biāo)旋轉(zhuǎn)的方法進(jìn)行推導(dǎo)。,(3.2.33),此時(shí)，項(xiàng)已變成對角矩陣，假設(shè)起始值是V0，可得到上式的遞推解為,(3.2.34),再將(3.

14、2.24)式代入，再經(jīng)過坐標(biāo)平移，即代入Vj=Wj-W*式， 最后得到權(quán)系數(shù)的遞推公式：,(3.2.35),上面遞推公式中，部分已變成對角矩陣， 這使分析與研究自適應(yīng)特性變得簡單了。,2. 收斂條件 由最陡下降法的遞推公式不難分析出它的收斂條件，即當(dāng)?shù)螖?shù)j趨于時(shí)，權(quán)系數(shù)收斂最佳時(shí)的條件。按照上式， 顯然只有當(dāng),(3.2.36),(3.2.37),滿足時(shí)，才能得到： 。(3.2.37)式即是最陡下降法的收斂條件，式中max是Rxx的最大特征值。(3.2.36)式中的0表示0矢量。,3. 過渡過程 過渡過程是指權(quán)矢量和性能函數(shù)由起始點(diǎn)隨迭代次數(shù)的增加，進(jìn)行變化的過程。下面從權(quán)矢量和性能函數(shù)兩方

15、面討論自適應(yīng)濾波器的過渡過程。權(quán)矢量的過渡過程討論如下： 按照(3.2.34)式，權(quán)矢量的遞推解是,第i個(gè)權(quán)系數(shù)遞推方程是,(3.2.38),令,(3.2.39),將上式代入(3.2.38)式，得到,(3.2.40),上式說明第i個(gè)分量v i按指數(shù)規(guī)律變化，其時(shí)常數(shù)為,i=1, 2, 3, , N,(3.2.41),因?yàn)橐话闳〉帽容^小，可以近似為,i=1, 2, 3, , N,(3.2.42),因?yàn)?所以,再將(3.2.40)式代入，得到,(3.2.43),(3.2.44),式中,(3.2.45),上式說明第i個(gè)加權(quán)系數(shù)按照N個(gè)指數(shù)和的規(guī)律變化，由初始值收斂到最佳值，其時(shí)常數(shù)與特征值成反比。下

16、面分析性能函數(shù)的過渡過程。按照(3.2.25)式，性能函數(shù)如下式：,(3.2.46),將(3.2.40)式代入，得到,(3.2.47),上式說明性能函數(shù)也是按N個(gè)指數(shù)和的規(guī)律變化，和加權(quán)系數(shù)過渡過程不同的是時(shí)間常數(shù)不同， 它的時(shí)常數(shù)為,(3.2.48),我們已經(jīng)知道，性能函數(shù)和各個(gè)加權(quán)系數(shù)都是按照N個(gè)具有不同時(shí)常數(shù)的指數(shù)和的規(guī)律變化的，時(shí)常數(shù)和特征值成反比，不同的特征值對應(yīng)的收斂時(shí)間是不一樣的，但最終的收斂要取決于最慢的指數(shù)過程，它的時(shí)常數(shù)最大，對應(yīng)最小的特征值，公式如下：,(3.2.49),(3.2.50),但為保證收斂，不能取得太大，受限于最大特征值max。 這樣，如果特征值比較分散時(shí)，即

17、max和min相差很大時(shí)， 使最陡下降法的收斂性能很差。下面分析值的影響。 值收斂過程影響很大，首先必須選擇得足夠小，使之滿足收斂條件：,但按照(3.2.47)、 (3.2.48)式，它影響收斂速度。 一般希望在保證收斂的條件下，選大一些，使時(shí)間常數(shù)小一些，收斂的速度快一些。但當(dāng)選擇得太大時(shí)，即使收斂條件滿足，也可能形成振動(dòng)性的過渡特性。 在圖 3.2.7 中，圖(a)是較小時(shí)的情況；圖(b)是較大時(shí)的情況，此時(shí)過渡過程已發(fā)生振蕩。,3.2.4 最小均方(LMS)算法,1. LMS算法的權(quán)值計(jì)算 LMS(Least Mean Square)算法的梯度估計(jì)值用一條樣本曲線進(jìn)行計(jì)算，公式如下：,(

18、3.2.51),因?yàn)?所以,(3.2.52),(3.2.53),FIR濾波器中的第i個(gè)權(quán)系數(shù)的計(jì)算公式為,(3.2.54),FIR濾波器中的第i個(gè)權(quán)系數(shù)的控制電路如圖3.2.8所示, LMS自適應(yīng)濾波器的總框圖如圖 3.2.9 所示。,圖 3.2.8 FIR第i個(gè)支路的控制電路,LMS算法的加權(quán)系數(shù)按照(3.2.53)式進(jìn)行控制， 式中加權(quán)矢量的改變量是2ejXj，梯度的估計(jì)值是-2ejXj。顯然，這是一個(gè)隨機(jī)變量，這說明LMS算法的加權(quán)矢量是隨機(jī)變化的。因此，LMS算法又稱為隨機(jī)梯度法。下面對這種算法的性能進(jìn)行分析， 主要分析加權(quán)矢理和性能函數(shù)的平均變化規(guī)律以及它們的隨機(jī)性造成的影響。 按照

19、(3.2.52)式， 對梯度估計(jì)值求統(tǒng)計(jì)平均， 得到,(3.2.55),上式說明梯度估計(jì)值是無偏估計(jì)的，梯度的估計(jì)量在理想梯度j附近隨機(jī)變化，權(quán)系數(shù)也是在理想情況下的權(quán)軌跡附近隨機(jī)變化的。,圖 3.2.8 LMS自適應(yīng)濾波器總計(jì)算框圖,2.LMS算法加權(quán)矢量的過渡過程 將誤差公式(3.2.4)式代入(3.2.53)式，得到,(3.2.56),按照(3.2.53)式， 對加權(quán)矢量取統(tǒng)計(jì)平均：,(3.2.57),類似于最陡下降法的推導(dǎo)，經(jīng)過坐標(biāo)平移和旋轉(zhuǎn)，變換到V坐標(biāo)中。其公式推導(dǎo)如下: 令,Vj=Wj-W*,(3.2.58),那么,EVj=EWj-W*,EVj+1=EWj+1-W*,(3.2.5

20、9),將上面兩式代入(3.2.57)式中，得到,它的遞推解是,令,Rxx=QQ T, =QRxxQT,(3.2.60),得到,(3.2.61),(3.2.62),再將(3.2.59)、(3.2.60)和(3.2.61)式代入上式，得到,EWj=W*+QI-2j Q-1(W0-W*),(3.2.63),對比(3.2.35)式，說明LMS算法加權(quán)矢量的統(tǒng)計(jì)平均值的過渡過程和最陡下降法加權(quán)矢量的過渡過程是一樣的。換句話說， LMS算法加權(quán)矢量是在最陡下降法加權(quán)矢量附近隨機(jī)變化的， 其統(tǒng)計(jì)平均值等于最陡下降法加權(quán)矢量，那么，其收斂條件同樣為,(3.2.64),在滿足收斂條件的情況下，才有下式：,由于最

21、大的特征值max不可能大于R的跡(R的主對角線元素之和)，即,因此收斂條件可以表示為,(3.2.65),對于橫向?yàn)V波器， 式中的跡是NEx2j，即N倍的輸入功率， 那么,(3.2.66),實(shí)際中，通常選得很小，選,(3.2.67),同樣由(3.2.62)式，第i個(gè)分量為,(3.2.68),同樣引入時(shí)常數(shù)i,(3.2.69),(3.2.70),(3.2.71),同樣，第i個(gè)權(quán)系數(shù)可以表示成,(3.2.72),3 . LMS算法性能函數(shù)的過渡過程學(xué)習(xí)過程 由于LMS算法加權(quán)矢量的平均值的變化規(guī)律與最陡下降法的加權(quán)矢量一樣，可以推想它的均方誤差也會(huì)按照最陡下降的均方誤差變化規(guī)律變化。下面進(jìn)行推導(dǎo)。 按照(3.2.4)式， 信號誤差為,(3.2.73),式中，eoptj=dj-XjTW*，稱為最佳誤差信號，它對應(yīng)于最小均方誤差， 即,按照(3.2.73)式寫出均方誤差表示式：,假定Xj和Vj不相關(guān)，上式中最后一項(xiàng)為0，那么,同樣，假設(shè)加權(quán)系數(shù)變化很小，Vj也變化很小，EVjVj，這樣：,類似前面的推導(dǎo)，得到,(3.2.74),(3.2