第二講最速下降法第一頁，共二十八頁，編輯于2023年，星期四最速下降法（methodofsteepestdescent）是一種基于梯度的自適應(yīng)方法。最速下降法可用反饋系統(tǒng)來表示，濾波器的計算式一步一步迭代進行的。從該意義上講，最速下降法是遞歸的。在適當條件下，最速下降法的解收斂于維納解而不需要求輸入向量相關(guān)矩陣的逆矩陣。第二頁，共二十八頁，編輯于2023年，星期四線性最優(yōu)濾波：問題綜述第三頁，共二十八頁，編輯于2023年，星期四這里濾波器需要兩個約束條件： 1.濾波器是線性的 2.濾波器是離散時間的濾波器的具體實現(xiàn)依賴的兩個選擇： 1.濾波器的沖激響應(yīng)選擇 （FIR,IIR) 2.統(tǒng)計優(yōu)化準則的選擇問題

1）估計誤差的均方值 2）估計誤差的絕對值期望值 3）估計誤差的絕對值的三階或高階期望值第四頁，共二十八頁，編輯于2023年，星期四濾波器問題的本質(zhì)表示如下： 給定一個輸入取樣序列u(0),u(1),u(2),…,設(shè)計一個線性離散濾波器[其輸出y(n)提供了期望響應(yīng)d(n)的一個估值]，使得其估計誤差的均方值e(n)[定義為期望響應(yīng)d(n)與實際響應(yīng)y(n)之差]為最小。兩種數(shù)學解決方案 1正交性原理 2誤差性能曲面第五頁，共二十八頁，編輯于2023年，星期四正交性原理n時刻濾波器輸出為線性卷積誤差代價函數(shù)—均方誤差

第六頁，共二十八頁，編輯于2023年，星期四使代價函數(shù)J獲得最小值的充要條件是其對應(yīng)的估計誤差e(n)于n時刻進入期望響應(yīng)估計的每個輸入樣值。第七頁，共二十八頁，編輯于2023年，星期四第八頁，共二十八頁，編輯于2023年，星期四2.1最速下降法的基本思想無約束最優(yōu)化的數(shù)學表示如下：

其中是一個代價函數(shù)，是個未知向量

是要尋找的最優(yōu)解。第九頁，共二十八頁，編輯于2023年，星期四局部迭代下降思想

首先假設(shè)一個初始權(quán)向量，然后產(chǎn)生一系列權(quán)向量能夠使代價函數(shù)在算法的每次迭代都是下降的，也就是滿足如下表達式

最速下降法其實就是一種簡單形式的迭代下降，它主要思想是沿著最速下降方向連續(xù)不斷調(diào)整權(quán)向量。最速下降方向也就是負梯度方向梯度向量表示如下

第十頁，共二十八頁，編輯于2023年，星期四通過以上可得最速下降算法

其中n表示迭代進程，是步長參數(shù)，是正常數(shù)。在從n到n+1的迭代過程中，權(quán)向量的調(diào)整量為

第十一頁，共二十八頁，編輯于2023年，星期四第十二頁，共二十八頁，編輯于2023年，星期四假設(shè)w為復(fù)值向量，那么梯度向量g也是復(fù)值向量。所以使用共軛轉(zhuǎn)置（埃爾米特轉(zhuǎn)置）因此上式可變?yōu)?/p>

從上式可以看出當為正數(shù)時，因此，隨著n的增加，代價函數(shù)減小，當時，代價函數(shù)趨于最小值。第十三頁，共二十八頁，編輯于2023年，星期四2.2最速下降算法應(yīng)用于維納濾波器圖2.1自適應(yīng)橫向濾波器的結(jié)構(gòu)第十四頁，共二十八頁，編輯于2023年，星期四通過比較期望響應(yīng)及其估計值，可以得到一個估計誤差即

其中是抽頭權(quán)向量與抽頭輸入向量的內(nèi)積如果抽頭輸入向量u(n)和期望響應(yīng)d(n)是聯(lián)合平穩(wěn)的，則此時均方誤差或者在n時刻的代價函數(shù)J(n)是抽頭全向量的二次函數(shù)。第十五頁，共二十八頁，編輯于2023年，星期四橫向濾波器的代價函數(shù)為所以展開可得其中，是目標函數(shù)的方差P=抽頭輸入向量與期望響應(yīng)的互相關(guān)向量R=抽頭輸入向量的相關(guān)矩陣第十六頁，共二十八頁，編輯于2023年，星期四同時梯度向量可寫為第十七頁，共二十八頁，編輯于2023年，星期四因此維納濾波中最速下降法的數(shù)學表達式為:從另一個角度，可以將上公式看做一個反饋模型，信號流圖如下圖2.2最速下降算法的信號流圖表示第十八頁，共二十八頁，編輯于2023年，星期四2.3最速下降法的穩(wěn)定性影響該算法的穩(wěn)定性有兩個因素：（1）步長參數(shù)（2）抽頭輸入向量的相關(guān)矩陣R首先定義n時刻的加權(quán)誤差向量其中是抽頭權(quán)向量的最優(yōu)值第十九頁，共二十八頁，編輯于2023年，星期四使用特征值分解可得將R代入上公式可得兩邊同時左乘令v(n)的初始值為：第二十頁，共二十八頁，編輯于2023年，星期四對于最速下降法的第k個自然模式，并初始化可以得到

為了滿足最速下降法的穩(wěn)定性或收斂性，對于所有k，我們可以有

因此最速下降法穩(wěn)定性的充分必要條件是步長因子滿足不等式第二十一頁，共二十八頁，編輯于2023年，星期四從圖中可以看出，當?shù)螖?shù)趨近于無窮時，趨近于0也就是抽頭加權(quán)向量逼近最優(yōu)解圖2.3最速下降算法的第k個自然模式隨時間變化的情況第二十二頁，共二十八頁，編輯于2023年，星期四由上圖我們可以定義一個時間常數(shù)使得表示了衰減到初始值的時所需要的迭代次數(shù)初始抽頭加權(quán)向量的瞬態(tài)特性

兩邊同時左乘第二十三頁，共二十八頁，編輯于2023年，星期四因此第i個抽頭權(quán)值的瞬態(tài)特性可以表示為其中是第i個抽頭權(quán)值的最優(yōu)值，是第k個特征向量的第i個分量上式表明，最速下降算法中每一個抽頭權(quán)值收斂于指數(shù)形式的加權(quán)和。同時定義整個時間常數(shù)則可得任意抽頭權(quán)值的時間常數(shù)的上下界定義如下第二十四頁，共二十八頁，編輯于2023年，星期四均方誤差的瞬態(tài)特性可知誤差性能曲面的規(guī)范形式其中是最小均方誤差從初始值到最終值的指數(shù)衰減的時間常數(shù)為當較小時第二十五頁，共二十八頁，編輯于2023年，星期四2.4作為確定性搜索法的最速下降算法最速下降算法提供了從任意初始點出發(fā)尋找誤差性能曲面極小點的局部搜索方法。最速下降算法的運行，取決于三個量：

*起始點：由抽頭權(quán)向量初始值w(0)規(guī)定*梯度向量：位于誤差性能曲面的特殊點，由互相關(guān)向量P和相關(guān)向量矩陣R唯一確定*步長參數(shù)：控制橫向濾波器抽頭權(quán)向量從算法的某一次迭代到下一次迭代的增量變化一旦規(guī)定了這三個量，最速下降算法將沿著多維權(quán)值空間獨特的路徑前進，它從初始點w(0)出發(fā)，終止于最優(yōu)解.換句話說，在權(quán)值空間中最速下降算法是一種確定性的搜索方法。第二十六頁，共二十八頁，編輯于2023年，星期四2.5最速下降法的優(yōu)點與局限性優(yōu)點：簡單性，只要給出起始點，梯度向量及步長參數(shù)，將沿著權(quán)值空間特殊的路徑前進，從初始點出發(fā)，終止于最優(yōu)解。也就是說它是一種確定性搜索方法。局限性：該過程需要大量的迭代，主要原因就是以圍繞當前點的誤差性能曲面的線性（一階）為基礎(chǔ)。針對這點后來提出來牛頓法，它是圍繞當前點[記為w(n)]進行誤差性能曲面的二次（例如二階）逼近。第二十七頁，共二十八頁，編輯于2023年，星期四本章小結(jié)兩種集平均量

R（抽頭輸入向量的相關(guān)矩陣）

P（抽頭輸入向量和期望響應(yīng)的互相關(guān)向量）最速下降算法提供了計算維納濾波器抽頭權(quán)向量的簡化步驟。最速下降算法的一個重要特點就是存在反饋，實質(zhì)是該算