1,第三章 自適應(yīng)信號(hào)處理,周圍,2,內(nèi) 容,梯度下降算法 橫向LMS自適應(yīng)濾波器 橫向RLS自適應(yīng)濾波器 自適應(yīng)格型濾波器 盲自適應(yīng)濾波器 自適應(yīng)濾波器的應(yīng)用,自適應(yīng)FIR濾波器：,定義輸入向量,輸入信號(hào)：,輸出信號(hào)：,期望信號(hào)（參考信號(hào)或訓(xùn)練信號(hào)）：d(n),抽頭權(quán)矢量：,輸出誤差信號(hào)：,最優(yōu)權(quán)矢量：,均方誤差性能曲面及其性質(zhì),輸入信號(hào)的自相關(guān)矩陣：,互相關(guān)矩陣,與FIR維納濾波器的最優(yōu)解一致。,均方誤差函數(shù)（代價(jià)函數(shù)）,幾何意義,對二維實(shí)加權(quán)情況：,均方誤差性能函數(shù)：,為求得等高線令,10,定義輸入向量,輸出信號(hào)：,復(fù)加權(quán)矢量：,輸出誤差信號(hào)：,定義輸入向量,其中空間自相關(guān)矩陣：,最優(yōu)加權(quán)矢量：,互相關(guān)矩陣,13,最陡（梯度）下降算法,梯度的數(shù)學(xué)表示：,相對于 向量 的梯度算子記作 ，定義為,因此，一個(gè)實(shí)際量函數(shù) 相對于一列向量的梯度為,14,最陡（梯度）下降算法（續(xù)）,梯度的幾何特征,梯度的每個(gè)分量給出了標(biāo)量函數(shù)在該分量方向上的變化率。,梯度的重要性質(zhì),指出了當(dāng)變元增大時(shí)函數(shù)的最大增大率。相反，梯度的負(fù)值（簡稱負(fù)梯度）指出了當(dāng)變元增大時(shí)函數(shù)的最大減小率。這一性質(zhì)是梯度下降算法的基礎(chǔ)。,15,定理：令 是實(shí)向量 的實(shí)值函數(shù)。將 視為獨(dú)立的變元，實(shí)目標(biāo)函數(shù) 的曲率方向由梯度向量 給出。,最陡（梯度）下降算法,梯度下降算法的迭代過程：,近似解在迭代過程中的校正量與目標(biāo)函數(shù)的負(fù)梯度成正比。上式稱為優(yōu)化問題近似解的學(xué)習(xí)算法；常數(shù) 稱為學(xué)習(xí)步長，它決定近似解趨向最優(yōu)解的收斂速率。,梯度：,故,坐標(biāo)平移,最陡（梯度）下降算法,坐標(biāo)旋轉(zhuǎn)去耦合,由初始權(quán)向量迭代可得：,（變量間無耦合）,或表為,因?yàn)?最陡（梯度）下降算法,若滿足：,實(shí)際常用（保守的）收斂條件：,則有：,則有：,或,最陡（梯度）下降算法（續(xù)）,過渡過程,令：,則,其中權(quán)向量時(shí)間常數(shù),（1）權(quán)向量過渡過程,（2）均方誤差過渡過程,其中均方誤差時(shí)間常數(shù),最陡（梯度）下降算法（續(xù)）,（3）特征值分散對過渡過程的影響,均方誤差和權(quán)矢量的分量均按M個(gè)不同時(shí)間常數(shù) 的指數(shù)函數(shù)之和的規(guī)律變化。收斂速度主要取決于最慢的指數(shù)過程，相應(yīng)時(shí)間常數(shù)：,為了保證收斂，步長 ，故有：,當(dāng)特征值分散性大（條件數(shù)大）時(shí)，算法最陡下降法收斂性很差。,最陡（梯度）下降算法（續(xù)）,梯度下降算法（續(xù)）,（4）步長對過渡過程的影響,22,內(nèi) 容,最優(yōu)濾波理論與Wiener濾波器 梯度下降算法 橫向LMS自適應(yīng)濾波器 橫向RLS自適應(yīng)濾波器 自適應(yīng)格型濾波器 盲自適應(yīng)濾波器 自適應(yīng)濾波器的應(yīng)用,23,自適應(yīng)濾波基本原理,自適應(yīng)濾波器包括兩個(gè)過程：濾波過程和自適應(yīng)過程。 此僅考慮后者,即濾波器的自適應(yīng)實(shí)現(xiàn)問題；且主要考慮 FIR濾波器的自適應(yīng)實(shí)現(xiàn)，其關(guān)鍵是自適應(yīng)算法。 FIR濾波器的自適應(yīng)實(shí)現(xiàn)指的是：M 階FIR濾波器的抽 頭權(quán)系數(shù)w1,wM-1可以根據(jù)估計(jì)誤差e(n)的大小自動(dòng)調(diào) 節(jié)，使得誤差在某個(gè)統(tǒng)計(jì)最優(yōu)準(zhǔn)則下最小。 濾波器設(shè)計(jì)最常用的準(zhǔn)則：MMSE準(zhǔn)則，即是使濾波器 實(shí)際輸出y(n)與期望響應(yīng)d(n)之間的均方誤差 最小; 最終達(dá)到Wiener解。,24,自適應(yīng)濾波基本原理（續(xù)）,最廣泛使用的自適應(yīng)算法是“下降算法”,式中w(n)為第n步迭代(亦即時(shí)刻n)的權(quán)向量， 為第n步 迭代的更新步長，v(n)為第n步迭代的更新方向(向量),下降算法的兩種實(shí)現(xiàn)方式 - 自適應(yīng)梯度算法：LMS算法及其改進(jìn)算法 - 自適應(yīng)高斯牛頓算法：RLS算法及其改進(jìn)算法 本節(jié)介紹LMS類算法，下一節(jié)介紹RLS類算法。,25,最小均方（LMS）濾波器,最陡下降法：,隨機(jī)優(yōu)化問題：,Wiener濾波器：,真實(shí)梯度,26,LMS濾波器（續(xù)）,缺點(diǎn)：真實(shí)梯度含數(shù)學(xué)期望，不易求得。,梯度估計(jì),改進(jìn)：,瞬時(shí)梯度：,先驗(yàn)估計(jì)誤差,27,LMS濾波器（續(xù)）,基本LMS算法：,瞬時(shí)梯度分析：,最陡下降法,LMS算法,搜索方向?yàn)樘荻蓉?fù)方向，每一步更新都使目標(biāo)函數(shù)值減小（“最陡下降含義”）。,搜索方向?yàn)樗矔r(shí)梯度負(fù)方向，不保證每一步更新都使目標(biāo)函數(shù)值減小，但總趨勢使目標(biāo)函數(shù)值減小。,28,LMS濾波器（續(xù)）,梯度下降法要求：不同時(shí)間的梯度向量（搜索方向）線性獨(dú)立。,LMS算法的獨(dú)立性要求：,要求不同時(shí)間的輸入信號(hào)向量 線性獨(dú)立（因?yàn)樗矔r(shí)梯度向量為 ）。,29,LMS濾波器（續(xù)）,自適應(yīng)學(xué)習(xí)速度參數(shù)及收斂性,（3）“換檔變速”方法：固定時(shí)變,（2） 時(shí)變學(xué)習(xí)速度： （遞減），模擬退火法則,30,LMS濾波器（續(xù)）,例1. （先搜索，后收斂）,例2. （先固定，后指數(shù)衰減）,（4）自適應(yīng)學(xué)習(xí)速度：“學(xué)習(xí)規(guī)則的學(xué)習(xí)”,和 正的常數(shù),31,而且可以證明LMS自適應(yīng)濾波器的權(quán)向量收斂于維納解：,(5) 算法收斂性 前已指出，瞬時(shí)梯度向量是真實(shí)梯度向量的無偏估計(jì)：,條件是,LMS算法還必須兼顧收斂速度和失調(diào),它來自梯度估計(jì)誤差:,LMS濾波器（續(xù)）,32, 若 自適應(yīng)產(chǎn)生，則稱為自適應(yīng)步長的LMS算法,LMS算法的幾種變形, 若 常數(shù)，則稱為基本LMS算法, 若 , 則稱為歸一化LMS算法,結(jié)論：這些算法通常稱為LMS類算法梯度算法。,LMS算法的改進(jìn),33,LMS算法的改進(jìn)（續(xù)）,從LMS算法導(dǎo)出牛頓法 前面已導(dǎo)出維納最優(yōu)解為,它由梯度 得出，其中,用 左乘上式兩邊, 并將結(jié)果代入維納解公式, 得,寫成更一般的迭代形式(即牛頓迭代公式)：,34,LMS算法的改進(jìn)（續(xù)）,從LMS算法導(dǎo)出牛頓法（續(xù)）,上式可寫成更一般的迭代形式：,這就是所謂牛頓法基本迭代式。其中,稱為牛頓方向。,統(tǒng)一算法 LMS法與牛頓法可統(tǒng)一為更一般的下降算法:,取不同的 就構(gòu)成不同的自適應(yīng)算法。,35,內(nèi) 容,正交性原理 Wiener濾波器 梯度下降算法 橫向LMS自適應(yīng)濾波器 橫向RLS自適應(yīng)濾波器 Kalman濾波器 自適應(yīng)格型濾波器 盲自適應(yīng)濾波器 自適應(yīng)濾波器的應(yīng)用,36,RLS自適應(yīng)濾波器,基本思想 RLS算法 RLS濾波算法與Kalman濾波算法,系統(tǒng)輸入,(c) 預(yù)測,延 遲,自適應(yīng)