最佳(MMSE)線性濾波,最小均方誤差估計 線性預(yù)測 MMSE濾波器設(shè)計,隨機信號作為濾波器的輸入(p.107-111),傳統(tǒng)濾波器:低通,高通,帶通,帶阻對信號的不同頻率分量進行取舍 傳統(tǒng)濾波器在很多應(yīng)用場合不符合實際需要,例子：信道均衡器設(shè)計,通過對接收信號的線性組合，從x恢復(fù)出y,更一般化的信號估計問題：基于接收信號，構(gòu)造一定結(jié)構(gòu)的估計器，從中恢復(fù)出期望的信號（又稱信號估計問題）。,例子：信道均衡器設(shè)計,輸入,H(z),輸出,噪聲,通過對接收信號不同時刻的線性組合，從x恢復(fù)出y,信道模型：,濾波器設(shè)計的步驟：,確定估計器的實現(xiàn)結(jié)構(gòu)：IIR，F(xiàn)IR 預(yù)先假設(shè)信號的統(tǒng)計特性（輸入，噪聲等）：獨立同分布輸入 確定性能準(zhǔn)則（目標(biāo)函數(shù)），及其參數(shù) 確定優(yōu)化方法：估計器系數(shù)的求解,最小均方誤差準(zhǔn)則,期望信號,估計信號,實現(xiàn)最佳濾波的常用準(zhǔn)則：,最小均方誤差線性估計：,導(dǎo)致簡單的濾波器求解算法 易于進行性能分析,線性均方誤差估計,一般化問題模型,期望信號,觀測信號,待估計參數(shù),時間下標(biāo),不同參數(shù)，不同觀測信號,對非時變系統(tǒng),注意和書(6.2.1)-(6.2.4)的比較,共軛轉(zhuǎn)置,誤差性能函數(shù),期望信號平均功率,觀測信號和期望信號的互相關(guān),觀測信號的相關(guān)矩陣,濾波器系數(shù)求解,原則：,矢量函數(shù)的求導(dǎo),常用求導(dǎo)公式,與6.2.11一致,正交性原理,隨機矢量的內(nèi)積定義為,正交：內(nèi)積等于0,對于最小均方誤差估計，當(dāng)實現(xiàn)最佳估計時,正交性原理：當(dāng)實現(xiàn)最佳估計時，估計誤差與所采用的觀測信號正交 可以證明，正交性原理和最小均方誤差是等價的,MMSE參數(shù)估計主要結(jié)論,僅依賴于期望信號和輸入數(shù)據(jù) 性能曲面是濾波器參數(shù)的二次函數(shù)，函數(shù)曲面是凸曲面，且存在唯一全局最小點， 在偏離最佳估計系數(shù)時，所造成的超量誤差只決定于輸入數(shù)據(jù)的相關(guān)矩陣。 正交性原理提供濾波器參數(shù)估計的直觀解釋和參數(shù)估計途徑 濾波器參數(shù)也可由相關(guān)矩陣的特征值和特征向量計算得到。,平穩(wěn)過程的最佳有限沖激響應(yīng)濾波,考慮一般線性最優(yōu)估計問題中只有一路觀測信號，利用信號不同時刻值的線性組合實現(xiàn)信號估計，考慮非時變問題,基于最小均方準(zhǔn)則，可以得到,平穩(wěn)過程的最佳有限沖激響應(yīng)濾波頻率域解釋,基于正交性原理,維納霍夫方程,兩邊取傅立葉變換,從上式求解不一定能得到FIR因果濾波器 更適應(yīng)于求解IIR非因果濾波器,線性預(yù)測,前向預(yù)測：利用某一時刻以前p時刻的數(shù)據(jù)的線性組合來預(yù)測該時刻的值。,不同表現(xiàn)形式,預(yù)測誤差定義為：,預(yù)測均方誤差定義為：,和AR模型的YW方程是一致的。,預(yù)測誤差和觀測值相互正交， 是最佳線性預(yù)測的充要條件,線性預(yù)測與AR模型的關(guān)系 假設(shè)信號是一個p階AR模型，對其應(yīng)用一個p階預(yù)測器，得到預(yù)測誤差為：,即預(yù)測誤差是白噪聲，預(yù)測過程又稱白化(whiten),AR模型 白化濾波 線性預(yù)測,預(yù)測誤差定義為：,預(yù)測均方誤差定義為：,后向預(yù)測的維納-霍夫方程,前向預(yù)測與后向預(yù)測的關(guān)系,前向預(yù)測維納霍夫方程（二階預(yù)測為例）,相關(guān)矩陣按行逆序,再按列逆序,后向預(yù)測方程:,結(jié)論:,對復(fù)信號,有類似結(jié)論:,線性預(yù)測的基本性質(zhì),對平穩(wěn)信號,前向預(yù)測算子是最小相位的,后向預(yù)測算子是最大相位 線性預(yù)測系數(shù)可由自相關(guān)矩陣的特征矢量和特征值求解. 預(yù)測誤差可由相關(guān)矩陣的行列式求解。,線性預(yù)測應(yīng)用例子：信道均衡,信道模型,均衡器輸出:,線性預(yù)測應(yīng)用例子：信道均衡,可以證明, 延時為m的線性預(yù)測,當(dāng)預(yù)測長度足夠長是,預(yù)測誤差為,規(guī)則方程,輸入信號為零均值,獨立同分布信號 信道傳輸矩陣第m列,考慮兩個不同延時的預(yù)測器,有,IIR濾波器的維納-霍夫方程,平穩(wěn)過程的最佳無限沖激響應(yīng)濾波,正交性原理,最小均方誤差,非因果維納濾波器,雙邊z變換：,不一定是因果系統(tǒng)，物理不可實現(xiàn),平穩(wěn)過程的最佳無限沖激響應(yīng)濾波,因果IIR維納濾波器,要求:H(n)為單邊序列（右邊序列），極點在單位圓內(nèi),平穩(wěn)過程的最佳無限沖激響應(yīng)濾波,維納-霍夫方程,一種簡單情況:濾波器輸入為白噪聲,求單邊z變換,平穩(wěn)過程的因果最佳無限沖激響應(yīng)濾波,維納-霍夫方程,H(z)是可逆的最小相位系統(tǒng),w(n)可以看成是隨機信號下x(n)的更新,當(dāng)x(n)是規(guī)則過程時,白化濾波器一定存在,同樣 信息,一般情況:先設(shè)計一個濾波器將輸入信號白化,平穩(wěn)過程的因果最佳無限沖