自適應(yīng)信號(hào)處理非線性濾波及其自適應(yīng)算法第九章新工科建設(shè)·電子信息類系列教材01非線性濾波概述非線性濾波概述線性濾波技術(shù)由于發(fā)展較早、理論成熟，在信號(hào)和圖像處理中獲得了普遍應(yīng)用。但是線性濾波技術(shù)在應(yīng)用中也存在一些不足之處，主要如下。（1） 線性濾波常常要求有對(duì)信號(hào)和噪聲的先驗(yàn)知識(shí)，這在某些實(shí)際應(yīng)用中往往是一個(gè)不易滿足的約束條件。（2） 線性濾波基于頻域分隔的原理，它在平滑噪聲的同時(shí)也會(huì)平滑和模糊信號(hào)中的一些主要特征，如陡峭的跳變邊緣和信號(hào)中的窄脈沖成分等。對(duì)二維圖像信號(hào)來(lái)說(shuō)，噪聲濾波器具有邊緣信息保持能力尤為重要，因?yàn)槿搜蹖?duì)圖像質(zhì)量的視覺感受在很大程度上受圖像邊緣信息的影響。（3） 實(shí)際信號(hào)在獲取、傳輸和變換過(guò)程中常受到多種噪聲源的影響而產(chǎn)生退化。這些噪聲除有加性高斯白噪聲外，還可能有信號(hào)關(guān)聯(lián)噪聲和脈沖噪聲。線性濾波對(duì)后兩種噪聲的平滑作用很差。非線性濾波概述與線性濾波相比，非線性濾波出現(xiàn)的時(shí)間很短，它基于對(duì)輸入信號(hào)的一種非線性影射關(guān)系，?？砂涯骋惶囟ǖ脑肼暯频赜吧錇榱愣Ａ粜盘?hào)的主要特征，因而可以在一定程度上克服線性濾波的不足之處。近20年來(lái)，非線性濾波一直是人們研究的熱點(diǎn)課題之一。特別是到了20世紀(jì)80年代中后期，非線性濾波在理論上和應(yīng)用上都取得了長(zhǎng)足的進(jìn)展，出現(xiàn)了各種類型的非線性濾波器。根據(jù)產(chǎn)生背景的不同，非線性濾波器大體上可歸為四大類型：同態(tài)濾波器、多項(xiàng)式濾波器、排序統(tǒng)計(jì)濾波器和形態(tài)濾波器。非線性濾波概述（1）同態(tài)濾波器是最早出現(xiàn)的一類非線性濾波器，它被用來(lái)濾除與信號(hào)關(guān)聯(lián)（乘積或卷積）的非加性噪聲。其原理是利用非線性系統(tǒng)將乘性或卷性等非線性信號(hào)組合變換成加性信號(hào)組合，然后對(duì)它們按要求進(jìn)行線性濾波處理，最后利用非線性逆系統(tǒng)對(duì)處理后的信號(hào)進(jìn)行逆變換，即得整個(gè)同態(tài)濾波系統(tǒng)的輸出。目前，同態(tài)濾波器在圖像處理、地震信號(hào)處理和語(yǔ)音信號(hào)處理等領(lǐng)域都獲得了普遍應(yīng)用。非線性濾波概述（2）多項(xiàng)式濾波器是基于Vblterra級(jí)數(shù)表示法的一類非線性濾波器。由于高階Volterra級(jí)數(shù)計(jì)算具有復(fù)雜性，因此目前研究的主要是二階Volterra級(jí)數(shù)濾波器理論，它主要應(yīng)用于通信系統(tǒng)中多徑回波的自適應(yīng)對(duì)消，以及對(duì)非線性隨機(jī)信號(hào)進(jìn)行建模，另外，在圖像增強(qiáng)、邊緣檢測(cè)和非線性圖像序列預(yù)測(cè)等方面也有重要的應(yīng)用價(jià)值。Volterra級(jí)數(shù)濾波器存在的主要問題是運(yùn)算量極大，難于實(shí)現(xiàn)實(shí)時(shí)處理。因此，研究它的快速算法和高效結(jié)構(gòu)設(shè)計(jì)方法是當(dāng)前的主要方向。非線性濾波概述（3）排序統(tǒng)計(jì)濾波器建立在排序統(tǒng)計(jì)學(xué)的基礎(chǔ)上，它包含了許多類型廣泛的非線性濾波器，其中最著名的是中值濾波器。中值濾波器起源于穩(wěn)健估計(jì)理論，它是一個(gè)滑動(dòng)中位數(shù)算子，當(dāng)初被用作時(shí)間序列分析，后來(lái)被應(yīng)用到數(shù)字圖像處理領(lǐng)域。雖然中值濾波器是在20世紀(jì)70年代中期提出來(lái)的，但對(duì)它作較深入的理論分析是從20世紀(jì)80年代才開始的。近年來(lái)，在發(fā)展中值濾波器的改進(jìn)型方面已取得了很大進(jìn)展，其中包括遞歸中值濾波器、可分離中值濾波器、混合型中值濾波器和加權(quán)中值濾波器等。另外在這些進(jìn)展中，最引人注目的是層疊濾波器，它具有閾值分解特性和層疊組合特性，可以把多值信號(hào)分解為二值序列，便于并行實(shí)時(shí)處理。層疊濾波器概括了類型非常廣泛的非線性濾波器，包括基于排序統(tǒng)計(jì)學(xué)的濾波器和特殊類型的形態(tài)濾波器。目前研究排序統(tǒng)計(jì)濾波器的快速算法和開發(fā)它的專用VLSI（超大規(guī)模集成電路）芯片是該領(lǐng)域的十分活躍的課題。非線性濾波概述（4）形態(tài)濾波器是從數(shù)學(xué)形態(tài)學(xué)中發(fā)展出來(lái)的一種新型的非線性濾波器，也是目前諸多非線性濾波器中進(jìn)展最快、應(yīng)用最廣的一種。它已經(jīng)成為非線性濾波領(lǐng)域中最具代表性和最有發(fā)展前景的一種濾波器，因而受到了國(guó)內(nèi)外學(xué)者的普遍關(guān)注和廣泛研究。02Volterra級(jí)數(shù)濾波器Volterra級(jí)數(shù)濾波器Volterra級(jí)數(shù)是由意大利數(shù)學(xué)家VitoVolterra于1880年首先提出的，起初作為對(duì)Taylor級(jí)數(shù)的推廣，用于積分方程和微分方程的求解。1887年Volterra首先引用級(jí)數(shù)來(lái)研究非線性濾波問題，提出可以利用Vblterra級(jí)數(shù)來(lái)分析非線性濾波器的輸入-輸出關(guān)系特性。但是在此后的很長(zhǎng)一段時(shí)間內(nèi)，由于人們致力于研究線性濾波的理論和方法，Volterra級(jí)數(shù)濾波器沒有受到應(yīng)有的重視。近年來(lái)，隨著人們對(duì)系統(tǒng)性能要求的不斷提高，非線性濾波理論逐漸成為理論研究的熱點(diǎn)，Volterra級(jí)數(shù)濾波理論的重要性也被越來(lái)越多的人所承認(rèn)。連續(xù)的Volterra級(jí)數(shù)濾波器1Volterra級(jí)數(shù)濾波器Volterra級(jí)數(shù)可以被視為具有存儲(chǔ)（記憶）能力的Taylor級(jí)數(shù)。在許多場(chǎng)合，可以利用截?cái)嘈问降腣olterra級(jí)數(shù)來(lái)表示非線性系統(tǒng)，同時(shí)應(yīng)用高階統(tǒng)計(jì)學(xué)方面知識(shí)進(jìn)行分析。Volterra級(jí)數(shù)核具有鮮明的物理意義，對(duì)工程技術(shù)領(lǐng)域非常有用，它不僅提供了一套新的理論，而且為解決非線性實(shí)際問題提供了強(qiáng)有力的方法和工具。連續(xù)的Volterra級(jí)數(shù)濾波器1Volterra級(jí)數(shù)濾波器連續(xù)的Volterra級(jí)數(shù)濾波器1Volterra級(jí)數(shù)濾波器連續(xù)的Volterra級(jí)數(shù)濾波器1Volterra級(jí)數(shù)濾波器離散的Volterra級(jí)數(shù)濾波器2Volterra級(jí)數(shù)濾波器離散的Volterra級(jí)數(shù)濾波器203LMSVolterra級(jí)數(shù)濾波器LMSVolterra級(jí)數(shù)濾波器LMSVolterra級(jí)數(shù)濾波器04RLSVolterra級(jí)數(shù)濾波器RLSVolterra級(jí)數(shù)濾波器在第7章我們知道，RLS算法是在最小二乘意義上利用輸出信號(hào)貝刀來(lái)估計(jì)期望信號(hào)的即使輸入向量自相關(guān)矩陣的特征值擴(kuò)展得很大，利用RLS算法也能得到更快的收斂速度和LMSVolterra情形一樣，利用重新定義的輸入信號(hào)向量和權(quán)向量，很容易將RLS算法用于Volterra級(jí)數(shù)濾波器中。下面給出VolterraRLS算法的主要結(jié)果。RLSVolterra級(jí)數(shù)濾波器在第7章我們知道，RLS算法是在最小二乘意義上利用輸出信號(hào)貝刀來(lái)估計(jì)期望信號(hào)的即使輸入向量自相關(guān)矩陣的特征值擴(kuò)展得很大，利用RLS算法也能得到更快的收斂速度和LMSVolterra情形一樣，利用重新定義的輸入信號(hào)向量和權(quán)向量，很容易將RLS算法用于Volterra級(jí)數(shù)濾波器中。下面給出VolterraRLS算法的主要結(jié)果。RLSVolterra級(jí)數(shù)濾波器RLSVolterra級(jí)數(shù)濾波器05形態(tài)濾波器結(jié)構(gòu)元優(yōu)化設(shè)計(jì)的自適應(yīng)算法形態(tài)濾波器結(jié)構(gòu)元優(yōu)化設(shè)計(jì)的自適應(yīng)算法在計(jì)算機(jī)視覺和圖像處理領(lǐng)域，圖像恢復(fù)一直是最重要、最經(jīng)典的研究課題之一，具有重要的理論價(jià)值和實(shí)際意義。傳統(tǒng)的線性濾波器在濾除脈沖噪聲的同時(shí)，往往會(huì)嚴(yán)重模糊圖像的細(xì)節(jié)（如邊緣等），非線性濾波器在一定程度上克服了這一缺點(diǎn)。形態(tài)濾波器是近年來(lái)出現(xiàn)的一類重要的非線性濾波器，它們通過(guò)選擇較小的圖像特征集合（通常稱為結(jié)構(gòu)元，StructuringElement）與數(shù)字圖像相互作用來(lái)實(shí)現(xiàn)。根據(jù)不同的目的可選擇不同類型、大小和形狀的結(jié)構(gòu)元進(jìn)行相應(yīng)的形態(tài)變換，4種基本的形態(tài)變換是腐蝕（Erosion）膨脹（Dilation）開（Opening）閉（Closing）形態(tài)濾波器的基本理論1形態(tài)濾波器結(jié)構(gòu)元優(yōu)化設(shè)計(jì)的自適應(yīng)算法現(xiàn)有的許多形態(tài)濾波算法中，結(jié)構(gòu)元往往事先人為確定，這類濾波器僅在所對(duì)應(yīng)的某類圖像模型中具有較好的性能。然而，通常情況下圖像信號(hào)極為復(fù)雜且處于不斷變化之中，這就要求選用的結(jié)構(gòu)元應(yīng)具有自適應(yīng)的能力以實(shí)現(xiàn)最優(yōu)化處理。在形態(tài)濾波器的設(shè)計(jì)過(guò)程中，一旦選定了相應(yīng)的形態(tài)變換，結(jié)構(gòu)元的選擇就成為設(shè)計(jì)中的關(guān)鍵，因此，也可以說(shuō)結(jié)構(gòu)元決定了形態(tài)濾波器的性能?，F(xiàn)階段如何自適應(yīng)地優(yōu)化確定結(jié)構(gòu)元已成為形態(tài)濾波器領(lǐng)域的一個(gè)研究熱點(diǎn)與難點(diǎn)。形態(tài)濾波器的基本理論1形態(tài)濾波器結(jié)構(gòu)元優(yōu)化設(shè)計(jì)的自適應(yīng)算法近幾年，國(guó)內(nèi)外不少學(xué)者進(jìn)行了這方面的研究與探索，其中E。J。COYLE提出了在最小平均絕對(duì)誤差（MMAE）準(zhǔn)則下層疊濾波器的設(shè)計(jì)方法，P。Kraft采用并行遺傳算法進(jìn)行了形態(tài)濾波器結(jié)構(gòu)元的優(yōu)化設(shè)計(jì)。本節(jié)在介紹形態(tài)濾波器理論的基礎(chǔ)上，仿照經(jīng)典的最小均方算法給出…種形態(tài)濾波器結(jié)構(gòu)元的自適應(yīng)優(yōu)化算法，分別優(yōu)化灰度結(jié)構(gòu)元和平面結(jié)構(gòu)元。幾乎所有的形態(tài)濾波器都是由膨脹與腐蝕兩種基本運(yùn)算的組合構(gòu)成的，所以首先推導(dǎo)出膨脹與腐蝕的自適應(yīng)算法，并由此推出任意組合形態(tài)濾波器結(jié)構(gòu)元的自適應(yīng)優(yōu)化算法，如開啟濾波器、閉合濾波器、開閉濾波器等。形態(tài)濾波器的基本理論1形態(tài)濾波器結(jié)構(gòu)元優(yōu)化設(shè)計(jì)的自適應(yīng)算法形態(tài)濾波器的基本理論1形態(tài)濾波器結(jié)構(gòu)元優(yōu)化設(shè)計(jì)的自適應(yīng)算法誤差準(zhǔn)則2形態(tài)濾波器結(jié)構(gòu)元優(yōu)化設(shè)計(jì)的自適應(yīng)算法腐蝕與膨脹的自適應(yīng)算法306自適應(yīng)加權(quán)組合廣義形態(tài)濾波器自適應(yīng)加權(quán)組合廣義形態(tài)濾波器廣義形態(tài)濾波器的基本理論1自適應(yīng)加權(quán)組合廣義形態(tài)濾波器廣義形態(tài)濾波器加權(quán)組合自適應(yīng)算法207層疊濾波器的自適應(yīng)優(yōu)化算法層疊濾波器的自適應(yīng)優(yōu)化算法層疊濾波器的基本理論1層疊濾波是基于信號(hào)閾值分解而發(fā)展起來(lái)的一種非線性濾波技術(shù)，最早起源于人們對(duì)中值濾波器的研究，首先由J。P。Fitch等人于1984年最早提出并證明了中值濾波器具有閾值分解特性和層疊特性。后來(lái)，人們對(duì)一維和多維閾值分解信號(hào)與濾波函數(shù)進(jìn)行了研究，1986年G。R。Arce等人對(duì)以上研究成果進(jìn)行總結(jié)概括，初步形成了層疊濾波器理論。該理論的核心是閾值分解特性和層疊特性，它描述了一大類基于排序統(tǒng)計(jì)理論的非線性濾波器，稱之為層疊濾波器。層疊濾波器的自適應(yīng)優(yōu)化算法層疊濾波器的基本理論1如果一個(gè)正布爾函數(shù)可以寫成閾值表達(dá)式的形式，則稱其是線性可分離正布爾函數(shù)。如果一個(gè)布爾函數(shù)的閾值表達(dá)式中，所有加權(quán)系數(shù)嗎和門限值c都是非負(fù)值，則該布爾函數(shù)必為正布爾函數(shù)。確定正布爾函數(shù)是構(gòu)造各種層疊濾波器的關(guān)鍵。一般來(lái)說(shuō)，可以通過(guò)以下三條途徑獲得正布爾函數(shù)：（1） 由已知正布爾函數(shù)生成，如增減輸入變量；（2） 按輸入變量的不同次序排序；（3） 運(yùn)用對(duì)偶規(guī)則，因?yàn)檎紶柡瘮?shù)的對(duì)偶函數(shù)仍為正布爾數(shù)。。層疊濾波器的自適應(yīng)優(yōu)化算法層疊濾波器最優(yōu)估計(jì)算法2信號(hào)處理的最優(yōu)化是指在某種質(zhì)量控制的指標(biāo)下，使信號(hào)處理的效果達(dá)到最佳的程度，從而使信息傳輸和處理能滿足有效與可靠的要求。但是，由于非線性系統(tǒng)具有復(fù)雜性和多樣性，非線性濾波器的最優(yōu)化問題是至今尚未得到很好解決的一個(gè)課題。層疊濾波器理論的出現(xiàn)為非線性濾波器的研究開辟了一條新的途徑，并且層疊濾波器涵蓋了包括排序統(tǒng)計(jì)濾波器和形態(tài)濾波器在內(nèi)的所有非線性濾波器，因此，最優(yōu)層疊濾波器的研究對(duì)最優(yōu)非線性濾波器理論具有重要意義。層疊濾波器的自適應(yīng)優(yōu)化算法層疊濾波器最優(yōu)估計(jì)算法2最優(yōu)層疊濾波器的研究可分為兩種方法：估計(jì)方法和結(jié)構(gòu)化方法。前者主要利用信號(hào)估計(jì)理論來(lái)實(shí)現(xiàn)；后者主要通過(guò)定義結(jié)構(gòu)元約束集合來(lái)實(shí)現(xiàn)。本節(jié)從層疊濾波器最優(yōu)準(zhǔn)則和建立最優(yōu)模型入手，應(yīng)用信號(hào)估計(jì)理論分別研究了兩種層疊濾波器的最優(yōu)估計(jì)算法：線性規(guī)劃最優(yōu)算法和最小平均絕對(duì)值最優(yōu)算法。1。線性規(guī)劃最優(yōu)算法2。最小平均絕對(duì)值最優(yōu)算法層疊濾波器的自適應(yīng)優(yōu)化算法自適應(yīng)層疊濾波器3最優(yōu)層疊濾波器理論為最優(yōu)非線性濾波器的設(shè)計(jì)提供了一套系統(tǒng)方法，但往往要求已知信號(hào)和喚聲的先驗(yàn)統(tǒng)計(jì)知識(shí)，而在實(shí)際應(yīng)用中，尤其是在圖像處理應(yīng)用領(lǐng)域，這些先驗(yàn)知識(shí)很難得到’另外，隨著濾波窗口尺寸的增大，最優(yōu)算法的計(jì)算量迅速增大，內(nèi)存需求也迅速增大，這已成為制約最優(yōu)層疊濾波器應(yīng)用的最大障礙。尤其是在圖像處理中使用二維濾波窗，極大地限制了最優(yōu)層疊濾波器在圖像處理中的應(yīng)用。下面將在LMA最優(yōu)算法的基礎(chǔ)上，給出自適應(yīng)LMA算法。層疊濾波器的自適應(yīng)優(yōu)化算法自適應(yīng)層疊濾波器3當(dāng)觀測(cè)信號(hào)和期望信號(hào)的統(tǒng)計(jì)先驗(yàn)知識(shí)不可知時(shí)，可以通過(guò)兩種方法來(lái)設(shè)計(jì)最優(yōu)層疊濾波器：一種方法是上面討論的非自適應(yīng)遞歸LMA算法，另一種方法是下面將要討論的自適應(yīng)LMA算法。當(dāng)觀測(cè)信號(hào)和期望信號(hào)聯(lián)合平穩(wěn)時(shí)，第一種方法為我們提供了很好的解決方案，但是，自適應(yīng)算法不僅具有節(jié)省內(nèi)存空間、容易實(shí)現(xiàn)等優(yōu)點(diǎn)，而且可以動(dòng)態(tài)地跟蹤觀測(cè)信號(hào)和期望信號(hào)的統(tǒng)計(jì)量變化，隨時(shí)適應(yīng)輸入信號(hào)的變化，在實(shí)際應(yīng)用