現(xiàn)代信號處理電子工程系張旭東zhangxd@一點思考和討論徹底告別應試思維！學習和思考？質疑？知識和興趣？研究生階段的學習？一門課程框架下的多樣化學習？從被動學習，到自主學習，到探求未知，研究生階段必要的角色轉變？本課程要討論的主要問題（1）對信號特性的了解隨機信號（隨機過程，時間序列––隨機過程的一個實現(xiàn)）信號模型→參數(shù)估計→現(xiàn)代譜估計：參數(shù)化譜估計討論信號模型及模型參數(shù)的估計問題，各種信號模型的作用（2）對統(tǒng)計意義下最優(yōu)濾波器設計的研究平穩(wěn)條件下：Wiener濾波器理論非平穩(wěn)條件下：Kalman濾波非線性非高斯：貝葉斯濾波，粒子濾波理論上的目標，實際算法可達到的最佳結果（3）對環(huán)境的自適應，有“學習能力”的濾波算法自適應均衡、波束形成、線性自適應濾波器、盲處理（4）信號的統(tǒng)計分析方法現(xiàn)代譜估計方法，信號模型方法的應用，子空間方法更多信息的利用，挖掘（針對非高斯問題）非線性、多譜：高階量，循環(huán)平穩(wěn)信號的盲處理（5）對時間–頻率關系的適應性、稀疏表示信號的時間-頻率聯(lián)合分析，反映信號更豐富特性全局特性與局域特性，小波變換，時頻分析，信號的稀疏表示和恢復，CS教材張旭東，陸明泉：離散隨機信號處理，2005年10月，清華大學出版社張旭東，現(xiàn)代信號分析和處理，2017年，清華大學出版社（目前老版教材售罄暫缺，新版教材于2017年出版，網(wǎng)絡學堂將提供新版教材的電子版，由于與出版社版權問題，電子版教材僅供選課同學參考，切勿外傳）

S.Haykin,AdaptiveFiltertheory,Prentice-Hall,FouthEdition2001(電子工業(yè)出版社影印本和中文譯本)S.M.Kay,ModernSpectralEstimation:Theory&Application,Prentice-Hall,1988S.M.Kay,FundamentalsofStatisticalSignalProcessing:EstimationTheory,PrenticeHallPTR,1993.（有中文譯本）S.Mallat,AWaveletTourofSignalProcessing,Academicpress,ThirdEdition2009Van

Tree，Optimum

Array

Processing，Wiley，2002（有中文譯本）J.G.Proakis,etal.AlgorithmsforStatisticalSignalProcessing, Prenticehall,2002（有中文譯本）D.SimonOptimalStateEstimation,Wiley,2006S.Foucart,H.Rauhut,AMathematicalIntroductiontoCompressiveSensing,Springer,2013主要參考書IEEE

Signal

Processing

MagazineIEEETrans.OnSignalProcessingSignalProcessingProceedingsofIEEEProceedingsofICASSP，DSP主要雜志和會議文集課程成績平時作業(yè)20％3個Matlab作業(yè)60％（布置后2周內(nèi)提交）期末課程報告20％（開放性選題）信號處理算法設計面向的幾個主要因素信噪比信噪比可能顯式或隱式地影響信號處理方法的性能先驗知識雷達通信系統(tǒng)電子對抗對先驗知識的利用：統(tǒng)計基礎上的假設、學習過程算法復雜性與性能要求的匹配性(問題的適宜性）Occam剃刀原理：除非必要，“實體”不應該隨便增加，或：設計者不應該選用比“必要”更加復雜的系統(tǒng)。學術研究和工程應用信號處理的不同對象和方法高斯類信號和非高斯類信號平穩(wěn)信號與非平穩(wěn)信號線性系統(tǒng)和非線性系統(tǒng)時間處理、空間處理和時空處理有監(jiān)督系統(tǒng)和無監(jiān)督系統(tǒng)建立了系統(tǒng)的科學方法的巨人牛頓艾薩克·牛頓爵士，1643年~1727年(維基百科對他的定義是：英格蘭物理學家、數(shù)學家、天文學家、自然哲學家和煉金術士）；1687年發(fā)表《自然哲學的數(shù)學原理》；其他物理學上的貢獻；與萊布尼茨分享發(fā)展了“微積分學”的榮譽；證明了廣義二項式定理，提出了“牛頓法”以趨近函數(shù)的零點，并對冪級數(shù)的研究作出了貢獻。自然和自然律隱沒在黑暗中；

神說，讓牛頓去吧！萬物遂成光明--浦柏了解一點科學史隨機信號處理與貝葉斯ThomasBayes，貝葉斯(1702-1763)，英國數(shù)學家.貝葉斯決策理論方法（1763）是統(tǒng)計模型決策中的一個基本方法，其基本思想是：1、已知條件概率密度參數(shù)表達式和先驗概率；2、利用貝葉斯公式轉換成后驗概率；3、根據(jù)后驗概率大小進行決策分類。Born:April30,1777,Brunswick,Germany

Died:February23,1855,G?ttingen,Germany

離散隨機信號處理與高斯(CarlFriedrichGauss)

AscientificbiographerswroteinNature(128[1931],341):"Hewasnotreallyaphysicistinthesenseofsearchingfornewphenomena,butratheralwaysamathematicianwhoattemptedtoformulateinexactmathematicaltermstheexperimentalresultsobtainedbyothers."正態(tài)分布（高斯分布）最小二乘LSFFT，…傅里葉

BaronJean-Baptiste-JosephFourier(1768-1830)*1807年12月21日，傅里葉提交了一篇關于熱學原理的論文，其中，揭示了：在一個有限區(qū)間上任意不規(guī)則圖形所定義的一個任意函數(shù)（連續(xù)或具有不連續(xù)點）總是能夠表示為正弦信號的和，這被后來稱為傅里葉級數(shù)。*5位法國數(shù)學家組成的評審委員會，評審這篇論文，其中包括拉格朗日，拉普拉斯、勒讓德等，最后以拉格朗日的激烈反對，而未能發(fā)表。*15年后（1823年），傅里葉在其努力失敗后，以“熱的解析理論”的書的形式發(fā)表了他的成果。*一些現(xiàn)在被廣泛接受的方法，在歷史上被不理解，甚至被認為是荒謬的例子，在科學史上很多，科學的進步之路，有時候需要打破權威，持之以恒地堅持。N.Wiener與信號處理的統(tǒng)計學方法NorbertWiener，1894-1964)1942年發(fā)表了在統(tǒng)計準則下對時間序列進行外推/濾波和預測的維納濾波理論1948年，出版《控制論》在純數(shù)學里的許多貢獻隨機信號處理/信號處理的統(tǒng)計方法盡管從貝葉斯和高斯等的工作中，找到了信號統(tǒng)計處理的一些基本思想，作為學科，隨機信號處理是一個“現(xiàn)代的科學分支”，并從現(xiàn)代統(tǒng)計學中吸收重要思想；Wiener濾波理論，對于推動信號處理的統(tǒng)計方法的發(fā)展，有顯著的作用，（李郁榮對于Wiener濾波理論在電子工程的應用有實質貢獻）；二次世界大戰(zhàn)后，雷達，通信，航空和地震勘探等的需求，推動了信號處理統(tǒng)計方法理論上的快速發(fā)展，大規(guī)模數(shù)字計算技術的飛躍，又為應用提供了支持，兩者的推動，使該領域自50年代以來，一直非常活躍，至今，新的問題不斷被提出。一些進展中的課題盲信號處理（無監(jiān)督學習）序列貝葉斯估計、粒子濾波空時信號處理壓縮傳感和信號的稀疏化表示理論圖上信號采樣、重構和處理等等與信號處理緊密關聯(lián)的領域人工神經(jīng)網(wǎng)絡統(tǒng)計機器學習（機器智能，大數(shù)據(jù)等）模式識別等等1隨機信號基礎被噪聲干擾的初相位是隨機值的正弦波

信號本質上均是隨機的，但將信號作為隨機信號處理，還是做為確定信號處理，與我們的應用目標和我們的先驗知識有關，一般地，我們總是選擇對應用有利的處理方式。

1.隨機過程(信號)復習隨機信號

簡記為均值自相關自協(xié)方差函數(shù)

平穩(wěn)隨機過程：聯(lián)合概率密度函數(shù)與起始時間無關

寬平穩(wěn)（二階）

相關函數(shù)的性質

寬平穩(wěn)和嚴格平穩(wěn)的關系？

互相關

聯(lián)合寬平穩(wěn)有

互相關系數(shù)相關不相關正交等價性零均值條件下，不相關就一定是正交例設有兩個測量信號（零均值）

解：可見互相關的最大值發(fā)生在處，測量了延遲

2．自相關矩陣

定義：設M維信號矢量用隨機信號的自相關矩陣定義為信號矢量外積的期望值，即這是一個方陣。

表示，自協(xié)方差矩陣互相關矩陣、互協(xié)方差矩陣的定義類似，不再保證是方陣，自行練習自相關矩陣的幾個性質

Toeplitz矩陣

半正定：對任意

一般情況下，R是正定的，只有當觀察矢量是由K個正弦組成，且

是例外的

特征分解

自相關矩陣的特征值總是大于或等于零

不同的兩個特征值對應的特征矢量是正交的

令：則：增廣性質

高1階自相關矩陣必包含一個完整的低1階的自相關陣。反之，由低1階自相關陣，按一定方式可增廣出高1階自相關陣3．常見信號正弦波加噪聲:

噪聲與正弦波是統(tǒng)計獨立的，噪聲是白噪聲

的自相關函數(shù)為由正弦波加噪聲構成的信號矢量

M×M的自相關矩陣R

其中實高斯過程聯(lián)合高斯分布的邊際分布和條件分布前提條件4．功率譜密度

復功率譜

功率譜

反變換

維納–––辛欽定理（Wiener-KhinchinTheorem）

5.隨機信號通過線性系統(tǒng)

輸入和輸出的互相關及輸出的自相關序列為:

復功率譜關系

功率譜密度關系

若輸入是白噪聲，方差為,則

6.連續(xù)信號與離散信號功率譜的關系

1.2隨機信號模型有理傳遞函數(shù)模型

稱做ARMA模型：自回歸滑動平均模型例：AR(1)分析.

一個極點對應左序列，一個極點對應右序列

反變換得

功率譜密度PSD：

a．取a(1)=-0.8,自相關序列和功率譜密度如圖所示

b．取a(1)=0.8,自相關序列和功率譜密度

1.3

自相關與模型參數(shù)的關系：

Yule-Walker方程AR過程

重寫差分方程為

兩邊同乘

并取期望值

時

即

(1)

噪聲功率方程模型系數(shù)方程矩陣形式

(2)

(1)式和(2)式結合,利用自相關矩陣的增廣特性,得增廣Yule_Walker方程

若知模型階P，P×P相關矩陣R，由Yule-Walker方程，可求得模型參數(shù)

進而可以得到PSD

實際中，R是未知的，我們只有一組觀測值，構成觀測矢量，由它估計r(k)或直接估計模型參數(shù)。由隨機過程的一組觀測值估計它的有關參數(shù)，這個問題是估計理論討論的主要內(nèi)容。

對于ARMA(p,q)模型

對于MA(q)模型

1.4概率分布模型正態(tài)分布模型（高斯分布）可通過采集的樣本進行估計（第二章）其他：超高斯，亞高斯指數(shù)類，…混合高斯分布模型且參數(shù)估計？附注1在現(xiàn)代信號處理系統(tǒng)和通信系統(tǒng)仿真中，利用ARMA方法，產(chǎn)生規(guī)定功率譜性質的隨機信號，是常用的方法之一。ARMA方法可以有效的產(chǎn)生具有規(guī)定功率譜的高斯隨機信號，和瑞利隨機信號。用ARMA方法產(chǎn)生平穩(wěn)隨機信號，要丟棄初始的瞬態(tài)值，取進入穩(wěn)態(tài)的序列。同時規(guī)定任意譜與任意PDF的隨機信號產(chǎn)生過程可參考文獻：M.M.Sondhi,BellsystemTechnicalJournay,Vol.62,1983,679-700附注2ARMA模型是“時間序列分析”中的重要組成部分。時間序列分析是一個應用范圍很廣泛的學科，屬于統(tǒng)計學中的一個分支，在信息科學和金融學中的應用尤為受到關注。除