1、1,小波神經(jīng)網(wǎng)絡(luò)原理及其應(yīng)用 短時(shí)交通流量預(yù)測(cè),數(shù)學(xué)中的顯微鏡小波,1,學(xué)習(xí)交流PPT,2,主要內(nèi)容,1.小波變換與傅里葉變換的比較 2.小波變換的基本原理與性質(zhì) 3.幾種常用的小波簡(jiǎn)介 4.小波變換的應(yīng)用領(lǐng)域 5.小波分析應(yīng)用前景 6.小波變換的去噪應(yīng)用 7.小波神經(jīng)網(wǎng)絡(luò),2,學(xué)習(xí)交流PPT,3,1.小波變換與傅里葉變換的比較,傅立葉變換的理論是人類數(shù)學(xué)發(fā)展史上的一個(gè)里程碑，從1807年開始，直到1966年整整用了一個(gè)半世紀(jì)多才發(fā)展成熟，她在各個(gè)領(lǐng)域產(chǎn)生了深刻的影響得到了廣泛的應(yīng)用，推動(dòng)了人類文明的發(fā)展。其原因是傅立葉理論不僅僅在數(shù)學(xué)上有很大的理論價(jià)值，更重要的是傅立葉變換或傅立葉積分得到的

2、頻譜信息具有物理意義。遺憾的是，這種理論具有一定的局限性。 用傅立葉變換提取信號(hào)的頻譜需要利用信號(hào)的全部時(shí)域信息。 傅立葉變換沒有反映出隨著時(shí)間的變化信號(hào)頻率成分的變化情況。 傅立葉變換的積分作用平滑了非平穩(wěn)信號(hào)的突變成分。 由于上述原因，必須進(jìn)一步改進(jìn)，克服上述不足，這就導(dǎo)致了小波分析。,3,學(xué)習(xí)交流PPT,4,1.小波變換與傅里葉變換的比較,小波分析是在傅里葉分析的基礎(chǔ)上發(fā)展起來的，但小波分析與傅里葉分析存在著極大的不同，與Fourier變換相比，小波變換是空間（時(shí)間）和頻率的局部變換，因而能有效地從信號(hào)中提取信息。通過伸縮和平移等運(yùn)算功能可對(duì)函數(shù)或信號(hào)進(jìn)行多尺度的細(xì)化分析，解決了Four

3、ier變換不能解決的許多困難問題。小波變換聯(lián)系了應(yīng)用數(shù)學(xué)、物理學(xué)、計(jì)算機(jī)科學(xué)、信號(hào)與信息處理、圖像處理、地震勘探等多個(gè)學(xué)科。,4,學(xué)習(xí)交流PPT,5,1.小波變換與傅里葉變換的比較,（1）克服第一個(gè)不足：小波系數(shù)不僅像傅立葉系數(shù)那樣，是隨頻率不同而變化的，而且對(duì)于同一個(gè)頻率指標(biāo)j， 在不同時(shí)刻 k，小波系數(shù)也是不同的。 （2）克服第二個(gè)不足：由于小波函數(shù)具有緊支撐的性質(zhì)即某一區(qū)間外為零。這樣在求各頻率水平不同時(shí)刻的小波系數(shù)時(shí)，只用到該時(shí)刻附近的局部信息。從而克服了上面所述的第二個(gè)不足。 （3）克服第三個(gè)不足：通過與加窗傅立葉變換的“時(shí)間頻率窗”的相似分析，可得到小波變換的“時(shí)間頻率窗”的笛卡兒

4、積。小波變換的“時(shí)間-頻率窗”的寬度，檢測(cè)高頻信號(hào)時(shí)變窄，檢測(cè)低頻信號(hào)時(shí)變寬。這正是時(shí)間-頻率分析所希望的。根據(jù)小波變換的 “時(shí)間頻率窗” 的寬度可變的特點(diǎn)，為了克服上面所述的第三個(gè)不足，只要不同時(shí)檢測(cè)高頻與低頻信息，問題就迎刃而解了。,5,學(xué)習(xí)交流PPT,6,2.小波變換的基本原理與性質(zhì),小波是什么？ 小波可以簡(jiǎn)單的描述為一種函數(shù)，這種函數(shù)在有限時(shí)間范圍內(nèi)變化，并且平均值為0。這種定性的描述意味著小波具有兩種性質(zhì):A、具有有限的持續(xù)時(shí)間和突變的頻率和振幅；B、在有限時(shí)間范圍內(nèi)平均值為0。,6,學(xué)習(xí)交流PPT,7,2.小波變換的基本原理與性質(zhì),小波的“容許”條件 用一種數(shù)學(xué)的語(yǔ)言來定義小波，即

5、滿足“容許”條件的一種函數(shù)，“容許”條件非常重要，它限定了小波變換的可逆性。 小波本身是緊支撐的，即只有小的局部非零定義域，在窗口之外函數(shù)為零；本身是振蕩的，具有波的性質(zhì)，并且完全不含有直流趨勢(shì)成分，即滿足,7,學(xué)習(xí)交流PPT,8,2.小波變換的基本原理與性質(zhì),信號(hào)的信息表示 時(shí)域表示：信號(hào)隨時(shí)間變化的規(guī)律，信息包括均值、方差、峰度以及峭陡等，更精細(xì)的表示就是概率密度分布（工程上常常采用其分布參數(shù)） 頻域表示：信號(hào)在各個(gè)頻率上的能量分布，信息為頻率和譜值（頻譜或功率譜），為了精確恢復(fù)原信號(hào)，需要加上相位信息（相位譜），典型的工具為FT 時(shí)頻表示：時(shí)間和頻率聯(lián)合表示的一種信號(hào)表示方法，信息為瞬時(shí)

6、頻率、瞬時(shí)能量譜 信號(hào)處理中，對(duì)不同信號(hào)要區(qū)別對(duì)待，以選擇哪種或者哪幾種信號(hào)表示方法,8,學(xué)習(xí)交流PPT,9,3.小波變換的基本原理與性質(zhì),為什么選擇小波 小波提供了一種非平穩(wěn)信號(hào)的時(shí)間-尺度分析手段，不同于FT方法，與STFT方法比較具有更為明顯的優(yōu)勢(shì),9,學(xué)習(xí)交流PPT,10,2.小波變換的基本原理與性質(zhì),10,學(xué)習(xí)交流PPT,11,2.小波變換的基本原理與性質(zhì),小波變換的定義： 小波變換是一種信號(hào)的時(shí)間尺度（時(shí)間頻率）分析方法，它具有多分辨分析的特點(diǎn)，而且在時(shí)頻兩域都具有表征信號(hào)局部特征的能力，是一種窗口大小固定不變但其形狀可改變，時(shí)間窗和頻率窗都可以改變的時(shí)頻局部化分析方法。即在低頻部

7、分具有較低的時(shí)間分辨率和較高的頻率分辨率，在高頻部分具有較高的時(shí)間分辨率和較低的頻率分辨率，很適合于分析非平穩(wěn)的信號(hào)和提取信號(hào)的局部特征，所以小波變換被譽(yù)為分析處理信號(hào)的顯微鏡。在處理分析信號(hào)時(shí)，小波變換具有對(duì)信號(hào)的自適應(yīng)性，也是是一種優(yōu)于傅里葉變換和窗口傅里葉變換的信號(hào)處理方法。,11,學(xué)習(xí)交流PPT,12,3.小波變換的基本原理與性質(zhì),關(guān)于小波有兩種典型的概念：連續(xù)小波變換，離散小波變換 連續(xù)小波變換定義為 可見，連續(xù)小波變換的結(jié)果可以表示為平移因子a和伸縮因子b的函數(shù),12,學(xué)習(xí)交流PPT,假定小波母函數(shù)窗口寬度為t，窗口中心為t0，則相應(yīng)可求出連續(xù)小波的窗口中心為at0+，窗口寬度為a

8、 t。 即信號(hào)限制在時(shí)間窗內(nèi)：at0+- t a/2, at0+t a/2 同樣，對(duì)于小波母函數(shù)的頻域變換，其頻域窗口中心為0，窗口寬度為 ，則相應(yīng)的連續(xù)小波的傅立葉變換為： 其頻域窗口中心為： 窗口寬度為： 信號(hào)在頻域窗內(nèi)：,13,學(xué)習(xí)交流PPT,從上面的時(shí)頻域的討論可見，連續(xù)小波的時(shí)頻域窗口 中心及其寬度都隨a的變化而伸縮，如果我們稱t 為窗口函數(shù)的窗口面積，則： 可見，連續(xù)小波基函數(shù)的窗口面積不隨參數(shù)的變化而變化。,14,學(xué)習(xí)交流PPT,15,2.小波變換的基本原理與性質(zhì)多分辨分析,傅立葉分解過程,小波分解過程,15,學(xué)習(xí)交流PPT,16,2.小波變換的基本原理與性質(zhì)多分辨分析,伸縮因子

9、對(duì)小波的作用,16,學(xué)習(xí)交流PPT,17,2.小波變換的基本原理與性質(zhì),17,學(xué)習(xí)交流PPT,18,2.小波變換的基本原理與性質(zhì)多分辨分析,平移因子對(duì)小波的作用 平移因子使得小波能夠沿信號(hào)的時(shí)間軸實(shí)現(xiàn)遍歷分析，伸縮因子通過收縮和伸張小波，使得每次遍歷分析實(shí)現(xiàn)對(duì)不同頻率信號(hào)的逼近,18,學(xué)習(xí)交流PPT,19,3.小波變換的基本原理與性質(zhì)多分辨分析,連續(xù)小波變換實(shí)現(xiàn)過程 首先選擇一個(gè)小波基函數(shù)，固定一個(gè)尺度因子，將它與信號(hào)的初始段進(jìn)行比較 ； 通過CWT的計(jì)算公式計(jì)算小波系數(shù)（反映了當(dāng)前尺度下的小波與所對(duì)應(yīng)的信號(hào)段的相似程度）； 改變平移因子，使小波沿時(shí)間軸位移，重復(fù)上述兩個(gè)步驟完成一次分析； 增

10、加尺度因子，重復(fù)上述三個(gè)步驟進(jìn)行第二次分析； 循環(huán)執(zhí)行上述四個(gè)步驟，直到滿足分析要求為止。,19,學(xué)習(xí)交流PPT,20,2.小波變換的基本原理與性質(zhì)多分辨分析,20,學(xué)習(xí)交流PPT,21,2.小波變換的基本原理與性質(zhì)多分辨分析,小波逆變換 如果小波函數(shù)滿足“容許”條件，那么連續(xù)小波變換的逆變換是存在的,21,學(xué)習(xí)交流PPT,22,2.小波變換的基本原理與性質(zhì),離散小波變換DWT（ discrete wavelet transform，DWT ）定義 對(duì)尺度參數(shù)按冪級(jí)數(shù)進(jìn)行離散化處理，對(duì)時(shí)間進(jìn)行均勻離散取值 （要求采樣率滿足尼奎斯特采樣定理）,22,學(xué)習(xí)交流PPT,奈奎斯特定理,采樣定理說明采樣

11、頻率與信號(hào)頻譜之間的關(guān)系，是連續(xù)信號(hào)離散化的基本依據(jù)。 在進(jìn)行模擬/數(shù)字信號(hào)的轉(zhuǎn)換過程中，當(dāng)采樣頻率fs.max大于信號(hào)中最高頻率fmax的2倍時(shí)(fs.max2fmax)，采樣之后的數(shù)字信號(hào)完整地保留了原始信號(hào)中的信息，一般實(shí)際應(yīng)用中保證采樣頻率為信號(hào)最高頻率的510倍；采樣定理又稱奈奎斯特定理。,23,學(xué)習(xí)交流PPT,常用的基本小波,Haar小波,24,學(xué)習(xí)交流PPT,常用的基本小波,2. Daubechies小波,D4尺度函數(shù)與小波,D6尺度函數(shù)與小波,25,學(xué)習(xí)交流PPT,常用的基本小波,3. Morlet小波,Morlet小波不存在尺度函數(shù); 快速衰減但非緊支撐.,26,學(xué)習(xí)交流PP

12、T,X,(s,t),x(t),Inner product,連續(xù)小波-運(yùn)算過程示意圖,27,學(xué)習(xí)交流PPT,X,(s,t),x(t),Inner product,連續(xù)小波-運(yùn)算過程示意圖,28,學(xué)習(xí)交流PPT,X,(s,t),x(t),Inner product,連續(xù)小波-運(yùn)算過程示意圖,29,學(xué)習(xí)交流PPT,X,(s,t),x(t),Inner product,連續(xù)小波-運(yùn)算過程示意圖,30,學(xué)習(xí)交流PPT,X,(s,t),x(t),Inner product,連續(xù)小波-運(yùn)算過程示意圖,31,學(xué)習(xí)交流PPT,X,(s,t),x(t),Inner product,0,連續(xù)小波-運(yùn)算過程示意圖,3

13、2,學(xué)習(xí)交流PPT,X,(s,t),x(t),Inner product,連續(xù)小波-運(yùn)算過程示意圖,33,學(xué)習(xí)交流PPT,X,(s,t),x(t),Inner product,連續(xù)小波-運(yùn)算過程示意圖,34,學(xué)習(xí)交流PPT,X,(s,t),x(t),Inner product,連續(xù)小波-運(yùn)算過程示意圖,35,學(xué)習(xí)交流PPT,X,(s,t),x(t),Inner product,連續(xù)小波-運(yùn)算過程示意圖,36,學(xué)習(xí)交流PPT,37,5.小波變換的應(yīng)用領(lǐng)域,事實(shí)上小波分析的應(yīng)用領(lǐng)域十分廣泛，它包括：數(shù)學(xué)領(lǐng)域的許多學(xué)科；信號(hào)分析、圖象處理；量子力學(xué)、理論物理；軍事電子對(duì)抗與武器的智能化；計(jì)算機(jī)分類與

14、識(shí)別，音樂與語(yǔ)言的人工合成；醫(yī)學(xué)成像與診斷；地震勘探數(shù)據(jù)處理；大型機(jī)械的故障診斷等方面。,37,學(xué)習(xí)交流PPT,38,6.小波分析應(yīng)用前景,（1） 瞬態(tài)信號(hào)或圖像的突變點(diǎn)常包含有很重要的故障信息，例如，機(jī)械故障、電力系統(tǒng)故障、腦電圖、心電圖中的異常、地下目標(biāo)的位置及形狀等，都對(duì)應(yīng)于測(cè)試信號(hào)的突變點(diǎn)。因此，小波分析在故障檢測(cè)和信號(hào)的多尺度邊緣特征提取方面的應(yīng)用具有廣泛的應(yīng)用前景。 （2） 神經(jīng)網(wǎng)絡(luò)與小波分析相結(jié)合，分形幾何與小波分析相結(jié)合是國(guó)際上研究的熱點(diǎn)之一?；谏窠?jīng)網(wǎng)絡(luò)的智能處理技術(shù)，模糊計(jì)算、進(jìn)化計(jì)算與神經(jīng)網(wǎng)絡(luò)結(jié)合的研究，沒有小波理論的嵌入很難取得突破。非線性科學(xué)的研究正呼喚小波分析，也許

15、非線性小波分析是解決非線性科學(xué)問題的理性工具。,38,學(xué)習(xí)交流PPT,39,6.小波分析應(yīng)用前景,（3）小波分析用于數(shù)據(jù)或圖像的壓縮，目前絕大多數(shù)是對(duì)靜止圖像進(jìn)行研究的。面向網(wǎng)絡(luò)的活動(dòng)圖像壓縮，長(zhǎng)期以來是采用離散余弦變換（DCT）加運(yùn)動(dòng)補(bǔ)償（Mc）作為編碼技術(shù)，然而，該方法存在兩個(gè)主要的問題：方塊效應(yīng)和蚊式噪聲。利用小波分析的多尺度分析不但可以克服上述問題，而且可首先得到粗尺度上圖像的輪廓，然后決定是否需要傳輸精細(xì)的圖案，以提高圖像的傳輸速度。因此研究面對(duì)網(wǎng)絡(luò)的地速率圖像壓縮的小波分析并行算法，具有較高探索性和新穎性。同時(shí)也具有較高的應(yīng)用價(jià)值和廣泛的應(yīng)用前景。 （4）目前使用的二維及高維小波基

16、主要是可分離的。不可分離二維及高維小波基的構(gòu)造、性質(zhì)應(yīng)用研究，由于理論上較為復(fù)雜，這方面的成果甚少。也許向量小波及高維小波的研究能夠?yàn)樾〔ǚ治龅膽?yīng)用開創(chuàng)一個(gè)新天地。,39,學(xué)習(xí)交流PPT,小波變換的去噪應(yīng)用,執(zhí)行離散小波變換的有效方法是使用濾波器。該方法是Mallat在 1988年開發(fā)的，叫做Mallat算法，也叫金字塔算法。這種方法實(shí)際上是一種信號(hào)的分解方法，在數(shù)字信號(hào)處理過程中稱為雙通道子帶編碼 算法描述：把信號(hào)通過濾波器分成高頻部分和低頻部分，低頻部分繼續(xù)分解，迭代上述過程。形成的樹叫小波分解樹。,40,學(xué)習(xí)交流PPT,41,7.小波變換的去噪應(yīng)用,小波降噪原理 從信號(hào)學(xué)的角度看 ,小波

17、去噪是一個(gè)信號(hào)濾波的問題。盡管在很大程度上小波去噪可以看成是低通濾波 ,但由于在去噪后 ,還能成功地保留信號(hào)特征 ,所以在這一點(diǎn)上又優(yōu)于傳統(tǒng)的低通濾波器。由此可見 ,小波去噪實(shí)際上是特征提取和低通濾波的綜合 ,其流程框圖如下圖所示：,帶噪信號(hào),41,學(xué)習(xí)交流PPT,什么是小波神經(jīng)網(wǎng)絡(luò)？,小波變換：一種數(shù)學(xué)分析的工具 小波變換+人工神經(jīng)網(wǎng)絡(luò)=小波神經(jīng)網(wǎng)絡(luò) 小波神經(jīng)網(wǎng)絡(luò)是一種以BP神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)為基礎(chǔ)，把小波基函數(shù)作為隱含層結(jié)點(diǎn)的傳遞函數(shù)，信號(hào)前向傳播的同時(shí)誤差反向傳播的神經(jīng)網(wǎng)絡(luò)。,42,學(xué)習(xí)交流PPT,小波網(wǎng)絡(luò)的具體分類,(1) 用小波函數(shù)直接代替隱層函數(shù) 根據(jù)所選取的小波基函數(shù)的連續(xù)性的不同

18、，可以將該模型分為連續(xù)參數(shù)的小波神經(jīng)網(wǎng)絡(luò)和基于小波框架的小波神經(jīng)網(wǎng)絡(luò)兩種： 連續(xù)參數(shù)的小波神經(jīng)網(wǎng)絡(luò) 基于小波框架的小波神經(jīng)網(wǎng)絡(luò),43,學(xué)習(xí)交流PPT,基于小波框架的小波神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法,在傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)中，存在隱層單元數(shù)目難以確定的不足，而小波神經(jīng)網(wǎng)絡(luò)的隱層單元數(shù)目則可以 按如下方法自適應(yīng)地確定： 首先取小波神經(jīng)網(wǎng)絡(luò)的隱層單元數(shù)目M為1，學(xué)習(xí)迭代若干次后，如滿足誤差條件，則停止迭帶，若達(dá)到最大學(xué)習(xí)次數(shù)后，仍不滿足誤差條件，則小波變換單元數(shù)目增加1，重復(fù)上述過程，直到滿足誤差條件為止。這樣就可以根據(jù)具體的問題自適應(yīng)地確定小波變化單元個(gè)數(shù)，從而克服傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的不足。,44,學(xué)習(xí)交流PPT,小波神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn),(1)小波變換通過尺度伸縮和平移對(duì)信號(hào)進(jìn)行多尺度分析，能有效提取信號(hào)的局部信息 (2)神經(jīng)網(wǎng)絡(luò)具有自學(xué)習(xí)、自適應(yīng)和容錯(cuò)性等特點(diǎn)，并且是一類通用函數(shù)逼近器。 (3)小波神經(jīng)網(wǎng)絡(luò)的基