1、a,1,小波神經(jīng)網(wǎng)絡(luò)簡介,什么是小波神經(jīng)網(wǎng)絡(luò)？,小波神經(jīng)網(wǎng)絡(luò)（Wavelet Neural Network, WNN） Zhang Qinghua等1992年正式提出小波神經(jīng)網(wǎng)絡(luò)的概念 小波變換：一種數(shù)學(xué)分析的工具 小波變換+人工神經(jīng)網(wǎng)絡(luò)=小波神經(jīng)網(wǎng)絡(luò),小波網(wǎng)絡(luò)的結(jié)構(gòu)形式,小波變換與神經(jīng)網(wǎng)絡(luò)的結(jié)合 小波變換與神經(jīng)網(wǎng)絡(luò)的結(jié)合，也稱松散型結(jié)合 應(yīng)用舉例:基于小波分析的多RBF神經(jīng)網(wǎng)絡(luò)軋制力設(shè)定模型 由于軋制力信號影響因素多，關(guān)聯(lián)復(fù)雜，難以建立精確 的機(jī)理模型，所以應(yīng)用小波多分辨率方法，將原信號 分解重構(gòu)成不同影響因素的子信號。,小波變換與神經(jīng)網(wǎng)絡(luò)的融合 小波變換與神經(jīng)網(wǎng)絡(luò)的融合，也稱緊致型結(jié)合,小

2、波的發(fā)展過程,小波變換的發(fā)展的歷史過程 Fourier變換 Gobor變換(加窗Fourier變換) 小波變換,小波變換的時(shí)間窗和頻率窗 給出了信號在時(shí)間窗 內(nèi)的局部信息 給出了信號在頻率窗 內(nèi)的局部信息 時(shí)頻窗的面積始終不變， 對于檢測 高頻信號時(shí)a 自適應(yīng)變?yōu)?a0，a較小的時(shí)候)使時(shí)間窗變窄，對于檢測 低頻信號時(shí)使時(shí)間窗變寬即可，這樣可以更有效的獲取 局部信息,小波的數(shù)學(xué)概念,小波母函數(shù) (t)： 必須滿足容許條件： 連續(xù)小波： 由小波母函數(shù)平移和伸縮變換得來的函數(shù) 其中a是尺度參數(shù)，b是平移參數(shù) 小波變換：對于 ，稱 為信號f(t)的連續(xù)小波變換,母小波(t)選擇應(yīng)滿足的兩個(gè)條件 (1

3、)定義域是緊支撐的(Compact Support) 即在一個(gè)很小的區(qū)間以外，函數(shù)為零，換句話說，函數(shù) 由速降特性，以便獲得空間局域化； (2)平均值為零，也就是,Haar小波 Mexican Hat Meyer小波,Sym6 小波 db6小波,常用的小波函數(shù),離散小波、二進(jìn)小波和多尺度分析,離散小波：對定義的小波函數(shù)的尺度參數(shù)a，平移參數(shù)b，按如下規(guī)律進(jìn)行離散采樣 二進(jìn)小波：即取a為離散值，a為2的j次方，j Z； b任然取連續(xù)的值,多分辨率分析：多分辨率分析(Multi-resolutionAnalysis)又稱多尺度分析，其在小波分析中占有非常重要的地位，它是建立在函數(shù)空間概念上的理論,

4、它重點(diǎn)在于處理整個(gè)函數(shù)集，而非側(cè)重處理作為個(gè)體的函數(shù)。多分辨率分析從函數(shù)空間的角度將一個(gè)函數(shù)表示為一個(gè)低頻成分和不同分辨率下的多個(gè)高頻成分。更為重要的是，多分辨率分析不僅提供了構(gòu)造小波的統(tǒng)一框架，而且提供了函數(shù)分解與重構(gòu)的快速算法,執(zhí)行離散小波變換的有效方法是使用濾波器。該方法是Mallat在 1988年開發(fā)的，叫做Mallat算法，也叫金字塔算法。這種方法實(shí)際上是一種信號的分解方法，在數(shù)字信號處理過程中稱為雙通道子帶編碼 算法描述：把信號通過濾波器分成高頻部分和低頻部分，低頻部分繼續(xù)分解，迭代上述過程。形成的樹叫小波分解樹。,小波網(wǎng)絡(luò)的具體分類 (1) 用小波函數(shù)直接代替隱層函數(shù) 根據(jù)所選取

5、的小波基函數(shù)的連續(xù)性的不同，可以將該模型分為連續(xù)參數(shù)的小波神經(jīng)網(wǎng)絡(luò)和基于小波框架的小波神經(jīng)網(wǎng)絡(luò)兩種： 連續(xù)參數(shù)的小波神經(jīng)網(wǎng)絡(luò) 基于小波框架的小波神經(jīng)網(wǎng)絡(luò),基于小波框架的小波神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法 在傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)中，存在隱層單元數(shù)目難以確定的不足，而小波神經(jīng)網(wǎng)絡(luò)的隱層單元數(shù)目則可以 按如下方法自適應(yīng)地確定： 首先取小波神經(jīng)網(wǎng)絡(luò)的隱層單元數(shù)目M為1，學(xué)習(xí)迭代若干次后，如滿足誤差條件，則停止迭帶，若達(dá)到最大學(xué)習(xí)次數(shù)后，仍不滿足誤差條件，則小波變換單元數(shù)目增加1，重復(fù)上述過程，直到滿足誤差條件為止。這樣就可以根據(jù)具體的問題自適應(yīng)地確定小波變化單元個(gè)數(shù)，從而克服傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的不足。,基于多分辨率分析理論的

6、小波神經(jīng)網(wǎng)絡(luò) 基于多分辨率分析小波神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法是由Moody 于1989年提出的, 該算法給出了網(wǎng)絡(luò)輸出在不同尺度上逼近的遞推方法, 具體描述為: 網(wǎng)絡(luò)模型：,基于多分辨率分析小波神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法 先選取合適的尺度函數(shù)和小波函數(shù), 同時(shí)在最粗的尺度M 上訓(xùn)練 節(jié)點(diǎn), 直到網(wǎng)絡(luò)達(dá)到收斂; 要使網(wǎng)絡(luò)達(dá)到收斂, 則要確定逼近誤差和增加適當(dāng)個(gè)數(shù)的 節(jié)點(diǎn)以減小逼近誤差; 最后是優(yōu)化網(wǎng)絡(luò), 使用新的樣本來檢驗(yàn)網(wǎng)絡(luò)并移去權(quán)重小的 節(jié)點(diǎn)直到滿足性能指標(biāo)。,小波神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn) (1)小波變換通過尺度伸縮和平移對信號進(jìn)行多尺度分析，能有效提取信號的局部信息 (2)神經(jīng)網(wǎng)絡(luò)具有自學(xué)習(xí)、自適應(yīng)和容錯(cuò)性等特點(diǎn)，

7、并且是一類通用函數(shù)逼近器。 (3)小波神經(jīng)網(wǎng)絡(luò)的基元和整個(gè)結(jié)構(gòu)是依據(jù)小波分析理論確定的，可以避免BP神經(jīng)網(wǎng)絡(luò)等結(jié)構(gòu)設(shè)計(jì)上的盲目性 (4)小波神經(jīng)網(wǎng)絡(luò)有更強(qiáng)的學(xué)習(xí)能力，精度更高對同樣的學(xué)習(xí)任務(wù)，小波神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)更簡單，收斂速度更快,小波神經(jīng)網(wǎng)絡(luò)的缺點(diǎn) (1)在多維輸入情況下，隨著網(wǎng)絡(luò)的輸入維數(shù)增加，網(wǎng)絡(luò)所訓(xùn)練的樣本呈指數(shù)增長，網(wǎng)絡(luò)結(jié)構(gòu)也將隨之變得龐大，使得網(wǎng)絡(luò)收斂速度大大下降。 (2)隱含層結(jié)點(diǎn)數(shù)難以確定。 (3)小波網(wǎng)絡(luò)中初始化參數(shù)問題，若尺度參數(shù)與位移參數(shù)初始化不合適，將導(dǎo)致整個(gè)網(wǎng)絡(luò)學(xué)習(xí)過程的不收斂。 (4)未能根據(jù)實(shí)際情況來自適應(yīng)選取合適的小波基函數(shù),神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法,待確定參數(shù) 連接權(quán)

8、值 尺度系統(tǒng) 平移系數(shù) 小波神經(jīng)網(wǎng)絡(luò)參數(shù)調(diào)整算法 標(biāo)準(zhǔn)BP算法 BP算法的改正算法,BP網(wǎng)絡(luò)算法的改進(jìn): 函數(shù)采用了有動(dòng)量的梯度下降法，提高了學(xué)習(xí)速度并增加了算法的可靠性。 梯度下降法在修正權(quán)值時(shí)，只是按照k時(shí)刻的負(fù)梯度方向修正，并沒有考慮到以前積累的經(jīng)驗(yàn)，即以前時(shí)刻的梯度方向，從而常常使學(xué)習(xí)過程發(fā)生振蕩，收斂緩慢。為此，有人提出了如下的改進(jìn)算法： 其中，D(k)表示k時(shí)刻的負(fù)梯度，D(k-1)表示k-1時(shí)刻的負(fù)梯度，為學(xué)習(xí)率，是動(dòng)量因子，范圍是0,1。當(dāng)=0時(shí)，權(quán)值修正只與當(dāng)前負(fù)梯度有關(guān)系，當(dāng)=1時(shí)，權(quán)值修正就完全取決于上一次循環(huán)的負(fù)梯度了。這種方法所加入的動(dòng)量項(xiàng)實(shí)質(zhì)上相當(dāng)于阻尼項(xiàng)，它減少了

9、學(xué)習(xí)過程的振蕩趨勢，從而改善了收斂性。 動(dòng)量因子可以通過net.trainParam.mc設(shè)定，若不設(shè)定，缺省值為0.9。,設(shè)小波神經(jīng)網(wǎng)絡(luò)為3層網(wǎng)絡(luò)，包括輸入層、隱含層和輸出層，輸出層采用線性輸出，輸入層有 m(m=1,2,M) 個(gè)神經(jīng)元，隱含層有 k(k=1,2,K)個(gè)神經(jīng)元，輸出層有 n(n=1,2,N) 個(gè)神經(jīng)元。 隱含層選取的神經(jīng)元激勵(lì)函數(shù)為Morlet小波 訓(xùn)練時(shí)，在權(quán)值和閾值的修正算法中加入動(dòng)量項(xiàng)，利用前一步得到的修正值來平滑學(xué)習(xí)路徑，避免陷入局部極小值，加速學(xué)習(xí)速度。為了避免在逐個(gè)樣本訓(xùn)練時(shí)，引起權(quán)值和閾值修正時(shí)發(fā)生的振蕩，采用成批訓(xùn)練方法。對網(wǎng)絡(luò)的輸出也并不是簡單的加權(quán)求和，而

10、是先對網(wǎng)絡(luò)隱含層小波結(jié)點(diǎn)的輸出加權(quán)求和，再經(jīng)Sigmoid函數(shù)變換后，得到最終的網(wǎng)絡(luò)輸出，有利于處理分類問題，同時(shí)減少訓(xùn)練過程中發(fā)散的可能性,給定 p(p=1,2,P) 組輸入輸出樣本，學(xué)習(xí)率為 (0) ，動(dòng)量因子為(0 1 ) 目標(biāo)誤差函數(shù) 式中 為輸出層第n個(gè)結(jié)點(diǎn)的期望輸出； 為網(wǎng)絡(luò)實(shí)際輸出 算法的目標(biāo) 不斷調(diào)整網(wǎng)絡(luò)的各項(xiàng)參數(shù)，使得誤差函數(shù)達(dá)到最小值,隱含層輸出 為輸入層的輸入 為隱含層的輸出 為輸入層結(jié)點(diǎn) m 為與隱含層結(jié)點(diǎn) k 為之間的權(quán)值； h() 為Morlet小波函數(shù)。,輸出層輸出為 為輸出層的輸入 為隱含層結(jié)點(diǎn) 與輸出層結(jié)點(diǎn) 之間的權(quán)值,隱含層與輸出層之間的權(quán)值調(diào)整式 分別表示

11、調(diào)整前與調(diào)整后的隱含層結(jié)點(diǎn)k 與輸出層結(jié)點(diǎn)n 之間的連接權(quán)值； 為動(dòng)量項(xiàng)。,輸入層結(jié)點(diǎn)與隱含層結(jié)點(diǎn)之間的權(quán)值調(diào)整式 分別為調(diào)整前與調(diào)整后的輸入層結(jié)點(diǎn) m 與隱含層結(jié)點(diǎn) k 之間的權(quán)值 為動(dòng)量項(xiàng),伸縮因子調(diào)整式 為調(diào)整前與調(diào)整后的伸縮因子； 為伸縮因子動(dòng)量項(xiàng)。,平移因子調(diào)整式 為調(diào)整前與調(diào)整后的平移因 子； 為平移因子動(dòng)量項(xiàng)。,學(xué)習(xí)算法的具體實(shí)現(xiàn)步驟 1）網(wǎng)絡(luò)參數(shù)的初始化 將小波的伸縮因子、平移因子、網(wǎng)絡(luò)連接權(quán)值、學(xué) 習(xí)率以及動(dòng)量因子賦予初始值，并置輸入樣本計(jì)數(shù)器 p=1 2）輸入學(xué)習(xí)樣本及相應(yīng)的期望輸出 3）計(jì)算隱含層及輸出層的輸出 4）計(jì)算誤差和梯度向量。 5）輸入下一個(gè)樣本，即 p=p+1 6）判斷算法是否結(jié)束。當(dāng) E0)，停止網(wǎng)絡(luò)的學(xué)習(xí)，否則將計(jì)數(shù)器重置為1，并轉(zhuǎn)步驟2）循環(huán),小波神經(jīng)網(wǎng)絡(luò)的MATLAB函數(shù) 靜態(tài)非線性回歸小波神經(jīng)網(wǎng)絡(luò)的創(chuàng)建 指令格式 THETA = wnetreg(y, x, nbwavelon, max_epoch, initmode, min_nbw, levels) 參數(shù)說明 輸出參數(shù) THETA 小波回歸模型的估計(jì)參數(shù)。 輸入?yún)?shù) y 是一個(gè)列向量，x 對于單輸入為一個(gè)列向量；對于多輸入，x=