小波神經(jīng)網(wǎng)絡(luò)剖析第1頁(yè)/共20頁(yè)3.3.1概述小波神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn)小波變換通過(guò)尺度伸縮和平移對(duì)信號(hào)進(jìn)行多尺度分析，能有效提取信號(hào)的局部信息神經(jīng)網(wǎng)絡(luò)具有自學(xué)習(xí)、自適應(yīng)和容錯(cuò)性等特點(diǎn)，并且是一類(lèi)通用函數(shù)逼近器。小波神經(jīng)網(wǎng)絡(luò)的基元和整個(gè)結(jié)構(gòu)是依據(jù)小波分析理論確定的，可以避免BP神經(jīng)網(wǎng)絡(luò)等結(jié)構(gòu)設(shè)計(jì)上的盲目性小波神經(jīng)網(wǎng)絡(luò)有更強(qiáng)的學(xué)習(xí)能力，精度更高對(duì)同樣的學(xué)習(xí)任務(wù)，小波神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)更簡(jiǎn)單，收斂速度更快。第2頁(yè)/共20頁(yè)3.3.1概述小波神經(jīng)網(wǎng)絡(luò)類(lèi)型松散型小波分析對(duì)神經(jīng)網(wǎng)絡(luò)的輸入進(jìn)行初步處理，使得輸入神經(jīng)網(wǎng)絡(luò)的信息更易于神經(jīng)網(wǎng)絡(luò)進(jìn)行處理融合型 小波和神經(jīng)網(wǎng)絡(luò)直接融合，即小波元代替神經(jīng)元,輸入層到隱含層的權(quán)值及隱含層閾值分別由小波函數(shù)的尺度和平移參數(shù)所代替（1）連續(xù)參數(shù)的小波神經(jīng)網(wǎng)絡(luò)（2）由框架作為基函數(shù)的小波神經(jīng)網(wǎng)絡(luò)（3）正交基小波網(wǎng)絡(luò)第3頁(yè)/共20頁(yè)3.3.1概述小波神經(jīng)網(wǎng)絡(luò)存在著以下一些不足之處1）在多維輸入情況下，隨著網(wǎng)絡(luò)的輸入維數(shù)增加，網(wǎng)絡(luò)所訓(xùn)練的樣本呈指數(shù)增長(zhǎng)，網(wǎng)絡(luò)結(jié)構(gòu)也將隨之變得龐大，使得網(wǎng)絡(luò)收斂速度大大下降。2）隱含層結(jié)點(diǎn)數(shù)難以確定。3）小波網(wǎng)絡(luò)中初始化參數(shù)問(wèn)題，若尺度參數(shù)與位移參數(shù)初始化不合適，將導(dǎo)致整個(gè)網(wǎng)絡(luò)學(xué)習(xí)過(guò)程的不收斂。4）未能根據(jù)實(shí)際情況來(lái)自適應(yīng)選取合適的小波基函數(shù)。第4頁(yè)/共20頁(yè)3.3.2小波神經(jīng)網(wǎng)絡(luò)參數(shù)調(diào)整算法待確定參數(shù)連接權(quán)值尺度系統(tǒng)平移系數(shù)小波神經(jīng)網(wǎng)絡(luò)參數(shù)調(diào)整算法標(biāo)準(zhǔn)BP算法BP算法的改正算法第5頁(yè)/共20頁(yè)3.3.2小波神經(jīng)網(wǎng)絡(luò)參數(shù)調(diào)整算法設(shè)小波神經(jīng)網(wǎng)絡(luò)為3層網(wǎng)絡(luò)，包括輸入層、隱含層和輸出層，輸出層采用線性輸出，輸入層有個(gè)神經(jīng)元，隱含層有個(gè)神經(jīng)元，輸出層有 個(gè)神經(jīng)元。第6頁(yè)/共20頁(yè)3.3.2小波神經(jīng)網(wǎng)絡(luò)參數(shù)調(diào)整算法隱含層選取的神經(jīng)元激勵(lì)函數(shù)為Morlet小波訓(xùn)練時(shí)，在權(quán)值和閾值的修正算法中加入動(dòng)量項(xiàng)，利用前一步得到的修正值來(lái)平滑學(xué)習(xí)路徑，避免陷入局部極小值，加速學(xué)習(xí)速度。為了避免在逐個(gè)樣本訓(xùn)練時(shí)，引起權(quán)值和閾值修正時(shí)發(fā)生的振蕩，采用成批訓(xùn)練方法。對(duì)網(wǎng)絡(luò)的輸出也并不是簡(jiǎn)單的加權(quán)求和，而是先對(duì)網(wǎng)絡(luò)隱含層小波結(jié)點(diǎn)的輸出加權(quán)求和，再經(jīng)Sigmoid函數(shù)變換后，得到最終的網(wǎng)絡(luò)輸出，有利于處理分類(lèi)問(wèn)題，同時(shí)減少訓(xùn)練過(guò)程中發(fā)散的可能性第7頁(yè)/共20頁(yè)3.3.2小波神經(jīng)網(wǎng)絡(luò)參數(shù)調(diào)整算法給定組輸入輸出樣本，學(xué)習(xí)率為，動(dòng)量因子為目標(biāo)誤差函數(shù)式中為輸出層第n個(gè)結(jié)點(diǎn)的期望輸出；為網(wǎng)絡(luò)實(shí)際輸出算法的目標(biāo)不斷調(diào)整網(wǎng)絡(luò)的各項(xiàng)參數(shù)，使得誤差函數(shù)達(dá)到最小值第8頁(yè)/共20頁(yè)3.3.2小波神經(jīng)網(wǎng)絡(luò)參數(shù)調(diào)整算法隱含層輸出為輸入層的輸入為隱含層的輸出為輸入層結(jié)點(diǎn)為與隱含層結(jié)點(diǎn)為之間的權(quán)值；為Morlet小波函數(shù)。

第9頁(yè)/共20頁(yè)3.3.2小波神經(jīng)網(wǎng)絡(luò)參數(shù)調(diào)整算法輸出層輸出為為輸出層的輸入為隱含層結(jié)點(diǎn)與輸出層結(jié)點(diǎn)之間的權(quán)值

第10頁(yè)/共20頁(yè)3.3.2小波神經(jīng)網(wǎng)絡(luò)參數(shù)調(diào)整算法隱含層與輸出層之間的權(quán)值調(diào)整式、分別表示調(diào)整前與調(diào)整后的隱含層結(jié)點(diǎn)與輸出層結(jié)點(diǎn)之間的連接權(quán)值；為動(dòng)量項(xiàng)。

第11頁(yè)/共20頁(yè)3.3.2小波神經(jīng)網(wǎng)絡(luò)參數(shù)調(diào)整算法輸入層結(jié)點(diǎn)與隱含層結(jié)點(diǎn)之間的權(quán)值調(diào)整式、分別為調(diào)整前與調(diào)整后的輸入層結(jié)點(diǎn)與隱含層結(jié)點(diǎn)之間的權(quán)值為動(dòng)量項(xiàng)第12頁(yè)/共20頁(yè)3.3.2小波神經(jīng)網(wǎng)絡(luò)參數(shù)調(diào)整算法伸縮因子調(diào)整式、為調(diào)整前與調(diào)整后的伸縮因子；為伸縮因子動(dòng)量項(xiàng)。第13頁(yè)/共20頁(yè)3.3.2小波神經(jīng)網(wǎng)絡(luò)參數(shù)調(diào)整算法平移因子調(diào)整式、為調(diào)整前與調(diào)整后的平移因子；為平移因子動(dòng)量項(xiàng)。。第14頁(yè)/共20頁(yè)3.3.2小波神經(jīng)網(wǎng)絡(luò)參數(shù)調(diào)整算法學(xué)習(xí)算法的具體實(shí)現(xiàn)步驟1）網(wǎng)絡(luò)參數(shù)的初始化將小波的伸縮因子、平移因子、網(wǎng)絡(luò)連接權(quán)值、學(xué)習(xí)率以及動(dòng)量因子賦予初始值，并置輸入樣本計(jì)數(shù)器。2）輸入學(xué)習(xí)樣本及相應(yīng)的期望輸出。3）計(jì)算隱含層及輸出層的輸出。4）計(jì)算誤差和梯度向量。5）輸入下一個(gè)樣本，即。6）判斷算法是否結(jié)束。當(dāng)時(shí)，即代價(jià)函數(shù)小于預(yù)先設(shè)定的某個(gè)精度值，停止網(wǎng)絡(luò)的學(xué)習(xí)，否則將計(jì)數(shù)器重置為1，并轉(zhuǎn)步驟2）循環(huán)。第15頁(yè)/共20頁(yè)3.3.3小波神經(jīng)網(wǎng)絡(luò)的MATLAB函數(shù)靜態(tài)非線性回歸小波神經(jīng)網(wǎng)絡(luò)的創(chuàng)建

指令格式THETA=wnetreg(y,x,nbwavelon,max_epoch,initmode,min_nbw,levels)參數(shù)說(shuō)明輸出參數(shù)THETA小波回歸模型的估計(jì)參數(shù)。輸入?yún)?shù)y是一個(gè)列向量，x對(duì)于單輸入為一個(gè)列向量；對(duì)于多輸入，x=[x1x2...xm]，每個(gè)xi都是一個(gè)列向量。nbwavelon：構(gòu)建小波網(wǎng)絡(luò)的小波數(shù)量max_epoch：最大訓(xùn)練次數(shù)；initmode為初始化模式如果initmode=THETA則為一個(gè)包含小波神經(jīng)網(wǎng)絡(luò)參數(shù)的矩陣，這些參數(shù)用來(lái)初始化網(wǎng)絡(luò)。min_nbw：最小輸入模式數(shù)。levels：初始化過(guò)程中的級(jí)別數(shù)；min_nbw和levels為可選項(xiàng)。第16頁(yè)/共20頁(yè)3.3.3小波神經(jīng)網(wǎng)絡(luò)的MATLAB函數(shù)小波神經(jīng)網(wǎng)絡(luò)的仿真wavenet()，可以很方便地得到網(wǎng)絡(luò)的仿真結(jié)果。指令格式：g=wavenet(x,THETA)小波神經(jīng)網(wǎng)絡(luò)的MATLAB具體實(shí)現(xiàn)在4.5.4