1、 62334967o 概述概述o ElmanElman神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)o ElmanElman神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法o ElmanElman網(wǎng)絡(luò)的網(wǎng)絡(luò)的MATLABMATLAB實(shí)現(xiàn)實(shí)現(xiàn)本章內(nèi)容概述o Elman神經(jīng)網(wǎng)絡(luò)由Jeffrey L. Elman 于1990年提出o 是一種反饋神經(jīng)網(wǎng)絡(luò) o 具有很強(qiáng)的計(jì)算能力 Hello ,Im Jeffrey L. Elman9.1 Elman9.1 Elman神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)o Elman網(wǎng)絡(luò)由4層組成n 輸入層 信號傳輸作用n 隱含層n 承接層 也稱上下文單元或狀態(tài)層,承接層從隱含層接收反饋信號，用來記憶隱含層神經(jīng)元前一時(shí)

2、刻的的輸出值，承接層神經(jīng)元的輸出經(jīng)延遲與存儲，再輸入到隱含層。這樣就使其對歷史數(shù)據(jù)具有敏感性，增加了網(wǎng)絡(luò)自身處理動態(tài)信息的能力。n 輸出層 僅起線性加權(quán)作用。9.2 Elman9.2 Elman神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法 如果輸入向量 為 維向量，輸出向量 為 維，隱含層輸出向量 為 維，承接層輸出向量 為 維， 分別為隱含層到輸出層、輸入層到隱含層、承接層到隱含層的連接權(quán)值。 為輸出神經(jīng)元的激活函數(shù),是隱含層輸出的線性組合。 為隱含層神經(jīng)元的激活函數(shù)， 為承接層的激活函數(shù)， 表示某層的凈輸入，用A表示輸入層，用B表示承接層， 表示迭代次序則各層之間的表達(dá)式如下圖所示。urymxncx1

3、23,w w wg() f() n()h ()nettg()為輸出神經(jīng)元的轉(zhuǎn)換函為輸出神經(jīng)元的轉(zhuǎn)換函數(shù)；數(shù)；f()是中間層的轉(zhuǎn)換函是中間層的轉(zhuǎn)換函數(shù)，常為數(shù)，常為S型函數(shù)，也可型函數(shù)，也可以是高斯型函數(shù)。當(dāng)以是高斯型函數(shù)。當(dāng)f()為為S函數(shù)時(shí)采用函數(shù)時(shí)采用BPBP算法訓(xùn)練算法訓(xùn)練權(quán)值；當(dāng)是高斯型函數(shù)時(shí)權(quán)值；當(dāng)是高斯型函數(shù)時(shí)采用采用RBFRBF網(wǎng)絡(luò)方法訓(xùn)練權(quán)網(wǎng)絡(luò)方法訓(xùn)練權(quán)值。值。1111()() ()mnnet tw tx t 11()()my tg nett 23( )( )( )( )incitu tx tw tww 1()( ) ( )ininet tw tt 11()()nnx tf n

4、et t 11( )() ()ininet tw tt ( )( )cnx th net t 3( )w t1(1)w t 2( )w tOutput yr12n1n1m1承接層用白色表承接層用白色表示示輸出層用紫色表示輸出層用紫色表示隱含層用蘭色表示隱含層用蘭色表示21( )( )( )TkkkE wy wy w 學(xué)習(xí)指標(biāo)函數(shù)為：學(xué)習(xí)指標(biāo)函數(shù)為：( )kyw( )kyw為計(jì)算輸出為理想輸出oElman神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法采用BP算法n 判斷算法是否結(jié)束的誤差函數(shù)為： 其中 為期望輸出n Elman神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法流程圖21 ( )( )nkEy kd k( )d k9.2 Elman9.2 El

5、man神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法 9.2 Elman9.2 Elman神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法 nElmanElman神經(jīng)網(wǎng)絡(luò)的重要函數(shù)和基本功能神經(jīng)網(wǎng)絡(luò)的重要函數(shù)和基本功能 函函 數(shù)數(shù) 名名功功 能能newelm()newelm()生成一個生成一個ElmanElman神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)trains()trains()根據(jù)已設(shè)定的權(quán)值和閾值對網(wǎng)絡(luò)進(jìn)行根據(jù)已設(shè)定的權(quán)值和閾值對網(wǎng)絡(luò)進(jìn)行順序訓(xùn)練順序訓(xùn)練traingdx()traingdx()自適應(yīng)學(xué)習(xí)速率動量梯度下降反向傳自適應(yīng)學(xué)習(xí)速率動量梯度下降反向傳播訓(xùn)練函數(shù)播訓(xùn)練函數(shù)learngdm()learngdm()動量梯度下降權(quán)值和閾值學(xué)

6、習(xí)函數(shù)動量梯度下降權(quán)值和閾值學(xué)習(xí)函數(shù)9.3 Elman9.3 Elman網(wǎng)絡(luò)的網(wǎng)絡(luò)的MATLABMATLAB實(shí)現(xiàn)實(shí)現(xiàn) 空調(diào)系統(tǒng)逐時(shí)負(fù)荷的準(zhǔn)確預(yù)測是實(shí)現(xiàn)住宅和電網(wǎng)現(xiàn)代空調(diào)系統(tǒng)逐時(shí)負(fù)荷的準(zhǔn)確預(yù)測是實(shí)現(xiàn)住宅和電網(wǎng)現(xiàn)代控制前提之一?？照{(diào)負(fù)荷于多種因素成非線性關(guān)系，并且控制前提之一?？照{(diào)負(fù)荷于多種因素成非線性關(guān)系，并且是一種動態(tài)關(guān)系。不宜采用是一種動態(tài)關(guān)系。不宜采用BPBP、RBFRBF等靜態(tài)映射網(wǎng)絡(luò)。這等靜態(tài)映射網(wǎng)絡(luò)。這里嘗試采用里嘗試采用ElmenElmen網(wǎng)絡(luò)網(wǎng)絡(luò)n Elman網(wǎng)絡(luò)仿真實(shí)例網(wǎng)絡(luò)仿真實(shí)例9.3 Elman9.3 Elman網(wǎng)絡(luò)的網(wǎng)絡(luò)的MATLABMATLAB實(shí)現(xiàn)實(shí)現(xiàn) 9.3 Elma

7、n9.3 Elman網(wǎng)絡(luò)的網(wǎng)絡(luò)的MATLABMATLAB實(shí)現(xiàn)實(shí)現(xiàn) N個輸入M個輸出X1 X2 XNXN+1 XN+2 XN+MX2 X3 XN+1XN+2 XN+3 XN+M+1 XK XK+! XN+K+!XN+K XN+K+! XN+M+K+1 如果希望用過去的如果希望用過去的N(N1)N(N1)個時(shí)刻的值，即進(jìn)行個時(shí)刻的值，即進(jìn)行MM步預(yù)測，步預(yù)測，可可取取NN個相鄰的樣本為滑動窗，并將它們映射為個相鄰的樣本為滑動窗，并將它們映射為MM個預(yù)測值。于是個預(yù)測值。于是網(wǎng)絡(luò)具有網(wǎng)絡(luò)具有NN個輸入，個輸入，MM個輸出，中間層一般可以取在個輸出，中間層一般可以取在N+MN+M左右。左右。n Elm

8、an網(wǎng)絡(luò)仿真實(shí)例網(wǎng)絡(luò)仿真實(shí)例例例1 1 下表為某單位辦公室七天上午9點(diǎn)到12點(diǎn)的空調(diào)負(fù)荷數(shù)據(jù)，數(shù)據(jù)已經(jīng)做了歸一化處理，預(yù)測方法采用前6天的數(shù)據(jù)作為網(wǎng)絡(luò)的訓(xùn)練樣本，每3天的負(fù)荷作為輸入向量，第4天的負(fù)荷作為目標(biāo)向量，第七天的數(shù)據(jù)作為網(wǎng)絡(luò)的測試數(shù)據(jù)。 9.2 Elman9.2 Elman網(wǎng)絡(luò)的網(wǎng)絡(luò)的MATLABMATLAB實(shí)現(xiàn)實(shí)現(xiàn) 時(shí)間空調(diào)負(fù)荷數(shù)據(jù)（歸一化后）2009-7-10.4413 0.4707 0.6953 0.81332009-7-20.4379 0.4677 0.6981 0.80222009-7-30.4517 0.4725 0.7005 0.82012009-7-40.4557 0

9、.4790 0.7019 0.82112009-7-50.4601 0.4811 0.7101 0.82982009-7-60.4612 0.4845 0.7188 0.83122009-7-70.4615 0.4891 0.7201 0.8330例1 程序9.2 Elman9.2 Elman網(wǎng)絡(luò)的網(wǎng)絡(luò)的MATLABMATLAB實(shí)現(xiàn)實(shí)現(xiàn) %Elmen網(wǎng)絡(luò)的演示實(shí)例1%-%產(chǎn)生正弦信號t=1:20;p1=sin(1:20);p2=sin(1:20)*2;t1=ones(1,20);t2=ones(1,20)*2;figure(1);plot(t,p1,r,t,p2,b-);pause;%產(chǎn)生訓(xùn)練

10、樣本p和tp=p1 p2 p1 p2 p1 p2;tt=t1 t2 t1 t2 t1 t2;Pseq=con2seq(p);Tseq=con2seq(tt);R=1; %輸入元素的個數(shù)為1S2=1; %輸出元素的個數(shù)為1S1=10; %隱層元素的個數(shù)為10net=newelm(-2,2,S1,S2,tansig,purelin);%設(shè)定網(wǎng)絡(luò)訓(xùn)練次數(shù)net.trainParam.epochs=500;net=train(net,Pseq,Tseq);y=sim(net,Pseq);t5=1:120;figure(2);plot(t5,cat(2,y:),r-,t5,cat(2,Tseq:),b-

11、);%利用新的信號來測試網(wǎng)絡(luò)p3=sin(1:20)*1.9;t3=ones(1,20)*2;p4=sin(1:20)*0.8;t4=ones(1,20)*1;%產(chǎn)生測試樣本pg和tgpg=p3 p4 p3 p4 p3 p4;tg=t3 t4 t3 t4 t3 t4;pgseq=con2seq(pg);a=sim(net,pgseq);figure(3);plot(t5,cat(2,a:),r-,t5,tg,b-);例1 誤差曲線9.2 Elman9.2 Elman網(wǎng)絡(luò)的網(wǎng)絡(luò)的MATLABMATLAB實(shí)現(xiàn)實(shí)現(xiàn) 小結(jié)o 注意注意ElmanElman神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和模型形式；神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和模型形式；o ElmanElman神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法有兩種，取決