標準BP算法及改進的BP算法應用標準BP算法及改進的BP算法應用11.1標準的BP算法BP標準的BP算法是基于梯度下降法，通過計算目標函數(shù)對網(wǎng)絡權值和閾值的梯度進行修正。X(k+1)=X(k)-μΔF(X(K))X(K)為由網(wǎng)絡所有權值和閾值所形成的向量；

μ為學習速率；ΔF(X(K))為目標函數(shù)的梯度；1.1標準的BP算法BP標準的BP算法是基于梯度下降法，通2標準的BP算法雖然原理簡單，實現(xiàn)方便，但由于訓練過程中為一較小的常數(shù)，因而存在收斂速度慢和局部極小的問題。對于復雜問題，訓練過程需迭代幾千、幾萬次才能收斂到期望的精度。因此，標準的BP網(wǎng)絡在很大程度上表現(xiàn)出它的不實用性，特別是對實時性很強的系統(tǒng)。為此就有了各種改進算法。標準的BP算法雖然原理簡單，實現(xiàn)方便，但由于訓練過程中為一3標準BP網(wǎng)絡的應用

P=-1:0.1:1T=[-0.96-0.577-0.07290.3770.6410.660.4610.1336-0.201-0.434-0.5-0.393-0.16470.09880.30720.3960.34490.1816-0.0312-0.2183-0.3201];

[R,Q]=size(P);[S2,Q]=size(T);S1=5;[W1,B1]=rands(S1,R);[W2,B2]=rands(S2,S1);標準BP網(wǎng)絡的應用P=-1:0.1:14net=newcf(minmax(P),[5,1],{'tansig','purelin'},'traingd');net.trainParam.epochs=7000;net.performFcn='sse';net.trainParam.goal=0.02;[net,tr]=train(net,P,T);Y=sim(net,P);plot(P,T,P,Y,’o’)net=newcf(minmax(P),[5,1],5訓練1000次的結(jié)果訓練1000次的結(jié)果6訓練次3000次的結(jié)果訓練次3000次的結(jié)果7訓練7366次的結(jié)果訓練7366次的結(jié)果8訓練結(jié)束后的網(wǎng)絡誤差記錄訓練結(jié)束后的網(wǎng)絡誤差記錄91.2附加動量法附加動量法使網(wǎng)絡在修正權值時不僅考慮誤差在梯度上的作用，而且考慮在誤差曲面上變化趨勢的影響；X(K+1)=Mc(X(K)–X(K–1))–(1-Mc)μΔF(X(K))式中0<=Mc<=1為動量因子；附加動量法的實質(zhì)是將最后一次權值變化的影響通過一個動量因子來傳遞。1.2附加動量法附加動量法使網(wǎng)絡在修正權值時不僅考慮誤差在10當動量因子的取值為零時，權值的變化僅是根據(jù)梯度下降法產(chǎn)生的。當動量因子的取值為1時，新的權值變化為最后一次權值的變化，而依梯度法產(chǎn)生的變化部分則被忽略掉了。為此當增加了動量項后，促使權值的調(diào)節(jié)向著誤差曲面底部的平均方向變化?？稍谝欢ǔ潭壬辖鉀Q局部極小問題，但收斂速度仍然很慢。當動量因子的取值為零時，權值的變化僅是根據(jù)梯度下降法產(chǎn)生的。11附加動量法的應用P=-1:0.1:1T=[-0.96-0.577-0.07290.3770.6410.660.4610.1336-0.201-0.434-0.5-0.393-0.16470.09880.30720.3960.34490.1816-0.0312-0.2183-0.3201];

[R,Q]=size(P);[S2,Q]=size(T);S1=5;[W1,B1]=rands(S1,R);[W2,B2]=rands(S2,S1);附加動量法的應用P=-1:0.1:112net=newff(minmax(P),[5,1],{'tansig','purelin'},'traingdx');net.trainParam.epochs=700;net.trainParam.mc=0.95;net.trainParam.lr=0.05;net.performFcn='sse';net.trainParam.goal=0.02;[net,tr]=train(net,P,T);Y=sim(net,P);plot(P,T,P,Y,’o’)net=newff(minmax(P),[5,1],13采用動量法時的訓練誤差記錄采用動量法時的訓練誤差記錄141.3自適應學習率調(diào)整法在BP算法中，網(wǎng)絡權值的調(diào)整取決于學習速率和梯度。在標準BP算法中，學習速率是不變的。而在自適應學習率調(diào)整法中，通常學習速率的調(diào)整準則是：檢查權值的修正是否真正降低了誤差函數(shù)，如果確實如此，則說明所選的學習率小了，可對其增加一個量；若不是則說明產(chǎn)生了過調(diào)，那么就應減小學習速率的值。1.3自適應學習率調(diào)整法在BP算法中，網(wǎng)絡權值的調(diào)整取決于15X(k+1)=X(k)-μ(K)ΔF(X(K))通過調(diào)整學習率μ(K)，從而可得到比標準的BP算法更快的收斂速度。因此，將附加動量法和自適應學習率調(diào)整法兩種策略結(jié)合起來，既可有效地抑制網(wǎng)絡陷入局部極小，又有利于縮短學習時間。但上述兩種改進方法都是在標準梯度下降法基礎上發(fā)展起來的，它們只利用了目標函數(shù)對網(wǎng)絡權值和閾值的一階導數(shù)信息。因此，當用于較復雜的問題時，也還存在收斂速度不夠快的問題。X(k+1)=X(k)-μ(K)ΔF(X(K16自適應學習速率應用P=-1:0.1:1T=[-0.96-0.577-0.07290.3770.6410.660.4610.1336-0.201-0.434-0.5-0.393-0.16470.09880.30720.3960.34490.1816-0.0312-0.2183-0.3201];[R,Q]=size(P);[S2,Q]=size(T);S1=5;[W1,B1]=rands(S1,R);[W2,B2]=rands(S2,S1);自適應學習速率應用P=-1:0.1:117net=newff(minmax(P),[5,1],{'tansig','purelin'},'traingdx');net.trainParam.epochs=1000;net.trainParam.lr=0.05;net.trainParam.lr_inc=1.05;net.trainParam.lr_dec=0.7;net.performFcn='sse';net.trainParam.goal=0;[net,tr]=train(net,P,T);Y=sim(net,P);plot(P,T,P,Y,’o’)net=newff(minmax(P),[5,1],18標準BP算法及改進的BP算法應用概要課件19標準BP算法及改進的BP算法應用標準BP算法及改進的BP算法應用201.1標準的BP算法BP標準的BP算法是基于梯度下降法，通過計算目標函數(shù)對網(wǎng)絡權值和閾值的梯度進行修正。X(k+1)=X(k)-μΔF(X(K))X(K)為由網(wǎng)絡所有權值和閾值所形成的向量；

μ為學習速率；ΔF(X(K))為目標函數(shù)的梯度；1.1標準的BP算法BP標準的BP算法是基于梯度下降法，通21標準的BP算法雖然原理簡單，實現(xiàn)方便，但由于訓練過程中為一較小的常數(shù)，因而存在收斂速度慢和局部極小的問題。對于復雜問題，訓練過程需迭代幾千、幾萬次才能收斂到期望的精度。因此，標準的BP網(wǎng)絡在很大程度上表現(xiàn)出它的不實用性，特別是對實時性很強的系統(tǒng)。為此就有了各種改進算法。標準的BP算法雖然原理簡單，實現(xiàn)方便，但由于訓練過程中為一22標準BP網(wǎng)絡的應用

P=-1:0.1:1T=[-0.96-0.577-0.07290.3770.6410.660.4610.1336-0.201-0.434-0.5-0.393-0.16470.09880.30720.3960.34490.1816-0.0312-0.2183-0.3201];

[R,Q]=size(P);[S2,Q]=size(T);S1=5;[W1,B1]=rands(S1,R);[W2,B2]=rands(S2,S1);標準BP網(wǎng)絡的應用P=-1:0.1:123net=newcf(minmax(P),[5,1],{'tansig','purelin'},'traingd');net.trainParam.epochs=7000;net.performFcn='sse';net.trainParam.goal=0.02;[net,tr]=train(net,P,T);Y=sim(net,P);plot(P,T,P,Y,’o’)net=newcf(minmax(P),[5,1],24訓練1000次的結(jié)果訓練1000次的結(jié)果25訓練次3000次的結(jié)果訓練次3000次的結(jié)果26訓練7366次的結(jié)果訓練7366次的結(jié)果27訓練結(jié)束后的網(wǎng)絡誤差記錄訓練結(jié)束后的網(wǎng)絡誤差記錄281.2附加動量法附加動量法使網(wǎng)絡在修正權值時不僅考慮誤差在梯度上的作用，而且考慮在誤差曲面上變化趨勢的影響；X(K+1)=Mc(X(K)–X(K–1))–(1-Mc)μΔF(X(K))式中0<=Mc<=1為動量因子；附加動量法的實質(zhì)是將最后一次權值變化的影響通過一個動量因子來傳遞。1.2附加動量法附加動量法使網(wǎng)絡在修正權值時不僅考慮誤差在29當動量因子的取值為零時，權值的變化僅是根據(jù)梯度下降法產(chǎn)生的。當動量因子的取值為1時，新的權值變化為最后一次權值的變化，而依梯度法產(chǎn)生的變化部分則被忽略掉了。為此當增加了動量項后，促使權值的調(diào)節(jié)向著誤差曲面底部的平均方向變化。可在一定程度上解決局部極小問題，但收斂速度仍然很慢。當動量因子的取值為零時，權值的變化僅是根據(jù)梯度下降法產(chǎn)生的。30附加動量法的應用P=-1:0.1:1T=[-0.96-0.577-0.07290.3770.6410.660.4610.1336-0.201-0.434-0.5-0.393-0.16470.09880.30720.3960.34490.1816-0.0312-0.2183-0.3201];

[R,Q]=size(P);[S2,Q]=size(T);S1=5;[W1,B1]=rands(S1,R);[W2,B2]=rands(S2,S1);附加動量法的應用P=-1:0.1:131net=newff(minmax(P),[5,1],{'tansig','purelin'},'traingdx');net.trainParam.epochs=700;net.trainParam.mc=0.95;net.trainParam.lr=0.05;net.performFcn='sse';net.trainParam.goal=0.02;[net,tr]=train(net,P,T);Y=sim(net,P);plot(P,T,P,Y,’o’)net=newff(minmax(P),[5,1],32采用動量法時的訓練誤差記錄采用動量法時的訓練誤差記錄331.3自適應學習率調(diào)整法在BP算法中，網(wǎng)絡權值的調(diào)整取決于學習速率和梯度。在標準BP算法中，學習速率是不變的。而在自適應學習率調(diào)整法中，通常學習速率的調(diào)整準則是：檢查權值的修正是否真正降低了誤差函數(shù)，如果確實如此，則說明所選的學習率小了，可對其增加一個量；若不是則說明產(chǎn)生了過調(diào)，那么就應減小學習速率的值。1.3自適應學習率調(diào)整法在BP算法中，網(wǎng)絡權值的調(diào)整取決于34X(k+1)=X(k)-μ(K)ΔF(X(K))通過調(diào)整學習率μ(K)，從而可得到比標準的BP算法更快的收斂速度。因此，將附加動量法和自適應學習率調(diào)整法兩種策略結(jié)合起來，既可有效地抑制網(wǎng)絡陷入局部極小，又有利于縮短學習時間。但上述兩種改進方法都是在標準梯度下降法基礎上發(fā)展起來的，它們只利用了目標函數(shù)對網(wǎng)絡權值和閾值的一階導數(shù)信息。因此，當用于較復雜的問題時，也還存在收斂速度不夠快的問題。X(k+1)=X(k)-μ(K)ΔF(X(K35自適應學習速率應用P