1、神經(jīng)元模型Neuron Model： 多輸入，單輸出，帶偏置輸入:R維列向量1,TRppp權值:R維行向量111,Rwwwb閾值:標量求和單元11Riiinp wb傳遞函數(shù)f輸出()afbwp常用傳遞函數(shù)aWp-b1-1u閾值函數(shù)1(0)( )hardlim( )0(0)naf nnnMATLAB函數(shù): hardlim1(0)( )hardlim ( )1(0)naf ns nnMATLAB函數(shù): hardlims線性函數(shù)uPurelin Transfer Function ：( )af nnanMATLAB函數(shù): purelinSigmoid函數(shù)uSigmoid Function ：u特性：

2、 值域a(0,1) 非線性，單調(diào)性 無限次可微 |n|較小時可近似線性函數(shù) |n|較大時可近似閾值函數(shù)1( )1naf neMATLAB函數(shù): logsig(對數(shù)), tansig(正切)對數(shù)Sigmoid函數(shù)正切Sigmoid函數(shù)tanh( )nnnneeanee 前饋神經(jīng)網(wǎng)絡u前饋神經(jīng)網(wǎng)絡(feed forward NN)：各神經(jīng)元接受前級輸入，并輸出到下一級，無反饋，可用一有向無環(huán)圖表示。u前饋網(wǎng)絡通常分為不同的層(layer)，第i層的輸入只與第i-1層的輸出聯(lián)結(jié)。u可見層：輸入層(input layer)和輸出層(output layer)u隱藏層(hidden layer) ：中間

3、層BP網(wǎng)絡l 多層前饋網(wǎng)絡l 主要功能: 函數(shù)逼近, 模式識別, 信息分類l 傳遞函數(shù):隱層采用S形函數(shù),輸出層S形函數(shù)或線性函數(shù)BP網(wǎng)絡的生成newff函數(shù)newff用來生成一個BP網(wǎng)絡net=newff(PR,S1 S2.SN,TF1 TF2. TFN,BTF,BLF,PF)PR: 一個R2矩陣, 由R維輸入向量的每維最小值和最大值組成Si: 第i層的神經(jīng)元個數(shù)TFi: 第i層的傳遞函數(shù), 默認為tansigBTF: 訓練函數(shù), 默認為trainlmBLF: 學習函數(shù), 默認為learngdmPF: 性能函數(shù), 默認為msenet=newff(0,10;-1,2,5,1,tansig,pu

4、relin,trainlm); %生成一個兩層BP網(wǎng)絡,隱層和輸出層神經(jīng)的個數(shù)為5和1, 傳遞函數(shù)分別為tansig和purelin, 訓練函數(shù)為trainlm, 其他默認BP網(wǎng)絡的初始化 newff 函數(shù)在建立網(wǎng)絡對象的同時, 自動調(diào)用初始化函數(shù), 根據(jù)缺省的參數(shù)設置網(wǎng)絡的連接權值和閾值. 使用函數(shù)init可以對網(wǎng)絡進行自定義的初始化. 通過選擇初始化函數(shù), 可對各層連接權值和閾值分別進行不同的初始化.BP網(wǎng)絡的學習規(guī)則 權值和閾值的調(diào)節(jié)規(guī)則采用誤差反向傳播算法(back propagation). 反向傳播算法分二步進行，即正向傳播和反向傳播。 1正向傳播 輸入的樣本從輸入層經(jīng)過隱單元一層

5、一層進行處理，通過所有的隱層之后，則傳向輸出層；在逐層處理的過程中，每一層神經(jīng)元的狀態(tài)只對下一層神經(jīng)元的狀態(tài)產(chǎn)生影響。在輸出層把現(xiàn)行輸出和期望輸出進行比較，如果現(xiàn)行輸出不等于期望輸出，則進入反向傳播過程。2反向傳播 反向傳播時，把誤差信號按原來正向傳播的通路反向傳回，并對每個隱層的各個神經(jīng)元的權系數(shù)進行修改，以望誤差信號趨向最小。BP算法實質(zhì)是求取誤差函數(shù)的最小值問題。這種算法采用非線性規(guī)劃中的最速下降方法，按誤差函數(shù)的負梯度方向修改權系數(shù)。BP網(wǎng)絡的快速學習算法與選擇學習算法適用問題類型收斂性能占用存儲空間其他特點trainlm函數(shù)擬合收斂快,誤差小大性能隨網(wǎng)絡規(guī)模增大而變差trainrp模

6、式分類收斂最快較小性能隨網(wǎng)絡訓練誤差減小而變差trainscg函數(shù)擬合模式分類收斂較快性能穩(wěn)定中等尤其適用于網(wǎng)絡規(guī)模較大的情況trainbfg函數(shù)擬合收斂較快較大計算量歲網(wǎng)絡規(guī)模的增大呈幾何增長traingdx模式分類收斂較慢較小適用于提前停止的方法 MATLAB神經(jīng)網(wǎng)絡工具箱對常規(guī)BP算法進行改進,提供了一系列快速算法,以滿足不同問題的需要BP網(wǎng)絡的訓練 利用已知的”輸入目標”樣本向量數(shù)據(jù)對網(wǎng)絡進行訓練,采用train 函數(shù)來完成. 訓練之前, 對訓練參數(shù)進行設置 訓練參數(shù) 參數(shù)含義 默認值net.trainParam.epochs訓練步數(shù)100net.trainParam.show顯示訓練

7、結(jié)果的間隔步數(shù)25net.trainParam.goal訓練目標誤差0net.trainParam.time訓練允許時間INfnet.trainParam.lr學習率0.01net = train(net, P, T)BP網(wǎng)絡的設計(1)網(wǎng)絡層數(shù) 已經(jīng)證明,單隱層的BP網(wǎng)絡可以實現(xiàn)任意非線性映射. BP網(wǎng)絡的隱層數(shù)一般不超過兩層.輸入層的節(jié)點數(shù) 輸入層接收外部的輸入數(shù)據(jù), 節(jié)點數(shù)取決于輸入向量的維數(shù)輸出層的節(jié)點數(shù) 輸出層的節(jié)點數(shù)取決于輸出數(shù)據(jù)類型和該類型所需的數(shù)據(jù)大小.對于模式分類問題,節(jié)點數(shù)為2log mBP網(wǎng)絡的設計(2)隱層的節(jié)點數(shù) 隱層的節(jié)點數(shù)與求解問題的要求,輸入輸出單元數(shù)多少有關.

8、 對于模式識別/分類的節(jié)點數(shù)可按下列公式設計傳遞函數(shù) 隱層傳遞函數(shù)采用S型函數(shù), 輸出層采用S型函數(shù)或線性函數(shù)訓練方法及其參數(shù)選擇 針對不同應用, BP網(wǎng)絡提供了多種訓練學習方法.0innnan其中為隱層節(jié)點數(shù),in為輸入節(jié)點數(shù),a為110之間的整數(shù)BP網(wǎng)絡設計實例采用動量梯度下降算法訓練BP網(wǎng)絡. 訓練樣本%定義訓練樣本p=-1 -1 3 1;-1 1 5 -3; t=-1 -1 1 1;%創(chuàng)建一個新的BP網(wǎng)絡net=newff(minmax(p),3 1,tansig,purelin,traingdm);%設置訓練參數(shù)net.trainParam.epochs=1000;net.train

9、Param.goal=0.001;net.trainParam.show=50;net.trainParam.lr=0.05;net.trainParam.mc=0.9;%動量因子，缺省為0.9net=train(net,p,t); % 訓練網(wǎng)絡A=sim(net,p) %網(wǎng)絡仿真目標線訓練誤差變化曲線訓練誤差變化曲線（每次不同）實驗2: BP網(wǎng)絡用于曲線擬合 要求設計一個簡單的BP網(wǎng)絡，實現(xiàn)對非線性函數(shù)的逼近。通過改變該函數(shù)的參數(shù)以及BP網(wǎng)絡隱層神經(jīng)元的數(shù)目，來觀察訓練時間以及訓練誤差的變化情況。Step1: 將要逼近的非線性函數(shù)設為正弦函數(shù)k = 1; p = -1:.05:1;t = s

10、in(k*pi*p);plot(p,t,-)title(要逼近的非線性函數(shù));xlabel(時間);ylabel(非線性函數(shù)); Step 2: 網(wǎng)絡建立應用函數(shù)newff()建立BP網(wǎng)絡結(jié)構，為二層BP網(wǎng)絡。隱層神經(jīng)元數(shù)目n可以改變，暫設為10，輸出層有一個神經(jīng)元。選擇隱層和輸出層神經(jīng)元傳遞函數(shù)分別為tansig函數(shù)和purelin函數(shù)，網(wǎng)絡訓練算法采用trainlmn = 10;net = newff(minmax(p), n,1, tansig purelin, trainlm);% 對于該初始網(wǎng)絡，可以應用sim()函數(shù)觀察網(wǎng)絡輸出y1 = sim(net,p);% 同時繪制網(wǎng)絡輸出曲

11、線，并與原函數(shù)相比較figure;plot(p,t,-,p,y1,-)title(未訓練網(wǎng)絡的輸出結(jié)果);xlabel(時間);ylabel(仿真輸出 原函數(shù) );因為使用newff()函數(shù)建立網(wǎng)絡時，權值和閾值的初始化是隨機的，所以網(wǎng)絡輸出的結(jié)果很差，根本達不到函數(shù)逼近的目的，并且每次運行結(jié)果也有所不同。 Step 3: 網(wǎng)絡訓練 應用函數(shù)train()對網(wǎng)絡進行訓練之前，要先設置訓練參數(shù)。將訓練時間設置為50，精度設置為0.01，其余用缺省值。 訓練后得到的誤差變化過程如圖：net.trainParam.epochs = 50;net.trainParam.goal = 0.01;net

12、= train(net,p,t);Stet 4: 網(wǎng)絡測試對于訓練好的網(wǎng)絡進行仿真并繪制網(wǎng)絡輸出曲線，與原始非線性函數(shù)曲線以及未訓練網(wǎng)絡的輸出結(jié)果曲線相比較y2 = sim(net,p);figure;plot(p,t,-,p,y1,-,p,y2,-.)title(訓練后網(wǎng)絡的輸出結(jié)果);xlabel(時間);ylabel(仿真輸出);從圖中可以看出，得到的曲線和原始的非線性函數(shù)曲線很接近。這說明經(jīng)過訓練后，BP網(wǎng)絡對非線性函數(shù)的逼近效果相當好。線性函數(shù)uPurelin Transfer Function ：( )af nnanMATLAB函數(shù): purelinBP網(wǎng)絡l 多層前饋網(wǎng)絡l 主要

13、功能: 函數(shù)逼近, 模式識別, 信息分類l 傳遞函數(shù):隱層采用S形函數(shù),輸出層S形函數(shù)或線性函數(shù)BP網(wǎng)絡的設計(2)隱層的節(jié)點數(shù) 隱層的節(jié)點數(shù)與求解問題的要求,輸入輸出單元數(shù)多少有關. 對于模式識別/分類的節(jié)點數(shù)可按下列公式設計傳遞函數(shù) 隱層傳遞函數(shù)采用S型函數(shù), 輸出層采用S型函數(shù)或線性函數(shù)訓練方法及其參數(shù)選擇 針對不同應用, BP網(wǎng)絡提供了多種訓練學習方法.0innnan其中為隱層節(jié)點數(shù),in為輸入節(jié)點數(shù),a為110之間的整數(shù)BP網(wǎng)絡設計實例采用動量梯度下降算法訓練BP網(wǎng)絡. 訓練樣本%定義訓練樣本p=-1 -1 3 1;-1 1 5 -3; t=-1 -1 1 1;%創(chuàng)建一個新的BP網(wǎng)絡

14、net=newff(minmax(p),3 1,tansig,purelin,traingdm);%設置訓練參數(shù)net.trainParam.epochs=1000;net.trainParam.goal=0.001;net.trainParam.show=50;net.trainParam.lr=0.05;net.trainParam.mc=0.9;%動量因子，缺省為0.9net=train(net,p,t); % 訓練網(wǎng)絡A=sim(net,p) %網(wǎng)絡仿真BP網(wǎng)絡設計實例采用動量梯度下降算法訓練BP網(wǎng)絡. 訓練樣本%定義訓練樣本p=-1 -1 3 1;-1 1 5 -3; t=-1 -1 1 1;%創(chuàng)建一個新的BP網(wǎng)絡net=newff(minmax(p),3 1,tansig,purelin,traingdm);%設置訓練參數(shù)net.trainParam.epochs=1000;net.trainParam.goal=0.001;net.trainParam.show=50;net.trainParam.lr=0.05;net.trainParam.mc=0.9;%動量因子，缺省為0.9net=train(net,p,t); % 訓練網(wǎng)絡A=sim(net,p) %網(wǎng)絡仿真n = 10;net = newff(minmax(p), n,1