1、第二十八章,MATLAB優(yōu)化算法案例分析與應用,第28章 基于BP的數(shù)據(jù)分類,第二十八章,MATLAB優(yōu)化算法案例分析與應用,28.1 BP神經(jīng)網(wǎng)絡基本原理,人工神經(jīng)網(wǎng)絡（artificial neural network，ANN）是模仿生物神經(jīng)網(wǎng)絡功能的一種經(jīng)驗模型。生物神經(jīng)元受到傳入的刺激，其反應又從輸出端傳到相聯(lián)的其它神經(jīng)元，輸入和輸出之間的變換關系一般是非線性的。神經(jīng)網(wǎng)絡是由若干簡單（通常是自適應的）元件及其層次組織，以大規(guī)模并行連接方式構(gòu)造而成的網(wǎng)絡，按照生物神經(jīng)網(wǎng)絡類似的方式處理輸入的信息。模仿生物神經(jīng)網(wǎng)絡而建立的人工神經(jīng)網(wǎng)絡，對輸入信號有功能強大的反應和處理能力。,人腦大約由10

2、12個神經(jīng)元組成，神經(jīng)元互相連接成神經(jīng)網(wǎng)絡。神經(jīng)元是大腦處理信息的基本單元，以細胞體為主體，由許多向周圍延伸的不規(guī)則樹枝狀纖維構(gòu)成的神經(jīng)細胞，其形狀很像一棵枯樹的枝干。它主要由細胞體、樹突、軸突和突觸組成。如圖28.1所示。,第二十八章,MATLAB優(yōu)化算法案例分析與應用,28.1 BP神經(jīng)網(wǎng)絡基本原理,圖28-1 生物神經(jīng)元,第二十八章,MATLAB優(yōu)化算法案例分析與應用,28.1 BP神經(jīng)網(wǎng)絡基本原理,BP（Back Propagation）神經(jīng)網(wǎng)絡是一種神經(jīng)網(wǎng)絡學習算法。其由輸入層、中間層、輸出層組成的階層型神經(jīng)網(wǎng)絡，中間層可擴展為多層。相鄰層之間各神經(jīng)元進行全連接，而每層各神經(jīng)元之間無

3、連接，網(wǎng)絡按有教師示教的方式進行學習，當一對學習模式提供給網(wǎng)絡后，各神經(jīng)元獲得網(wǎng)絡的輸入響應產(chǎn)生連接權(quán)值（Weight）。然后按減小希望輸出與實際輸出誤差的方向，從輸出層經(jīng)各中間層逐層修正各連接權(quán)，回到輸入層。此過程反復交替進行，直至網(wǎng)絡的全局誤差趨向給定的極小值，即完成學習的過程。,第二十八章,MATLAB優(yōu)化算法案例分析與應用,28.2 BP神經(jīng)網(wǎng)絡算法步驟,BP算法是一種有監(jiān)督式的學習算法，其主要思想是：輸入學習樣本，使用反向傳播算法對網(wǎng)絡的權(quán)值和偏差進行反復的調(diào)整訓練，使輸出的向量與期望向量盡可能地接近，當網(wǎng)絡輸出層的誤差平方和小于指定的誤差時訓練完成，保存網(wǎng)絡的權(quán)值和偏差。 具體步驟

4、如下： （1）初始化，隨機給定各連接權(quán)及閥值； （2）由給定的輸入輸出模式對計算隱層、輸出層各單元輸出； （3）計算新的連接權(quán)及閥值； （4）選取下一個輸入模式對返回第2步反復訓練直到網(wǎng)絡設輸出誤差達到要求結(jié)束訓練。,第二十八章,MATLAB優(yōu)化算法案例分析與應用,28.2 BP神經(jīng)網(wǎng)絡算法步驟,傳統(tǒng)的BP算法，實質(zhì)上是把一組樣本輸入/輸出問題轉(zhuǎn)化為一個非線性優(yōu)化問題，并通過負梯度下降算法，利用迭代運算求解權(quán)值問題的一種學習方法，但其收斂速度慢且容易陷入局部極小，為此一般應用中常采用高斯消元法進行BP網(wǎng)絡的學習和訓練，即： 對給定的樣本模式對，隨機選定一組自由權(quán)，作為輸出層和隱含層之間固定權(quán)值

5、，通過傳遞函數(shù)計算隱層的實際輸出，再將輸出層與隱層間的權(quán)值作為待求量，直接將目標輸出作為等式的右邊建立方程組來求解。 具體步驟如下： （1）隨機給定隱層和輸入層間神經(jīng)元的初始權(quán)值。 （2）由給定的樣本輸入計算出隱層的實際輸出。 （3）計算輸出層與隱層間的權(quán)值。以輸出層的第r個神經(jīng)元為對象，由給定的輸出目標值作為等式的多項式值建立方程。 （4）重復第三步就可以求出輸出層m個神經(jīng)元的權(quán)值，以求的輸出層的權(quán)矩陣加上隨機固定的隱層與輸入層的權(quán)值就等于神經(jīng)網(wǎng)絡最后訓練的權(quán)矩陣。,第二十八章,MATLAB優(yōu)化算法案例分析與應用,28.3 BP網(wǎng)絡的語音信號識別,語音特征信號識別是語音識別研究領域中的一個重

6、要方面，一般采用模式匹配的原理解決。語音識別的運算過程為：首先，待識別語音轉(zhuǎn)化為電信號后輸入識別系統(tǒng)，經(jīng)過預處理后用數(shù)學方法提取語音特征信號，提取出的語音特征信號可以看成該段語音的模式。然后將該段語音模型同已知參考模式相比較，獲得最佳匹配的參考模式為該段語音的識.洲結(jié)果。語音識別流程如圖28-2所示。,圖28-2 語音識別流程圖,BP神經(jīng)網(wǎng)絡構(gòu).建根據(jù)系統(tǒng)輸人輸出數(shù)據(jù)特點確定BP神經(jīng)網(wǎng)絡的結(jié)構(gòu)，由丁語音特征輸入信號有24維，待分類的語音信號共有4類，所以BP神經(jīng)網(wǎng)絡的結(jié)構(gòu)為24-25-4，即輸人層有24個節(jié)點，隱含層有25個節(jié)點，輸出層有4個節(jié)點。,第二十八章,MATLAB優(yōu)化算法案例分析與應

7、用,28.3 BP網(wǎng)絡的語音信號識別,% 網(wǎng)絡預測輸出 x=inputn(:,i); % 隱含層輸出 for j=1:1:midnum I(j)=inputn(:,i)*w1(j,:)+b1(j); Iout(j)=1/(1+exp(-I(j); end % 輸出層輸出 yn=w2*Iout+b2; % 權(quán)值閥值修正 %計算誤差 e=output_train(:,i)-yn; E(ii)=E(ii)+sum(abs(e); %計算權(quán)值變化率 dw2=e*Iout; db2=e;,第二十八章,MATLAB優(yōu)化算法案例分析與應用,28.3 BP網(wǎng)絡的語音信號識別,圖28-3 預測信號,第二十八章,

8、MATLAB優(yōu)化算法案例分析與應用,28.3 BP網(wǎng)絡的語音信號識別,圖28-4 誤差信號,第二十八章,MATLAB優(yōu)化算法案例分析與應用,28.4 BP網(wǎng)絡的蝴蝶花分類預測,算法步驟： Step 1，初始化數(shù)據(jù)，設定各層節(jié)點數(shù)、學習效率等值； Step 2，輸入層FA輸入樣品，計算出隱層FB活動； b(ki)=logsig(a*V(:,ki)+Pi(ki) Step 3，計算出輸出層FC活動； c(kj)=logsig(b*W(:,kj)+Tau(kj) Step 4，網(wǎng)絡輸出和期望輸出相比較，計算出輸出層FC的錯誤； d=c.*(1-c).*(ck-c) Step 5，反傳，計算出隱層FB

9、的錯誤； e=b.*(1-b).*(d*W) Step 6，修改FC層和FB之間的權(quán)值wij； DeltaW(ki,kj)=Alpha*b(ki)*d(kj)+Gamma*DeltaWOld(ki,kj) W=W+DeltaW Step 7，修改FA層和FB之間的權(quán)值vhj； DeltaV(kh,ki)=Beta*a(kh)*e(ki) V=V+DeltaV Step 8，修改偏差。,第二十八章,MATLAB優(yōu)化算法案例分析與應用,28.4 BP網(wǎng)絡的蝴蝶花分類預測,% calculate the hidden nodes activation for ki=1:i b(ki)=logsig(

10、a*V(:,ki)+Pi(ki); end; % calculate the output nodes activation for kj=1:j c(kj)=logsig(b*W(:,kj)+Tau(kj); end; % calculate error in output Layer FC d=c.*(1-c).*(ck-c); % calculate error in hidden layer FB e=b.*(1-b).*(d*W); % adjust weights Wij between FB and FC for ki=1:i for kj=1:j DeltaW(ki,kj)=Alpha*b(ki)*d(kj)+Gamma*DeltaWOld(ki,kj); end end; W=W+DeltaW;,第二十八章,MATLAB優(yōu)化算法案例分析與應用,28.4 BP網(wǎng)絡的蝴蝶花分類預測,圖28-5 誤差圖,第二十八章,MATLAB優(yōu)化算法案例分析與應用,28.4 BP網(wǎng)絡的蝴蝶花分類預測,圖28-6 預測值和期望值,第二十八章,MATLAB優(yōu)