第2章BP神經(jīng)網(wǎng)絡

已經(jīng)發(fā)展了數(shù)十上百種神經(jīng)網(wǎng)絡模型，應用最廣泛的是誤差反向傳播算法(BackPropagationAlgorithm，簡稱BP算法)，相應的網(wǎng)絡稱為BP網(wǎng)絡。由多層處理單元組成，每層神經(jīng)元個數(shù)不同，通過樣本自學習建立網(wǎng)絡輸入變量和輸出變量之間的非線性映射關系。

§2-1BP神經(jīng)網(wǎng)絡基本原理

BP網(wǎng)絡一般由輸入層、隱層和輸出層組成，隱層可以為一層或多層，每層上的神經(jīng)元稱為節(jié)點或單元。

標準BP模型由3個神經(jīng)元層次組成，如圖2.1所示，輸入層有L個處理單元，中間的隱層有M個處理單元，輸出層有N個處理單元。標準BP模型由3個神經(jīng)元層次組成，如圖2.1所示，輸入層有L個處理單元，中間的隱層有M個處理單元，輸出層有N個處理單元。圖2.1三層BP神經(jīng)網(wǎng)絡BP網(wǎng)絡誤差反向傳播算法的基本思想

BP網(wǎng)絡按照感知器的工作原理進行信息處理：

(2-1)式中為t時刻輸出，為輸入向量的一個分量，為t時刻第i個輸入的加權，θ為閾值，為作用函數(shù)。

感知器的學習規(guī)則為

(2-2)式中η為學習率，d為期望輸出(又稱教師信號)，為感知器的輸出。感知器通過不斷調整權重，使得對一切樣本均保持不變時，學習過程就結束。BP網(wǎng)絡誤差反向傳播算法的基本思想是：根據(jù)輸出層內(nèi)各處理單元的正確輸出與實際輸出之間的誤差進行連接權系數(shù)的調整，使網(wǎng)絡的輸出盡可能接近期望的輸出，直到滿足事先給定的允許誤差，學習停止。由于隱層的存在，輸出層對產(chǎn)生誤差的學習必須通過各層連接權值的調整進行，因此，隱層要能對輸出層反傳過來的誤差進行學習，這是BP網(wǎng)絡的一個主要特征。

BP網(wǎng)絡的學習算法

考慮BP網(wǎng)絡中某神經(jīng)元j如圖1.2所示，它有m個輸入信號，每個輸入通過各自的權系數(shù)與神經(jīng)元j相聯(lián)系。第j神經(jīng)元的綜合輸入量為圖1.2神經(jīng)單元模型(2-3)式中稱為該神經(jīng)元的門檻值或閾值。為了統(tǒng)一表達式，可以令,將上式改寫成

(2-4)第j神經(jīng)元的輸出為(2-5)式中為神經(jīng)元j的傳遞函數(shù)或響應函數(shù)，是非線性可微非遞減函數(shù)，對各神經(jīng)元可取同一形式。傳遞函數(shù)通常有0-1型(2-6)雙曲正切型(2-8)

Sigmoid型(2-7)目前，用得較多的傳遞函數(shù)是Sigmoid型函數(shù)或稱為S型函數(shù)。BP網(wǎng)絡的自學習是通過若干個已知輸入和輸出的樣本，來調整權系數(shù)完成的。要求對樣本，網(wǎng)絡輸出和樣本期望輸出的差值平方和極小，即(2-9)

現(xiàn)在考慮圖2.2所示BP網(wǎng)絡，用序號1~3分別表示輸入層、隱層和輸出層，為統(tǒng)一符號，規(guī)定右上角標表示層的序號，對第p樣本，第層的神經(jīng)元j的輸入和輸出分別用和表示，而對應層的神經(jīng)元個數(shù)為，對圖2.2而言，。則網(wǎng)絡的正向運算為現(xiàn)在考慮圖2.2所示BP網(wǎng)絡，用序號1~3分別表示輸入層、隱層和輸出層，為統(tǒng)一符號，規(guī)定右上角標表示層的序號，對第p樣本，第層的神經(jīng)元j的輸入和輸出分別用和表示，而對應層的神經(jīng)元個數(shù)為，對圖2.2而言，。則網(wǎng)絡的正向運算為圖2.2三層BP神經(jīng)網(wǎng)絡輸入層(2-10)隱層或輸出層式中表示第層的神經(jīng)元與第層的神經(jīng)元之間的權系數(shù)。網(wǎng)絡第層的神經(jīng)元j的計算輸出和樣本期望輸出的差值記為(2-13)要對網(wǎng)絡的權系數(shù)不斷進行修正，使得小于事先給定的允許誤差，才能完成學習過程，訓練結束。對于第次學習過程，權系數(shù)修正量可借鑒不包含隱層的Delta學習算法(或學習算法)按下式進行調整(也參見式(2-2))

(2-14)式中η為修正因子，一般取小于1的常數(shù)，也可以在學習過程中根據(jù)需要而改變。

Delta學習算法的改進

由式(2-11)則式(2-17)可改寫為將上式與式(2-14)比較，可見兩者形式相同。(2-14)

而由式(2-12)有

對式(2-7)的S型函數(shù)，上式成為

將式(2-23)和式(2-24)代入式(2-21)得

將式(2-23)和式(2-26)代入式(2-21)并考慮式(2-15)得

式(2-16)和式(2-20)給出

需要指出的是，當選用0-1型和Sigmoid型傳遞函數(shù)時，網(wǎng)絡輸出的值域為(0,1)而雙曲正切型的值域為(-1,1)，對于超出此區(qū)間的樣本期望輸出，均需作歸一化處理。訓練好的BP網(wǎng)絡已經(jīng)建立了輸入變量與輸出變量之間的非線性映射關系，可用于結構損傷(裂紋)識別等反問題的求解。該法的特點是具有較好的魯棒性，對測量結果的微小誤差不很敏感。

BP網(wǎng)絡學習(迭代)運算步驟如下：事先確定隱層的層數(shù)及各隱層的神經(jīng)元個數(shù)

§2.2BP網(wǎng)絡計算框圖BP網(wǎng)絡計算框圖(流程圖)見圖2.3：

§2.3BP網(wǎng)絡的特點和存在的問題

(1)是一種非線性映射關系

是靜態(tài)系統(tǒng)而非動力學系統(tǒng)，故不涉及穩(wěn)定性問題。

(2)BP算法收斂速度很慢

主要由于多峰優(yōu)化問題，只找到局部最優(yōu)解，產(chǎn)生麻痹，如圖2.4。A全局最優(yōu)點B局部優(yōu)化點圖2.4多峰優(yōu)化問題尋優(yōu)過程示意圖

(3)對隱層的層數(shù)及各隱層的神經(jīng)元個數(shù)尚無理論上的推導

(4)對加入的新樣本，網(wǎng)絡需要重新學習

§2.4Kolmogorov定理Kolmogorov(連續(xù)函數(shù)表示)定理(1957年)：

§2.5算例1——NN.FOR駐值點由：

需要利用導師信息，給出網(wǎng)格點的值作信息，共7×7=49對數(shù)據(jù)點，見表2-1。x1位于-3～3之間，而x2位于-2～4之間。

表2-1神經(jīng)網(wǎng)絡訓練數(shù)據(jù)表x1x2f(X)x1x2f(X)x1x2f(X)x1x2f(X)-3-2120.5-24150242033-3-198.5-1-217.503102119-3080.5-1-17.50420229-3166.5-101.51-234.5233-3256.5-11-0.51-120.5241-3350.5-121.51010.53-2171.5-3448.5-137.5114.53-1137.5-2-239-1417.5122.530107.5-2-1250-220134.53181.5-20150-1101410.53259.5-2190042-2733341.5-2270122-1513427.5-239

程序NN.FOR使用說明：

數(shù)據(jù)值應在(0,1)之間，故應作歸一化處理：進行坐標平移及數(shù)據(jù)歸一化處理，分子—平移；分子/分母—歸一化。x1最小值為-3，x2最小值為-2，取值區(qū)間分別為3-(-3)=6和4-(-2)=6。規(guī)格化處理：

§2.6算例2考慮：1、移軸及歸一化和上下限改變的影響；2、隨機數(shù)起始點改變；