BP神經(jīng)網(wǎng)絡原理

BP神經(jīng)網(wǎng)絡原理第1頁BP網(wǎng)絡模型處理信息基本原理是：輸入信號Xi經(jīng)過中間節(jié)點（隱層點）作用于輸出節(jié)點，經(jīng)過非線形變換，產(chǎn)生輸出信號Yk，網(wǎng)絡訓練每個樣本包含X輸入向量和期望輸出量t，網(wǎng)絡輸出值Y與期望輸出值t之間偏差，經(jīng)過調(diào)整輸入節(jié)點與隱層節(jié)點聯(lián)接強度取值和隱層節(jié)點與輸出節(jié)點之間聯(lián)接強度Tjk以及閾值，使誤差沿梯度方向下降，經(jīng)過重復學習訓練，確定與最小誤差相對應網(wǎng)絡參數(shù)（權值和閾值），訓練即告停頓。此時經(jīng)過訓練神經(jīng)網(wǎng)絡即能對類似樣本輸入信息，自行處理輸出誤差最小經(jīng)過非線形轉(zhuǎn)換信息。BP神經(jīng)網(wǎng)絡原理第2頁BP神經(jīng)網(wǎng)絡模型

BP網(wǎng)絡模型包含其輸入輸出模型、作用函數(shù)模型、誤差計算模型和自學習模型。（1）節(jié)點輸出模型隱節(jié)點輸出模型：Oj=f(∑Wij×Xi-qj)

(1)輸出節(jié)點輸出模型：Yk=f(∑Tjk×Oj-qk)(2)f-非線形作用函數(shù)；q-神經(jīng)單元閾值。

BP神經(jīng)網(wǎng)絡原理第3頁2作用函數(shù)模型作用函數(shù)是反應下層輸入對上層節(jié)點刺激脈沖強度函數(shù)又稱刺激函數(shù)，普通取為(0,1)內(nèi)連續(xù)取值Sigmoid函數(shù)：

f(x)=1/(1+e-x)

BP神經(jīng)網(wǎng)絡原理第4頁（3）誤差計算模型誤差計算模型是反應神經(jīng)網(wǎng)絡期望輸出與計算輸出之間誤差大小函數(shù)：

Ep=1/2×∑(tpi-Opi)2

tpi-i節(jié)點期望輸出值；Opi-i節(jié)點計算輸出值。（4）自學習模型神經(jīng)網(wǎng)絡學習過程，即連接下層節(jié)點和上層節(jié)點之間權重拒陣Wij設定和誤差修正過程。BP網(wǎng)絡有師學習方式-需要設定時望值和無師學習方式-只需輸入模式之分。自學習模型為

△Wij(n+1)=h×Фi×Oj+a×△Wij(n)h-學習因子；Фi-輸出節(jié)點i計算誤差；Oj-輸出節(jié)點j計算輸出；a-動量因子。BP神經(jīng)網(wǎng)絡原理第5頁BP網(wǎng)絡模型缺點分析及優(yōu)化策略

（1）學習因子h優(yōu)化采取變步長法依據(jù)輸出誤差大小自動調(diào)整學習因子，來降低迭代次數(shù)和加緊收斂速度。h=h+a×(Ep(n)-Ep(n-1))/Ep(n)a為調(diào)整步長，0~1之間取值（2）隱層節(jié)點數(shù)優(yōu)化隱節(jié)點數(shù)多少對網(wǎng)絡性能影響較大，當隱節(jié)點數(shù)太多時，會造成網(wǎng)絡學習時間過長，甚至不能收斂；而當隱節(jié)點數(shù)過小時，網(wǎng)絡容錯能力差。利用逐步回歸分析法并進行參數(shù)顯著性檢驗來動態(tài)刪除一些線形相關隱節(jié)點，節(jié)點刪除標準：當由該節(jié)點出發(fā)指向下一層節(jié)點全部權值和閾值均落于死區(qū)（通常取±0.1、±0.05等區(qū)間）之中，則該節(jié)點可刪除。最正確隱節(jié)點數(shù)L可參考下面公式計算：L=(m+n)1/2+c(7)m-輸入節(jié)點數(shù)；n-輸出節(jié)點數(shù)；c-介于1～10常數(shù)。BP神經(jīng)網(wǎng)絡原理第6頁（3）輸入和輸出神經(jīng)元確實定利用多元回歸分析法對神經(jīng)網(wǎng)絡輸入?yún)?shù)進行處理，刪除相關性強輸入?yún)?shù)，來降低輸入節(jié)點數(shù)。（4）算法優(yōu)化因為BP算法采取是剃度下降法，因而易陷于局部最小而且訓練時間較長。用基于生物免疫機制地既能全局搜索又能防止未成熟收斂免疫遺傳算法IGA取代傳統(tǒng)BP算法來克服此缺點。BP神經(jīng)網(wǎng)絡原理第7頁優(yōu)化BP神經(jīng)網(wǎng)絡在系統(tǒng)安全評價中應用

系統(tǒng)安全評價包含系統(tǒng)固有危險性評價、系統(tǒng)安全管理現(xiàn)實狀況評價和系統(tǒng)現(xiàn)實危險性評價三方面內(nèi)容。其中固有危險性評價指標有物質(zhì)火災爆炸危險性、工藝危險性、設備裝置危險性、環(huán)境危險性以及人不可靠性。

BP神經(jīng)網(wǎng)絡原理第8頁基于優(yōu)化BP神經(jīng)網(wǎng)絡系統(tǒng)安全評價模型

BP神經(jīng)網(wǎng)絡原理第9頁BP神經(jīng)網(wǎng)絡在系統(tǒng)安全評價中應用實現(xiàn)

(1)確定網(wǎng)絡拓撲結構，包含中間隱層層數(shù)，輸入層、輸出層和隱層節(jié)點數(shù)。(2)確定被評價系統(tǒng)指標體系包含特征參數(shù)和狀態(tài)參數(shù)

利用神經(jīng)網(wǎng)絡進行安全評價時，首先必須確定評價系統(tǒng)內(nèi)部組成和外部環(huán)境，確定能夠正確反應被評價對象安全狀態(tài)主要特征參數(shù)（輸入節(jié)點數(shù)，各節(jié)點實際含義及其表示形式等），以及這些參數(shù)下系統(tǒng)狀態(tài)（輸出節(jié)點數(shù)，各節(jié)點實際含義及其表示方式等）。(3)選擇學習樣本，供神經(jīng)網(wǎng)絡學習

選取多組對應系統(tǒng)不一樣狀態(tài)參數(shù)值時特征參數(shù)值作為學習樣本，供網(wǎng)絡系統(tǒng)學習。這些樣本應盡可能地反應各種安全狀態(tài)。其中對系統(tǒng)特征參數(shù)進行(-∞,∞)區(qū)間地預處理，對系統(tǒng)參數(shù)應進行(0,1)區(qū)間地預處理。神經(jīng)網(wǎng)絡學習過程即依據(jù)樣本確定網(wǎng)絡聯(lián)接權值和誤差重復修正過程。BP神經(jīng)網(wǎng)絡原理第10頁(4)確定作用函數(shù)，通常選擇非線形S型函數(shù)(5)建立系統(tǒng)安全評價知識庫

經(jīng)過網(wǎng)絡學習確認網(wǎng)絡結構包含：輸入、輸出和隱節(jié)點數(shù)以及反應其間關聯(lián)度網(wǎng)絡權值組合；即為含有推理機制被評價系統(tǒng)安全評價知識庫。(6)進行實際系統(tǒng)安全評價

經(jīng)過訓練神經(jīng)網(wǎng)絡將實際評價系統(tǒng)特征值轉(zhuǎn)換后輸入到已含有推理功效神經(jīng)網(wǎng)絡中，利用系統(tǒng)安全評價知識庫處理后得到評價實際系統(tǒng)安全狀態(tài)評價結果。實際系統(tǒng)評價結果又作為新學習樣本輸入神經(jīng)網(wǎng)絡，使系統(tǒng)安全評價知識庫深入充實。BP神經(jīng)網(wǎng)絡原理第11頁BP神經(jīng)網(wǎng)絡理論應用于系統(tǒng)安全評價中優(yōu)點

（1）利用神經(jīng)網(wǎng)絡并行結構和并行處理特征，經(jīng)過適當選擇評價項目，能克服安全評價片面性，能夠全方面評價系統(tǒng)安全情況和多因數(shù)共同作用下安全狀態(tài)。（2）利用神經(jīng)網(wǎng)絡知識存放和自適應特征，經(jīng)過適應補充學習樣本，能夠?qū)崿F(xiàn)歷史經(jīng)驗與新知識完滿結合，在發(fā)展過程中動態(tài)地評價系統(tǒng)安全狀態(tài)。（3）利用神經(jīng)網(wǎng)絡理論容錯特征，經(jīng)過選取適當作用函數(shù)和數(shù)據(jù)結構，能夠處理各種非數(shù)值性指標，實現(xiàn)對系統(tǒng)安全狀態(tài)含糊評價。BP神經(jīng)網(wǎng)絡原理第12頁BP神經(jīng)網(wǎng)絡收斂速度

閾值、學習率、隱層層數(shù)、隱層節(jié)點個數(shù)等對神經(jīng)網(wǎng)絡學習速度(收斂速度)都有較大影響。本文在BP網(wǎng)絡基礎上,研究討論了各個參數(shù)對收斂速度影響,以減小選取網(wǎng)絡結構和決定各參數(shù)值盲目性,到達提升收斂速度目標。(1)初始權值和閾值對收斂速度影響

初始權值和閾值要選得小一些。選擇隱層節(jié)點數(shù)標準是盡可能使網(wǎng)絡結構簡單,運算量小。從試驗數(shù)據(jù)分析可知:當節(jié)點數(shù)太少時,每個節(jié)點負擔過重,迭代而有選擇卻要迭代幾千次,或者更多,甚至不收斂。BP神經(jīng)網(wǎng)絡原理第13頁(2)學習率對收斂速度影響學習率設置對BP算法收斂性有很大影響。學習率過小,誤差波動小,但學習速度慢,往往因為訓練時間限制而得不到滿意解;學習率過大,學習速度加緊,會引發(fā)網(wǎng)絡出現(xiàn)擺動現(xiàn)象,造成不收斂危險。所以,選擇一個適當學習率是BP算法一個較關鍵問題。學習率主要作用是調(diào)整權值、閾值修正量.(3)隱層層數(shù)選擇對收斂速度影響經(jīng)過試驗發(fā)覺,用兩個隱層比用一個隱層收斂速度還要慢。(4)隱層節(jié)點數(shù)對收斂速度影響當前,對隱層節(jié)點數(shù)設定缺乏理論指導,不過試驗研究表明,隱含節(jié)點數(shù)增加會影響收斂速度。

BP神經(jīng)網(wǎng)絡原理第14頁BP神經(jīng)網(wǎng)絡設計步驟

BP網(wǎng)絡設計主要包含輸入層,隱層,輸出層及各層之間傳輸函數(shù)幾個方面。(1)網(wǎng)絡層數(shù)大多數(shù)通用神經(jīng)網(wǎng)絡都預先預定了網(wǎng)絡層數(shù),而BP網(wǎng)絡能夠包含不一樣隱層。對多層BP神經(jīng)網(wǎng)絡，隱層層數(shù)最少為1層或1層以上，每個隱層神經(jīng)元個數(shù)最少為1個或1個以上，不然與多層網(wǎng)絡命題矛盾而不成立。(2)輸入層節(jié)點數(shù)網(wǎng)絡輸入個數(shù)應等于應用問題輸入數(shù),MATLABBP網(wǎng)絡建立是經(jīng)過函數(shù)newff或newcf實現(xiàn).(3)網(wǎng)絡數(shù)據(jù)預處理預處理方法有歸一化處理、標準化處理和主成份分析。常采取是歸一化處理,即將輸入、輸出數(shù)據(jù)映射到[-1,1]范圍內(nèi),訓練結束后再反應射到原數(shù)據(jù)范圍。(4)輸出層節(jié)點數(shù)輸出層節(jié)點數(shù)取決于兩個方面,輸出數(shù)據(jù)類型和表示該類型所需要數(shù)據(jù)大小。BP神經(jīng)網(wǎng)絡原理第15頁5隱層節(jié)點數(shù)i.依據(jù)經(jīng)驗,能夠參考以下公式進行設計:

n=sqrp(ni+n0)+a或者n=sqrt(nl)

式中:n為隱層節(jié)點數(shù);ni為輸入節(jié)點數(shù);n0為輸出節(jié)點數(shù);a為1～10之間常數(shù)。

ii.改變n,用同一樣本集訓練,從中確定網(wǎng)絡誤差最小時對應隱層節(jié)點數(shù)。6傳輸函數(shù)

BP網(wǎng)絡中傳輸函數(shù)常采取S(sigmoid)型函數(shù).在一些特定情況下,還可能采取純線性(Pureline)

函數(shù).BP神經(jīng)網(wǎng)絡原理第16頁(7)訓練方法及其參數(shù)選擇net.trainParam.show=..；%顯示訓練結果間隔步數(shù)

net.trainParam.epochs＝..；％最大訓練步數(shù)

net.trainParam.goal＝..；%訓練目標誤差

net.trainParam.mu=..；%學習系數(shù)初始值，Marquardt調(diào)整參數(shù)

net.trainParam.mu_dec=..；%學習系數(shù)下降因子

net.trainParam.mu_inc=..；%學習系數(shù)上升因