第七講人工神經網絡模型

隨著人工神經網絡應用研究酌不斷深入，新的神經網絡模型不斷推出?，F(xiàn)有的神經網絡棋型已達近百種。在智能控制領域中，應用最多的是以下幾種基本模型和它們的改進型，即前向多層感知器(BP網絡)、HopfteN網絡，自組織神經網絡，動態(tài)遞歸網絡，聯(lián)想記憶網絡(BAM)等．神經網絡的基本理論主要涉及到穩(wěn)定性、學習算法、動態(tài)性能等幾個方面。神經網絡的特點：非線性分布處理學習并行和自適應適用于多變量系統(tǒng)神經網絡的研究內容1）神經元模型2）神經網絡結構3）神經網絡學習方法神經元模型神經網絡的模型分類根據生物神經系統(tǒng)的不同組織層次和抽象層次的模擬（四種）1）神經元層次模型2）組合式模型3）網絡層次模型4）神經系統(tǒng)層次模型根據神經元的連接方式

1）前饋網絡2）反饋網絡3）相互結合型網絡4）混合型網絡神經網絡的學習算法有導師學習無導師學習神經網絡的泛化能力泛化的含義在具有某一概率分布的樣本中，隨機地取一部分做為神經網絡的訓練樣本。首先對這組樣本進行神經網絡訓練最終得到神經網絡輸出的誤差e1，然后再由全體樣本中再隨機地拿出另一組輸入輸出數(shù)據對已經訓練好的神經網絡進行校對，這時記神經網絡的實際輸出和期望輸出之間的差為e2。那么定義|e1-e2|為這個神經網絡的泛化能力。

前向神經網絡模型單一人工神經元單層神經網絡結構多層神經網絡結構多層傳播網網絡的學習習算法性能指標網絡的輸出出第一層隱單單元的輸出出第r+1層隱單元輸輸出若r=L為輸出層若r≠L為隱含層BP算法的流程程訓練過程中中的問題權系數(shù)的初值值學習方式（（增量型和和累積型））激勵函數(shù)學習速率動態(tài)神經網網絡模型前向傳播網網絡－－靜靜態(tài)非線性性映射，缺缺乏豐富的的動力學行為反饋神經網網絡：1）系統(tǒng)有若若干個穩(wěn)定定狀態(tài)2）系統(tǒng)的穩(wěn)穩(wěn)定狀態(tài)可可以通過改改變連接單元的權值值而產生定義：神經網絡從從任一初始始態(tài)X(0)開始運動，，若存在某某一有限的的時刻ts，從ts以后神經網網絡的狀態(tài)態(tài)不再發(fā)生生變化，即即X(ts+△t)=X(ts)，△t>0，則稱網絡是是穩(wěn)定的。。處于穩(wěn)定定時刻的網網絡狀態(tài)叫叫穩(wěn)定狀態(tài)態(tài)，又稱定定點吸引子子。動態(tài)網絡模模型：節(jié)點點方程用微微分方程或或差分方程程靜態(tài)網絡模模型：節(jié)點點方程用非非線性代數(shù)數(shù)方程常用模型：：Hopfield網絡、多層層感知器網網絡、回歸歸神經網絡絡帶時滯的多多層感知器器網絡Hopfield神經網絡應用：聯(lián)想想記憶、優(yōu)優(yōu)化計算1、二值型的的Hopfield網絡例4－3假設一個3節(jié)點的離散散Hopfield神經網絡，，已知網絡絡權值與閾閾值如圖4－21a所示。計算算狀態(tài)轉移移關系及各各狀態(tài)能量量。初始狀態(tài)：：y1y2y3=000各節(jié)點興奮奮的條件及及狀態(tài)的轉轉移各狀態(tài)的能能量能量極小狀狀態(tài)－能量量井－記憶憶的樣本信信息產生方法：：合適的權權值（靜態(tài)態(tài)、動態(tài)））例4－5以圖4－22所示的3節(jié)點DHNN為例，要求求設計的能能量井為狀態(tài)y1y2y3=010和111。權值和閾閾值可在[-1,1]區(qū)間取值。。試確定網絡權權值和閾值值。解并不唯一一，而且會會產生不期期望的能量量井Hopfield網絡學習規(guī)規(guī)則Hebb學習規(guī)則的的訓練方法法N個神經元相相互連接，，每個神經經元的狀態(tài)態(tài)只能取0或1。學習中調節(jié)節(jié)ωij的原則：若i與j兩個神經元元同時處于于興奮，則則它們之間間的連接應應加強，即即對于一給定定的需要記記憶的樣本本向量[t1,….tN],如果tk的狀態(tài)值為＋＋1或－1，則其連接接權系數(shù)的的學習用““外積規(guī)則則”即其標量形式式為對單端情況況，即神經經元的活躍躍值為1或0時，權系數(shù)數(shù)的學習規(guī)則為