1、MATLAB神經(jīng)網(wǎng)絡工具箱中的神經(jīng)網(wǎng)絡模型,神經(jīng)網(wǎng)絡工具箱簡介,MATLAB 7對應的神經(jīng)網(wǎng)絡工具箱的版本為Version 4.0.3,它以神經(jīng)網(wǎng)絡理論為基礎,利用MATLAB腳本語言構造出典型神經(jīng)網(wǎng)絡的激活函數(shù),如線性、競爭性和飽和線性等激活函數(shù)，使設計者對所選定網(wǎng)絡輸出的計算變成對激活函數(shù)的調(diào)用。 還可根據(jù)各種典型的修正網(wǎng)絡權值規(guī)則，加上網(wǎng)絡的訓練過程，利用MATLAB編寫出各種網(wǎng)絡設計和訓練的子程序，用戶根據(jù)自己的需要去調(diào)用。,神經(jīng)網(wǎng)絡工具箱的主要應用,函數(shù)逼近和模型擬合 信息處理和預測 神經(jīng)網(wǎng)絡控制 故障診斷,應用神經(jīng)網(wǎng)絡工具箱求解問題的一般過程,確定信息表達方式 數(shù)據(jù)樣本已知 數(shù)據(jù)樣

2、本之間相互關系不確定 輸入/輸出模式為連續(xù)的或者離散的 輸入數(shù)據(jù)按照模式進行分類，模式可能會具有平移、旋轉(zhuǎn)或伸縮等變化形式 數(shù)據(jù)樣本的預處理 將數(shù)據(jù)樣本分為訓練樣本和測試樣本 確定網(wǎng)絡模型 選擇模型的類型和結(jié)構，也可對原網(wǎng)絡進行變形和擴充 網(wǎng)絡參數(shù)的選擇 確定輸入輸出神經(jīng)元數(shù)目 訓練模型的確定 選擇合理的訓練算法，確定合適的訓練步數(shù)，指定適當?shù)挠柧毮繕苏`差 網(wǎng)絡測試 選擇合適的測試樣本,人工神經(jīng)元的一般模型,神經(jīng)元模型及其簡化模型如圖所示，輸入向量 、權值矩陣 ，與閾值的加權和（內(nèi)積運算）送入累加器，形成凈輸入，即：,人工神經(jīng)元模型,圖中，xi(i1，2，n)為加于輸入端(突觸)上的輸入信號；

3、i為相應的突觸連接權系數(shù)，它是模擬突觸傳遞強度的個比例系數(shù), 表示突觸后信號的空間累加；表示神經(jīng)元的閾值，表示神經(jīng)元的響應函數(shù)。該模型的數(shù)學表達式為：,與生物神經(jīng)元的區(qū)別:,(1)生物神經(jīng)元傳遞的信息是脈沖，而上述模型傳遞的信息是模擬電壓。 (2)由于在上述模型中用一個等效的模擬電壓來模擬生物神經(jīng)元的脈沖密度，所以在模型中只有空間累加而沒有時間累加(可以認為時間累加已隱含在等效的模擬電壓之中)。 (3)上述模型未考慮時延、不應期和疲勞等。,響應函數(shù) 的基本作用：,1、控制輸入對輸出的激活作用； 2、對輸入、輸出進行函數(shù)轉(zhuǎn)換； 3、將可能無限域的輸入變換成指定的有限范圍內(nèi)的輸出。,根據(jù)響應函數(shù)的

4、不同，人工神經(jīng)元有以下幾種類型：,閾值單元,響應函數(shù)如圖a所示,線性單元,其響應函數(shù)如圖b所示,非線性單元,常用響應函數(shù)為S型(Sigmoid)函數(shù)，如圖c、d所示,Hardlim x=0 y=1;x=0 y=1; x1 y=1;x=0 Logsig:y=,人工神經(jīng)網(wǎng)絡的構成,單個神經(jīng)元的功能是很有限的，人工神經(jīng)網(wǎng)絡只有用許多神經(jīng)元按一定規(guī)則連接構成的神經(jīng)網(wǎng)絡才具有強大的功能。 神經(jīng)元的模型確定之后，一個神經(jīng)網(wǎng)絡的特性及能力主要取決于網(wǎng)絡的拓撲結(jié)構及學習方法。,人工神經(jīng)網(wǎng)絡連接的基本形式：,1前向網(wǎng)絡 網(wǎng)絡的結(jié)構如圖所示。網(wǎng)絡中的神經(jīng)元是分層排列的，每個神經(jīng)元只與前一層的神經(jīng)元相連接。最右一層

5、為輸出層，隱含層的層數(shù)可以是一層或多層。前向網(wǎng)絡在神經(jīng)網(wǎng)絡中應用很廣泛，例如，感知器就屬于這種類型。,2. 反饋前向網(wǎng)絡,網(wǎng)絡的本身是前向型的，與前一種不同的是從輸出到輸入有反饋回路。,內(nèi)層互連前饋網(wǎng)絡,通過層內(nèi)神經(jīng)元之間的相互連接，可以實現(xiàn)同一層神經(jīng)元之間橫向抑制或興奮的機制，從而限制層內(nèi)能同時動作的神經(jīng)數(shù)，或者把層內(nèi)神經(jīng)元分為若干組，讓每組作為一個整體來動作。一些自組織競爭型神經(jīng)網(wǎng)絡就屬于這種類型。,互連網(wǎng)絡,互連網(wǎng)絡有局部互連和全互連兩種。全互連網(wǎng)絡中的每個神經(jīng)元都與其他神經(jīng)元相連。局部互連是指互連只是局部的，有些神經(jīng)元之間沒有連接關系。Hopfield網(wǎng)絡和Boltzmann機屬于互連

6、網(wǎng)絡的類型。,神經(jīng)網(wǎng)絡的學習方式,有教師學習(監(jiān)督學習),(1)均方誤差mse(mean squared error),誤差信號的不同定義:,(2)平均絕對誤差mae (mean absolute error),(3)誤差平方和sse(sum squared error),無教師學習(無監(jiān)督學習),MATLAB工具箱中的神經(jīng)網(wǎng)絡結(jié)構,1.人工神經(jīng)元的一般模型 在,中，令,，,則,人工神經(jīng)元的一般模型,由此構成人工神經(jīng)元的一般模型，如下圖所示。,上式可寫成矩陣向量形式：a=f(Wp+b),由S個神經(jīng)元組成的單層網(wǎng)絡,MATLAB工具箱中的神經(jīng)網(wǎng)絡結(jié)構,多層網(wǎng)絡的簡化表示:,MATLAB神經(jīng)網(wǎng)絡工

7、具箱中的神經(jīng)網(wǎng)絡模型,基本概念: 標量:小寫字母,如a,b,c等; 列向量:小寫黑體字母,如a,b,c等,意為一列數(shù); 矩陣向量:大寫黑體字母,如A,B,C等,權值矩陣向量W(t),標量元素 ,i為行,j為列,t為時間或迭代函數(shù) 列向量 行向量,閾值向量b(t),標量元素 ,i為行,t為時間或迭代函數(shù),網(wǎng)絡層符號,加權和: ,m為第m個網(wǎng)絡層, 為第 個神經(jīng)元,n為加權和 網(wǎng)絡層輸出: , m為第m個網(wǎng)絡層, 為第 個神經(jīng)元,a為輸出 輸入層權值矩陣 ,網(wǎng)絡層權值矩陣 ,其中,上標k,l表示第l個網(wǎng)絡層到第k個網(wǎng)絡層的連接權值矩陣向量,例: 表示輸入向量的第R個輸入元素到輸入層的第 個神經(jīng)元的

8、連接權.,表示 表示,第i個網(wǎng)絡層的第 個神經(jīng)元的閾值,例:,n1為第一層神經(jīng)元的中間運算結(jié)果,即連接權向量與閾值向量的加權和,大小為,即,a1為第一層神經(jīng)元的輸出向量,大小為,神經(jīng)網(wǎng)絡的層數(shù)為神經(jīng)元網(wǎng)絡層的數(shù)目加1,即隱層數(shù)目加1.,多層神經(jīng)網(wǎng)絡結(jié)構,多層網(wǎng)絡簡化形式,圖中:,說明:,輸入層神經(jīng)元的個數(shù)決定IW的行數(shù),輸入向量元素的個數(shù)決定IW的列數(shù),即S1行R列.,4.公式和圖形中的變量符號在編程代碼中的表示方法,細胞矩陣:將多個矩陣向量作為細胞矩陣的”細胞”(Cell),細胞矩陣的各個元素值為對應細胞的大小和數(shù)值類型,訪問元素:m1=n1,1=,m2=n2,1=,n2,1(4)=5,變量

9、符號在MATLAB中的表示,(1)上標變量以細胞矩陣(Cell array)即大括號表示p1=1 (2)下標變量以圓括號表示,p1=p(1),例:,=,神經(jīng)網(wǎng)絡工具箱常用函數(shù)列表,重要的感知器神經(jīng)網(wǎng)絡函數(shù)： 初始化：initp 訓練：trainp 仿真：simup 學習規(guī)則：learnp,線性神經(jīng)網(wǎng)絡函數(shù),初始化：initlin 設計：solvelin 仿真：simulin 離線訓練：trainwh 在線自適應訓練：adaptwh 學習規(guī)則：learnwh,BP網(wǎng)絡函數(shù)：,initff：初始化不超過3層的前向網(wǎng)絡； simuff：仿真不超過3層的前向網(wǎng)絡； trainbp，trainbpx，t

10、rainlm：訓練BP trainbp：最慢； trainbpx：次之； trainlm：速度最快，但需要更多的存儲空間。 learnbp： 學習規(guī)則,自組織網(wǎng)絡,初始化：initsm 仿真： simuc 訓練： trainc：利用競爭規(guī)則訓練 trainsm：利用Kohonen規(guī)則訓練,反饋網(wǎng)絡（Hopfield網(wǎng)絡）,仿真：simuhop 設計：solvehop solvehop設計Hopfield網(wǎng)絡 solvelin設計線性網(wǎng)絡 rands產(chǎn)生對稱隨機數(shù) learnbp反向傳播學習規(guī)則 learnhHebb學習規(guī)則 learnp感知層學習規(guī)則 learnwhWidrowHoff學習規(guī)則 initlin線性層初始化 initp感知層初始化 initsm自組織映射初始化 plotsm繪制自組織映射圖 trainbp利用反向傳播訓練前向網(wǎng)絡 trainp利用感知規(guī)則訓練感知層 trainwh利用WidrowHoff規(guī)則訓練線性層 trainsm利用Kohonen規(guī)則訓練自組織映射,神經(jīng)網(wǎng)絡例子,創(chuàng)建線性神經(jīng)網(wǎng)絡層,net = newlin(1 3;1 3