1、1、第七屆神經(jīng)網(wǎng)絡(luò)、尚濤、電子信息工程學(xué)院Tel 2，2，主要內(nèi)容，人工神經(jīng)網(wǎng)絡(luò)介紹神經(jīng)網(wǎng)絡(luò)工具箱應(yīng)用實例，第1部分人工神經(jīng)網(wǎng)絡(luò)介紹控制特羅爾工具箱信號處理工具箱(Signal Processing toolbox ) “系統(tǒng)識別工具箱”“原始男低音特羅爾工具箱”“l(fā)ysis和同步工具箱定量種子文件回推理論工具箱”和“qft工具箱”兩種類型的工具“神經(jīng)網(wǎng)絡(luò)工具箱”(Neural Network toolbox )優(yōu)化工具箱(Optimisation toolbox )數(shù)據(jù)庫工具箱(daalbox) Matlab有30個工具包但是，使用它解決某種自動智能問題面臨著很大

2、的困難。 例如，一個人可以很容易地識別他人的臉孔，但是在電腦上很難實現(xiàn)。 大腦是由生物神經(jīng)元構(gòu)成的巨大網(wǎng)絡(luò)，它本質(zhì)上與計算機不同，是一個大規(guī)模的并行處理系統(tǒng)，具有學(xué)習(xí)、聯(lián)想記憶、綜合等能力，具有巧妙的信息處理方法。 人工神經(jīng)網(wǎng)絡(luò)來源于人腦實際神經(jīng)網(wǎng)絡(luò)的模擬，而神經(jīng)網(wǎng)絡(luò)的發(fā)展歷史、背景知識、人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Netwroks，簡稱ANN )是人腦系統(tǒng)的模擬實際上，它是由大量、功能比較簡單的形式的神經(jīng)元相互連接構(gòu)成的復(fù)雜的網(wǎng)絡(luò)系統(tǒng)，可以用來模擬大腦的許多基本功能和簡單的思維方法。 它雖然還不是大腦的完美模型，但可以通過學(xué)習(xí)獲得外部知識并保存在網(wǎng)絡(luò)中，從而解決計算機難

3、以處理的問題，尤其是語音和圖像的識別、理解、知識的處理、組合優(yōu)化校正運算和智能控制等一系列本質(zhì)上非校正性的問題。 2人工神經(jīng)網(wǎng)絡(luò)是什么？1943年，美國心理學(xué)家W.McCulloch和數(shù)學(xué)家W.Pitts提出了一個簡單的神經(jīng)元模型，即MP模型。 1958年，F(xiàn).Rosenblatt等人開發(fā)了探測器(Perceptron )。 3 .一些發(fā)展階段，第一次風(fēng)潮(40-60六十年代未)，1982年，美國物理學(xué)家J.J.Hopfield提出了Hopfield模型，它是互連的非線性動力學(xué)網(wǎng)絡(luò)他解決問題的方法是迭代計算的動態(tài)過程，這是符號邏輯處理方法低潮(70-80年代初)、第二次風(fēng)潮、1 .生物神經(jīng)元模

4、型、二、生物神經(jīng)元、生物神經(jīng)元模型是簡單的信號處理器。 樹突是神經(jīng)元的信號輸入通道，接收來自其他神經(jīng)元的信息。 軸索是神經(jīng)元的信號輸出通道。 信息的處理和傳遞主要發(fā)生在突觸附近。 神經(jīng)元細(xì)胞通過樹突接收脈沖信號，通過軸索傳遞到突觸前膜。 脈沖寬度超過一定的強度，即超過其閾值電位時，突觸前膜向突觸間隙釋放神經(jīng)傳遞的化學(xué)物質(zhì)(膽堿能系統(tǒng))，突觸后膜上的絡(luò)離子通道開放，發(fā)生絡(luò)離子流，突觸后膜上發(fā)生正或者負(fù)的電位，稱為突觸后電位。 2、生物神經(jīng)元模型的運行反應(yīng)歷程、突觸有興奮性突觸和抑制性突觸兩種。 前者產(chǎn)生正突觸后電位，后者產(chǎn)生負(fù)突觸后電位。 一個神經(jīng)元的各樹突和細(xì)胞通過突觸與許多其他神經(jīng)元相連。

5、這些個的突觸后電位的變化，當(dāng)這些個的突觸后電位的總和超過某個閻值時，這個神經(jīng)元就會被激活，就會產(chǎn)生脈沖，而且產(chǎn)生的脈沖數(shù)與這個電位的總和值的大小有關(guān)。脈沖沿著軸索傳遞到其他神經(jīng)元，實現(xiàn)了神經(jīng)元之間的信息傳遞。 連結(jié)權(quán)：加法手段：激勵函數(shù)(響應(yīng)函數(shù)) :三，人工神經(jīng)元模型，1 .人工神經(jīng)元模型的三要素，模型中輸入信號，輸出信號，神經(jīng)元的閾值。 該模型的數(shù)學(xué)表達式有：2 .人工神經(jīng)元模型的數(shù)學(xué)表達式1，3 .人工神經(jīng)元模型的數(shù)學(xué)表達式2，閾值函數(shù)：段線形函數(shù)： sigmoid函數(shù)：4 .激勵函數(shù)的形式，種子文件正向型網(wǎng)絡(luò)：種子文件反向型網(wǎng)絡(luò)： 4、各連接線上的權(quán)重通過學(xué)習(xí)來修正工作期間：固定連接線

6、，修正針織面料物態(tài)變化，達到一定的穩(wěn)定狀態(tài)，2、工作方式，有人民教師學(xué)習(xí)：外部有人民教師，對某一組輸入提供一定的輸出(標(biāo)準(zhǔn)解答)， 學(xué)習(xí)系統(tǒng)可以根據(jù)實際輸出和標(biāo)準(zhǔn)解答的差異來調(diào)整系統(tǒng)殘奧表的無人民教師學(xué)習(xí)：學(xué)習(xí)系統(tǒng)按照環(huán)境提供數(shù)據(jù)的某一統(tǒng)一修正規(guī)則來調(diào)節(jié)自己的殘奧表，加強學(xué)習(xí)：環(huán)境只是對系統(tǒng)的輸出結(jié)果給予評價信息(獎勵或矯正)，而系統(tǒng)則通過加強獲獎動作來改善自己的性能。 考察神經(jīng)元k在n個時刻的投入產(chǎn)出輸入：實際輸出：應(yīng)有的輸出：從誤差信號中建構(gòu)能量函數(shù)：其中e (.)求出期待算子求解最優(yōu)化問題：求出系統(tǒng)殘奧計：2.學(xué)習(xí)規(guī)則，通常把時刻n的瞬時值置換為j， 這就是說，解開最優(yōu)化問題是數(shù)值重復(fù)算

7、法(例如在梯度下降中的學(xué)習(xí)步驟，由神經(jīng)學(xué)家Hebb提倡的學(xué)習(xí)規(guī)則在一個連接的兩端的神經(jīng)元被激活(或者相同的抑制)時應(yīng)當(dāng)增強其連接的強度且相反地應(yīng)當(dāng)減弱。 在數(shù)學(xué)上，兩端的神經(jīng)元的狀態(tài)分別最常用的是、3. Hebb學(xué)習(xí)規(guī)則，其中，6、BP算法(后向傳播算法)相對于多層種子文件的前向型網(wǎng)絡(luò)，在網(wǎng)絡(luò)中流過2種信號； 施加輸入信號在輸出層產(chǎn)生實際的輸出信號之前進行前方傳播，作為輸入信號和權(quán)重的函數(shù)(2)誤差信號，根據(jù)網(wǎng)絡(luò)的實際的輸出和輸出的差導(dǎo)出用于多層種子文件前向型網(wǎng)絡(luò)學(xué)習(xí)的BP算法，接著關(guān)于樣本學(xué)習(xí)的情況，如右圖所示導(dǎo)出BP算法， 如果存在將對小區(qū)j的凈輸入求梯度的j-up針織面料的層是輸出層，則

8、此處稱為局部梯度，并且如果存在j-up針織面料的層是隱藏層，則權(quán)重校正量是第二子網(wǎng)工具箱、BP網(wǎng)絡(luò)、一.多層前向神經(jīng)net=newff (A ()，殘奧儀表說明，b是k維行向量，其要素是每個隱藏層節(jié)點數(shù)，trainfun是學(xué)習(xí)規(guī)則中采用的訓(xùn)練函數(shù)(一般訓(xùn)練函數(shù)如下表所示)。 c是k維字符串的行向量，各成分是對應(yīng)層的神經(jīng)元的激勵函數(shù)，一般的訓(xùn)練函數(shù)、MATLAB的激勵函數(shù)，其字符串分別是logsig、tansig、purelin、激勵函數(shù)，除了需要輸入a、b、c、trainfun以外、net、tr、Y1、E=train (net、x、y )、2 .網(wǎng)絡(luò)培訓(xùn)、網(wǎng)絡(luò)培訓(xùn)、培訓(xùn)關(guān)蕾絲花邊信息、培訓(xùn)后網(wǎng)

9、絡(luò)、網(wǎng)絡(luò)實際輸出、y是mM矩陣，即輸出數(shù)據(jù)矩陣。訓(xùn)練結(jié)束后，對新的輸入點數(shù)據(jù)X2調(diào)用sim函數(shù)并得到這些個的輸入點的輸出矩陣Y2 .數(shù)據(jù)泛化、Y2=sim(net，X2 )，對于在訓(xùn)練后的網(wǎng)絡(luò)上不是樣本定徑套的輸入計算相應(yīng)的輸出。 什么是數(shù)據(jù)泛化？ 3 .數(shù)據(jù)泛化，示例7-1從以下語句生成一系列數(shù)據(jù)x和y，并在神經(jīng)網(wǎng)絡(luò)上執(zhí)行數(shù)據(jù)擬合x=0:1:10，y=0. 12 * exp (-0.213 * x )0. 54 * exp (-0.17 * x ).* sin (-0.17 * x ) 可知(x，y )是曲線上的點。 x=0:1:10； y=0. 12 * exp (-0.213 * x )

10、0. 54 * exp (-0.17 * x ). * sin (1. 23 * x )。 net=newff(0、10、5、1、坦西格、坦西格)； net.trainParam.epochs=1000； 網(wǎng)絡(luò)=訓(xùn)練(網(wǎng)絡(luò)、x、y )； x0=0:1:10； 圖形(1) y1=sim (網(wǎng)絡(luò)，x0)； 基于plot(x、y、o、x0、y1、r )、nntool命令的神經(jīng)網(wǎng)絡(luò)格拉夫定快速交互如下：二、神經(jīng)網(wǎng)絡(luò)交互、第三部分應(yīng)用例、 實例1蟹蟲分類問題的神經(jīng)網(wǎng)絡(luò)方法(1989年MCM競技主題已測得的9只Af和6只Apf的數(shù)量如下： 9只Af觸角長：1. 241.361.381.381.401.48

11、1.541.56翅長：1. 77 6只Apf觸角長度：1.14 1.18 1.20 1.26 1.28 1.30翅長度：1.78 1.96 1.86 2.00 2.00 1.96，問題： (1)根據(jù)原始資料(稱為15對數(shù)據(jù)、學(xué)習(xí)樣本)制定一種方法并正確。 (2)根據(jù)建立的方法識別(1.24，1.80 )、(1.28，1.84 )、(1.40，2.04 )三個樣本，建立解法1 :二層前向神經(jīng)網(wǎng)絡(luò)。 X=輸入矩陣，x1對應(yīng)于觸角長度，x2對應(yīng)于翼長度。 在以上神經(jīng)網(wǎng)絡(luò)模型中，應(yīng)當(dāng)對應(yīng)于用于Y=輸出矩陣的Af的輸出對應(yīng)于Apf，而應(yīng)當(dāng)對應(yīng)于x=1. 241.361.381.381.40.41.481

12、.541.14.20.21.281.30； 1.721.741.641.821.901.701.821.821.081.781.961.862.001.96。 原始數(shù)據(jù)x=x-1.1； %數(shù)據(jù)標(biāo)準(zhǔn)化y=0000001111。 11111110000 0。 %所需的輸出net=newff (0，1； 01、5、2、坦西格、坦西格； 建構(gòu)%2層的前向神經(jīng)網(wǎng)絡(luò)%net.trainParam.goal=0.0000001； 設(shè)定%訓(xùn)練誤差net.trainParam.epochs=2000。 %最大訓(xùn)練步驟數(shù)net=train(net，x，y )； %培訓(xùn)網(wǎng)絡(luò)y1=sim(net，x) %輸出數(shù)據(jù)y=sim (net，1.24 1.28 1.40； 1.80 1.84 2.04) %數(shù)據(jù)泛化，解法2 :建立單層傳感器模型： X=輸入矩陣，x1對應(yīng)觸角長度，x2對應(yīng)翼長度。 在Y=輸出矩陣中，應(yīng)對應(yīng)于Af的輸出應(yīng)對應(yīng)于Apf，而以上神經(jīng)網(wǎng)絡(luò)模型的MATLAB計程儀項為x=1. 241.361.381.381.401.481.541.541.141.201.261.281.301.721 %數(shù)據(jù)標(biāo)準(zhǔn)化y=0000001111。 11111110000 0。 %所需的輸出net=newp(minmax(x )，2 )； 創(chuàng)建%單層雙節(jié)點傳感器型號%net.