第十一章人工神經(jīng)網(wǎng)絡(luò)建模（ArtificialNeuronNets）

一、引例

1981年生物學(xué)家格若根（W．Grogan）和維什（W．Wirth）發(fā)覺了兩類蚊子(或飛蠓midges)．他們測量了這兩類蚊子每個個體翼長和觸角長，數(shù)據(jù)以下：翼長觸角長類別1.641.38Af1.821.38Af1.901.38Af1.701.40Af1.821.48Af1.821.54Af2.081.56Af翼長觸角長類別1.781.14Apf1.961.18Apf1.861.20Apf1.721.24Af2.001.26Apf2.001.28Apf1.961.30Apf1.741.36Af人工神經(jīng)網(wǎng)絡(luò)建模專家講座第1頁問：假如抓到三只新蚊子，它們觸角長和翼長分別為(l.24,1.80);

(l.28，1.84)；（1.40，2.04）．問它們應(yīng)分別屬于哪一個種類？

解法一：把翼長作縱坐標(biāo)，觸角長作橫坐標(biāo)；那么每個蚊子翼長和觸角決定了坐標(biāo)平面一個點.其中6個蚊子屬于APf類；用黑點“·”表示；9個蚊子屬Af類；用小圓圈“。”表示．得到結(jié)果見圖1人工神經(jīng)網(wǎng)絡(luò)建模專家講座第2頁圖1飛蠓觸角長和翼長

人工神經(jīng)網(wǎng)絡(luò)建模專家講座第3頁思緒：作一直線將兩類飛蠓分開

比如；取A＝（1.44，2.10）和B＝(1.10，1.16)，過AB兩點作一條直線：y＝1.47x-0.017，其中X表示觸角長；y表示翼長．

分類規(guī)則：設(shè)一個蚊子數(shù)據(jù)為（x,y）,假如y≥1.47x-0.017，則判斷蚊子屬Apf類；

假如y＜1.47x-0.017；則判斷蚊子屬Af類．

人工神經(jīng)網(wǎng)絡(luò)建模專家講座第4頁分類結(jié)果：(1.24，1.80)，(1.28，1.84)屬于Af類；(1.40，2.04）屬于Apf類．圖2分類直線圖

人工神經(jīng)網(wǎng)絡(luò)建模專家講座第5頁?缺點：依據(jù)什么標(biāo)準(zhǔn)確定分類直線？

若取A=(1.46,2.10),B=(1.1,1.6)不變，則分類直線變?yōu)閥=1.39x+0.071分類結(jié)果變?yōu)椋?1.24,1.80)，(1.40,2.04)屬于Apf類；(1.28,1.84)屬于Af類

哪一分類直線才是正確呢？

所以怎樣來確定這個判別直線是一個值得研究問題．普通地講，應(yīng)該充分利用已知數(shù)據(jù)信息來確定判別直線．人工神經(jīng)網(wǎng)絡(luò)建模專家講座第6頁再如，以下情形已經(jīng)不能用分類直線方法：

新思緒：將問題看作一個系統(tǒng)，飛蠓數(shù)據(jù)作為輸入，飛蠓類型作為輸出，研究輸入與輸出關(guān)系。人工神經(jīng)網(wǎng)絡(luò)建模專家講座第7頁二、神經(jīng)元與神經(jīng)網(wǎng)絡(luò)

大腦可視作為1000多億神經(jīng)元組成神經(jīng)網(wǎng)絡(luò)神經(jīng)元解剖圖圖3神經(jīng)元解剖圖人工神經(jīng)網(wǎng)絡(luò)建模專家講座第8頁神經(jīng)元信息傳遞和處理是一個電化學(xué)活動．樹突因為電化學(xué)作用接收外界刺激；經(jīng)過胞體內(nèi)活動表達為軸突電位，當(dāng)軸突電位到達一定值則形成神經(jīng)脈沖或動作電位；再經(jīng)過軸突末梢傳遞給其它神經(jīng)元．從控制論觀點來看；這一過程能夠看作一個多輸入單輸出非線性系統(tǒng)動態(tài)過程神經(jīng)網(wǎng)絡(luò)研究兩個方面從生理上、解剖學(xué)上進行研究從工程技術(shù)上、算法上進行研究人工神經(jīng)網(wǎng)絡(luò)建模專家講座第9頁三、人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuronNets,簡稱ANN）神經(jīng)元數(shù)學(xué)模型

圖4神經(jīng)元數(shù)學(xué)模型

人工神經(jīng)網(wǎng)絡(luò)建模專家講座第10頁其中x＝（x1，…xm）T輸入向量，y為輸出，wi是權(quán)系數(shù)；輸入與輸出含有以下關(guān)系：θ為閾值，f（X）是激發(fā)函數(shù)；它能夠是線性函數(shù)，也能夠是非線性函數(shù)．人工神經(jīng)網(wǎng)絡(luò)建模專家講座第11頁比如，若記

取激發(fā)函數(shù)為符號函數(shù)

人工神經(jīng)網(wǎng)絡(luò)建模專家講座第12頁則

S型激發(fā)函數(shù)：

人工神經(jīng)網(wǎng)絡(luò)建模專家講座第13頁或

注：若將閾值看作是一個權(quán)系數(shù)，-1是一個固定輸入，另有m-1個正常輸入，則（1）式也可表示為：

（1）‘

（1）‘

參數(shù)識別：假設(shè)函數(shù)形式已知，則能夠從已經(jīng)有輸入輸出數(shù)據(jù)確定出權(quán)系數(shù)及閾值。

人工神經(jīng)網(wǎng)絡(luò)建模專家講座第14頁2、神經(jīng)網(wǎng)絡(luò)數(shù)學(xué)模型

眾多神經(jīng)元之間組合形成神經(jīng)網(wǎng)絡(luò)，例以下列圖含有中間層（隱層）B-P網(wǎng)絡(luò)

圖5帶中間層B-P網(wǎng)絡(luò)

人工神經(jīng)網(wǎng)絡(luò)建模專家講座第15頁3、量變引發(fā)質(zhì)變------神經(jīng)網(wǎng)絡(luò)作用（1）螞蟻群

一個螞蟻有50個神經(jīng)元，單獨一個螞蟻不能做太多事；甚至于不能很好活下去．不過一窩螞蟻；設(shè)有10萬個體，那么這個群體相當(dāng)于500萬個神經(jīng)元（當(dāng)然不是簡單相加，這里只為說明方便而言）；那么它們能夠覓食、遷居、圍攻敵人等等．人工神經(jīng)網(wǎng)絡(luò)建模專家講座第16頁（2）網(wǎng)絡(luò)說話

人們把一本教科書用網(wǎng)絡(luò)把它讀出來（當(dāng)然需要經(jīng)過光電，電聲信號轉(zhuǎn)換）；開始網(wǎng)絡(luò)說話像嬰兒學(xué)語那樣發(fā)出“巴、巴、巴”聲響；但經(jīng)過B－P算法長時間訓(xùn)練竟能正確讀出英語書本中90％詞匯．從此用神經(jīng)網(wǎng)絡(luò)來識別語言和圖象形成一個新熱潮．人工神經(jīng)網(wǎng)絡(luò)建模專家講座第17頁4、人工神經(jīng)網(wǎng)絡(luò)基本特點

（1）可處理非線性

（2）并行結(jié)構(gòu)．對神經(jīng)網(wǎng)絡(luò)中每一個神經(jīng)元來說；其運算都是一樣．這么結(jié)構(gòu)最便于計算機并行處理．

（3）含有學(xué)習(xí)和記憶能力．一個神經(jīng)網(wǎng)絡(luò)能夠經(jīng)過訓(xùn)練學(xué)習(xí)判別事物；學(xué)習(xí)某一個規(guī)律或規(guī)則．神經(jīng)網(wǎng)絡(luò)能夠用于聯(lián)想記憶．人工神經(jīng)網(wǎng)絡(luò)建模專家講座第18頁（4）對數(shù)據(jù)可容性大．在神經(jīng)網(wǎng)絡(luò)中能夠同時使用量化數(shù)據(jù)和質(zhì)量數(shù)據(jù)（如好、中、差、及格、不及格等）．（5）神經(jīng)網(wǎng)絡(luò)能夠用大規(guī)模集成電路來實現(xiàn)．如美國用256個神經(jīng)元組成神經(jīng)網(wǎng)絡(luò)組成硬件用于識別手寫體郵政編碼．人工神經(jīng)網(wǎng)絡(luò)建模專家講座第19頁四、反向傳輸算法（B-P算法）

Backpropagationalgorithm算法目標(biāo)：依據(jù)實際輸入與輸出數(shù)據(jù)，計算模型參數(shù)（權(quán)系數(shù)）1．簡單網(wǎng)絡(luò)B-P算法

人工神經(jīng)網(wǎng)絡(luò)建模專家講座第20頁

圖6簡單網(wǎng)絡(luò)

人工神經(jīng)網(wǎng)絡(luò)建模專家講座第21頁假設(shè)有P個訓(xùn)練樣本，即有P個輸入輸出對（Ip,Tp）,p=1,…,P,

其中輸入向量為,目標(biāo)輸出向量為（實際上）

人工神經(jīng)網(wǎng)絡(luò)建模專家講座第22頁網(wǎng)絡(luò)輸出向量為

（理論上）

記wij為從輸入向量第j(j=1,…,m)個分量到輸出向量第i(i=1,…,n)個分量權(quán)重。通常理論值與實際值有一誤差，網(wǎng)絡(luò)學(xué)習(xí)則是指不停地把與比較，并依據(jù)極小標(biāo)準(zhǔn)修改參數(shù)wij，使誤差平方和達最?。海╬=1,…,P）

（2）

人工神經(jīng)網(wǎng)絡(luò)建模專家講座第23頁記Delta學(xué)習(xí)規(guī)則:

（4）

（3）

表示遞推一次修改量，則有稱為學(xué)習(xí)速率

人工神經(jīng)網(wǎng)絡(luò)建模專家講座第24頁ipm=-1,wim=(第i個神經(jīng)元閾值)（5）注：由（1）‘式，第i個神經(jīng)元輸出可表示為尤其當(dāng)f是線性函數(shù)時

（6）人工神經(jīng)網(wǎng)絡(luò)建模專家講座第25頁人工神經(jīng)網(wǎng)絡(luò)建模專家講座第26頁圖7多層前饋網(wǎng)絡(luò)

2．多層前饋網(wǎng)絡(luò)

人工神經(jīng)網(wǎng)絡(luò)建模專家講座第27頁假設(shè)：

（l）輸入層不計在層數(shù)之內(nèi)，它有N0個神經(jīng)元．設(shè)網(wǎng)絡(luò)共有L層；輸出層為第L層；第k層有Nk個神經(jīng)元．(2)設(shè)表示第k層第i神經(jīng)元所接收信息wk(i,j)表示從第k-1層第j個元到第k層第i個元權(quán)重，

表第k層第i個元輸出人工神經(jīng)網(wǎng)絡(luò)建模專家講座第28頁（3）設(shè)層與層間神經(jīng)元都有信息交換（不然，可設(shè)它們之間權(quán)重為零）；但同一層神經(jīng)元之間無信息傳輸．(4)設(shè)信息傳輸方向是從輸入層到輸出層方向；所以稱為前向網(wǎng)絡(luò)．沒有反向傳輸信息．（5）表示輸入第j個分量．人工神經(jīng)網(wǎng)絡(luò)建模專家講座第29頁在上述假定下網(wǎng)絡(luò)輸入輸出關(guān)系能夠表示為：（7）

其中表示第k層第i個元閾值.人工神經(jīng)網(wǎng)絡(luò)建模專家講座第30頁（9）定理2對于含有多個隱層前饋神經(jīng)網(wǎng)絡(luò)；設(shè)激發(fā)函數(shù)為S函數(shù)；且指標(biāo)函數(shù)取

（8）人工神經(jīng)網(wǎng)絡(luò)建模專家講座第31頁（10）則每個訓(xùn)練循環(huán)中按梯度下降時；其權(quán)重迭代公式為表示第-1層第個元對第層第個元輸入第次迭代時權(quán)重

人工神經(jīng)網(wǎng)絡(luò)建模專家講座第32頁其中

（12）（11）人工神經(jīng)網(wǎng)絡(luò)建模專家講座第33頁BP算法

Step1

選定學(xué)習(xí)數(shù)據(jù),p=1,…,P,隨機確定初始權(quán)矩陣W（0）Step2

用（10）式反向修正,直到用完全部學(xué)習(xí)數(shù)據(jù).用學(xué)習(xí)數(shù)據(jù)計算網(wǎng)絡(luò)輸出Step3

人工神經(jīng)網(wǎng)絡(luò)建模專家講座第34頁五．應(yīng)用之例：蚊子分類

已知兩類蚊子數(shù)據(jù)如表1：

人工神經(jīng)網(wǎng)絡(luò)建模專家講座第35頁翼長觸角長類別1.781.14Apf1.961.18Apf1.861.20Apf1.721.24Af2.001.26Apf2.001.28Apf1.961.30Apf1.741.36Af目標(biāo)值0.90.90.90.10.90.90.90.1

人工神經(jīng)網(wǎng)絡(luò)建模專家講座第36頁翼長觸角長類別1.641.38Af1.821.38Af1.901.38Af1.701.40Af1.821.48Af1.821.54Af2.081.56Af目標(biāo)t0.10.10.10.10.10.10.1

人工神經(jīng)網(wǎng)絡(luò)建模專家講座第37頁輸入數(shù)據(jù)有15個，即,p=1,…,15;j=1,2;對應(yīng)15個輸出。建模：（輸入層，中間層，輸出層，每層元素應(yīng)取多少個？）建立神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)建模專家講座第38頁要求目標(biāo)為：當(dāng)t(1)=0.9時表示屬于Apf類，t(2)=0.1表示屬于Af類。設(shè)兩個權(quán)重系數(shù)矩陣為：人工神經(jīng)網(wǎng)絡(luò)建模專家講座第39頁其中

（分析以下：

為第一層輸出，同時作為第二層輸入。為閾值

人工神經(jīng)網(wǎng)絡(luò)建模專家講座第40頁其中，

為閾值，

為激勵函數(shù)

若令

（閾值作為固定輸入神經(jīng)元對應(yīng)權(quán)系數(shù)）

則有：（作為一固定輸入）

人工神經(jīng)網(wǎng)絡(luò)建模專家講座第41頁取激勵函數(shù)為

人工神經(jīng)網(wǎng)絡(luò)建模專家講座第42頁則

=則

一樣，取

人工神經(jīng)網(wǎng)絡(luò)建模專家講座第43頁令p=0詳細算法以下：

（1）隨機給出兩個權(quán)矩陣初值；比如用MATLAB軟件時能夠用以下語句：

=rand(2,3);=rand(1,3);

(2)依據(jù)輸入數(shù)據(jù)利用公式算出網(wǎng)絡(luò)輸出

人工神經(jīng)網(wǎng)絡(luò)建模專家講座第44頁

取

=人工神經(jīng)網(wǎng)絡(luò)建模專家講座第45頁