1、第六章 人工神經(jīng)元計(jì)算方法,一、引例 二、人工神經(jīng)網(wǎng)絡(luò)的生物學(xué)基礎(chǔ) 三、人工神經(jīng)網(wǎng)絡(luò)概述 四、反向傳播模型及其學(xué)習(xí)算法 五、應(yīng)用舉例,一、引例,1981年生物學(xué)家格若根（W Grogan）和維什（WWirth）發(fā)現(xiàn)了兩類蚊子(或飛蠓midges)他們測量了這兩類蚊子每個(gè)個(gè)體的翼長和觸角長，數(shù)據(jù)如下：,翼長 觸角長 類別 1.64 1.38 Af 1.82 1.38 Af 1.90 1.38 Af 1.70 1.40 Af 1.82 1.48 Af 1.82 1.54 Af 2.08 1.56 Af,翼長 觸角長 類別 1.78 1.14 Apf 1.96 1.18 Apf 1.86 1.20

2、Apf 1.72 1.24 Af 2.00 1.26 Apf 2.00 1.28 Apf 1.96 1.30 Apf 1.74 1.36 Af,問：如果抓到三只新的蚊子，它們的觸角長和翼長分別為(l.24,1.80); (l.28，1.84)；（1.40，2.04）問它們應(yīng)分別屬于哪一個(gè)種類？,解法一：,把翼長作縱坐標(biāo)，觸角長作橫坐標(biāo)；那么每個(gè)蚊子的翼長和觸角決定了坐標(biāo)平面的一個(gè)點(diǎn).其中 6個(gè)蚊子屬于 APf類；用黑點(diǎn)“”表示；9個(gè)蚊子屬 Af類；用小圓圈“?！北硎?得到的結(jié)果見圖1,圖1飛蠓的觸角長和翼長,一、引例,思路：作一直線將兩類飛蠓分開,例如；取A（1.44，2.10）和 B(1.1

3、0，1.16)，過A B兩點(diǎn)作一條直線： y 1.47x - 0.017 其中X表示觸角長；y表示翼長,分類規(guī)則：設(shè)一個(gè)蚊子的數(shù)據(jù)為（x, y） 如果y1.47x - 0.017，則判斷蚊子屬Apf類； 如果y1.47x - 0.017；則判斷蚊子屬Af類,一、引例,分類結(jié)果：(1.24，1.80)，(1.28，1.84)屬于Af類；(1.40，2.04）屬于 Apf類,圖2 分類直線圖,一、引例,缺陷：根據(jù)什么原則確定分類直線？,若取A=(1.46,2.10), B=(1.1,1.6)不變，則分類直線變?yōu)?y=1.39x+0.071,分類結(jié)果變?yōu)椋?(1.24,1.80)， (1.40,2.

4、04) 屬于Apf類； (1.28,1.84)屬于Af類,哪一分類直線才是正確的呢？,因此如何來確定這個(gè)判別直線是一個(gè)值得研究的問題一般地講，應(yīng)該充分利用已知的數(shù)據(jù)信息來確定判別直線,一、引例,再如，如下的情形已經(jīng)不能用分類直線的辦法：,新思路：將問題看作一個(gè)系統(tǒng)，飛蠓的數(shù)據(jù)作為輸入，飛蠓的類型作為輸出，研究輸入與輸出的關(guān)系。,一、引例,二、人工神經(jīng)網(wǎng)絡(luò)的生物學(xué)基礎(chǔ),人類大腦大約包含有1.41011個(gè)神經(jīng)元，每個(gè)神經(jīng)元與大約103105個(gè)其它神經(jīng)元相連接，構(gòu)成一個(gè)極為龐大而復(fù)雜的網(wǎng)絡(luò)，即生物神經(jīng)網(wǎng)絡(luò)。,二、人工神經(jīng)網(wǎng)絡(luò)的生物學(xué)基礎(chǔ),神經(jīng)生理學(xué)和神經(jīng)解剖學(xué)的研究結(jié)果表明，神經(jīng)元是腦組織的基本單元

5、，是神經(jīng)系統(tǒng)結(jié)構(gòu)與功能的單位。,二、人工神經(jīng)網(wǎng)絡(luò)的生物學(xué)基礎(chǔ),生物神經(jīng)元在結(jié)構(gòu)上由： 細(xì)胞體(Cell body) 樹突(Dendrite) 軸突(Axon) 突觸(Synapse) 四部分組成。用來完成神經(jīng)元間信息的接收、傳遞和處理。,二、人工神經(jīng)網(wǎng)絡(luò)的生物學(xué)基礎(chǔ),生物神經(jīng)元的信息處理機(jī)理,神經(jīng)元間信息的產(chǎn)生、傳遞和處理是一種電化學(xué)活動(dòng)。,信息的傳遞與接收,二、人工神經(jīng)網(wǎng)絡(luò)的生物學(xué)基礎(chǔ),信息的整合,空間整合：同一時(shí)刻產(chǎn)生的刺激所引起的膜電位變化，大致等于各單獨(dú)刺激引起的膜電位變化的代數(shù)和。,時(shí)間整合：各輸入脈沖抵達(dá)神經(jīng)元的時(shí)間先后不一樣?？偟耐挥|后膜電位為一段時(shí)間內(nèi)的累積。,二、人工神經(jīng)網(wǎng)絡(luò)

6、的生物學(xué)基礎(chǔ),信息輸入,信息傳播與處理,信息傳播與處理（整合）,信息傳播與處理結(jié)果：興奮與抑制,信息輸出,二、人工神經(jīng)網(wǎng)絡(luò)的生物學(xué)基礎(chǔ),突觸是神經(jīng)元之間相互連接的接口部分，即一個(gè)神經(jīng)元的神經(jīng)末梢與另一個(gè)神經(jīng)元的樹突相接觸的交界面，位于神經(jīng)元的神經(jīng)末梢尾端。突觸是軸突的終端。 神經(jīng)元的功能特性 （1）時(shí)空整合功能。 （2）神經(jīng)元的動(dòng)態(tài)極化性。 （3）興奮與抑制狀態(tài)。 （4）結(jié)構(gòu)的可塑性。 （5）脈沖與電位信號(hào)的轉(zhuǎn)換。 （6）突觸延期和不應(yīng)期。 （7）學(xué)習(xí)、遺忘和疲勞。,二、人工神經(jīng)網(wǎng)絡(luò)的生物學(xué)基礎(chǔ),生物神經(jīng)網(wǎng)絡(luò),由多個(gè)生物神經(jīng)元以確定方式和拓?fù)浣Y(jié)構(gòu)相互連接即形成生物神經(jīng)網(wǎng)絡(luò)。,生物神經(jīng)網(wǎng)絡(luò)的功能

7、不是單個(gè)神經(jīng)元信息處理功能的簡單疊加。,神經(jīng)元之間的突觸連接方式和連接強(qiáng)度不同并且具有可塑性，這使神經(jīng)網(wǎng)絡(luò)在宏觀呈現(xiàn)出千變?nèi)f化的復(fù)雜的信息處理能力。,人工神經(jīng)網(wǎng)絡(luò)是集腦科學(xué)、神經(jīng)心理學(xué)和信息科學(xué)等多學(xué)科的交叉研究領(lǐng)域，是近年來高科技領(lǐng)域的一個(gè)研究熱點(diǎn)。它的研究目標(biāo)是通過研究人腦的組成機(jī)理和思維方式，探索人類智能的奧秘，進(jìn)而通過模擬人腦的結(jié)構(gòu)和工作模式，使機(jī)器具有類似人類的智能。它已在模式識(shí)別、機(jī)器學(xué)習(xí)、專家系統(tǒng)等多個(gè)方面得到應(yīng)用，成為人工智能研究中的活躍領(lǐng)域。,三、人工神經(jīng)網(wǎng)絡(luò)概述,人工神經(jīng)元 模擬 生物神經(jīng)元,人工神經(jīng)網(wǎng)絡(luò) 模擬 生物神經(jīng)網(wǎng)絡(luò),人工神經(jīng)網(wǎng)絡(luò)研究的興起與發(fā)展,人工神經(jīng)網(wǎng)絡(luò)的研究

8、經(jīng)歷了不少的曲折，大體上可分為四個(gè)階段: 產(chǎn)生時(shí)期(20世紀(jì)50年代中期之前) 高潮時(shí)期(20世紀(jì)50年代中期到20世紀(jì)60年代末期) 低潮時(shí)期(20世紀(jì)60年代末到20世紀(jì)80年代初期) 蓬勃發(fā)展時(shí)期(20世紀(jì)80年代以后),神經(jīng)網(wǎng)絡(luò)的作用,（1）螞蟻群,一個(gè)螞蟻有50個(gè)神經(jīng)元，單獨(dú)的一個(gè)螞蟻不能做太多的事；甚至于不能很好活下去但是一窩螞蟻；設(shè)有 10萬個(gè)體，那么這個(gè)群體相當(dāng)于500萬個(gè)神經(jīng)元（當(dāng)然不是簡單相加，這里只為說明方便而言）；那么它們可以覓食、搬家、圍攻敵人等等,（2）網(wǎng)絡(luò)說話,人們把一本教科書用網(wǎng)絡(luò)把它讀出來（當(dāng)然需要通過光電，電聲的信號(hào)轉(zhuǎn)換）；開始網(wǎng)絡(luò)說的話像嬰兒學(xué)語那樣發(fā)出“

9、巴、巴、巴”的聲響；但經(jīng)過BP算法長時(shí)間的訓(xùn)練竟能正確讀出英語課本中 90的詞匯,從此用神經(jīng)網(wǎng)絡(luò)來識(shí)別語言和圖象形成一個(gè)新的熱潮。,神經(jīng)元的人工模型,人工神經(jīng)網(wǎng)絡(luò)的組成與結(jié)構(gòu) 人工神經(jīng)網(wǎng)絡(luò)的組成 人工神經(jīng)網(wǎng)絡(luò)（簡稱ANN）是由大量處理單元經(jīng)廣泛互連而組成的人工網(wǎng)絡(luò)，用來模擬腦神經(jīng)系統(tǒng)的結(jié)構(gòu)和功能。而這些處理單元我們把它稱作人工神經(jīng)元。 人工神經(jīng)網(wǎng)絡(luò)（ANN）可看成是以人工神經(jīng)元為節(jié)點(diǎn)，用有向加權(quán)弧連接起來的有向圖。在此有向圖中，人工神經(jīng)元就是對(duì)生物神經(jīng)元的模擬，而有向弧則是軸突突觸樹突對(duì)的模擬。有向弧的權(quán)值表示相互連接的兩個(gè)人工神經(jīng)元間相互作用的強(qiáng)弱。,神經(jīng)元的人工模型,人工神經(jīng)元的工作過程

10、對(duì)于某個(gè)處理單元（神經(jīng)元）來說，假設(shè)來自其他處理單元（神經(jīng)元）i的信息為Xi，它們與本處理單元的互相作用強(qiáng)度即連接權(quán)值為Wi, i=0,1,n-1, 。那么本處理單元（神經(jīng)元）的輸入為,而處理單元的輸出為,式中，xi為第i個(gè)元素的輸入，wi為第i個(gè)處理單元與本處理單元的互聯(lián)權(quán)重。f稱為激發(fā)函數(shù)或傳遞函數(shù)，它決定節(jié)點(diǎn)（神經(jīng)元）的輸出。,神經(jīng)元的人工模型,神經(jīng)元的傳遞函數(shù),(1)閾值型傳遞函數(shù),1 x0 f(x)= 0 x0,閾值型函數(shù)又稱階躍函數(shù)，它表示激活值和其輸出f( )之間的關(guān)系。閾值型函數(shù)為激發(fā)函數(shù)的神經(jīng)元是一種最簡單的人工神經(jīng)元。,神經(jīng)元的傳遞函數(shù),(2) S型傳遞函數(shù),S型函數(shù)是一個(gè)

11、有最大輸出值的非線性函數(shù)，其輸出值是在某個(gè)范圍內(nèi)連續(xù)取值的。以它為傳遞函數(shù)的神經(jīng)元也具有飽和特性。,神經(jīng)元的傳遞函數(shù),(3) 分段線性轉(zhuǎn)移函數(shù),0 x0 f(x)= cx 0 xxc 1 xc x,線性分段函數(shù)可以看作是一種最簡單的非線性函數(shù)，它的特點(diǎn)是將函數(shù)的值域限制在一定的范圍內(nèi)，其輸入、輸出之間在一定范圍內(nèi)滿足線性關(guān)系，一直延續(xù)到輸出為最大域值為止。但當(dāng)達(dá)到最大值后，輸出就不再增大。,(4) 概率型轉(zhuǎn)移函數(shù),溫度參數(shù),神經(jīng)元的傳遞函數(shù),人工神經(jīng)元信息處理單元,人工神經(jīng)元信息處理單元,信息輸入,人工神經(jīng)元信息處理單元,信息傳播與處理：加權(quán)求和,人工神經(jīng)元信息處理單元,信息傳播,人工神經(jīng)元信

12、息處理單元,信息傳播與處理：非線性,人工神經(jīng)元信息處理單元,信息輸出,人工神經(jīng)網(wǎng)絡(luò)的分類,按性能分：連續(xù)型和離散型網(wǎng)絡(luò)，或確定型和隨機(jī)型網(wǎng)絡(luò)。 按拓?fù)浣Y(jié)構(gòu)分：有反饋網(wǎng)絡(luò)和無反饋網(wǎng)絡(luò)。 按學(xué)習(xí)方法分：有教師的學(xué)習(xí)網(wǎng)絡(luò)和無教師的學(xué)習(xí)網(wǎng)絡(luò)。 按連接突觸性質(zhì)分：一階線性關(guān)聯(lián)網(wǎng)絡(luò)和高階非線性關(guān)聯(lián)網(wǎng)絡(luò)。,人工神經(jīng)網(wǎng)絡(luò)的基本特點(diǎn),（1）可處理非線性,（2）并行結(jié)構(gòu)對(duì)神經(jīng)網(wǎng)絡(luò)中的每一個(gè)神經(jīng)元來說；其運(yùn)算都是同樣的這樣的結(jié)構(gòu)最便于計(jì)算機(jī)并行處理,（3）具有學(xué)習(xí)和記憶能力一個(gè)神經(jīng)網(wǎng)絡(luò)可以通過訓(xùn)練學(xué)習(xí)判別事物；學(xué)習(xí)某一種規(guī)律或規(guī)則神經(jīng)網(wǎng)絡(luò)可以用于聯(lián)想記憶,（4）對(duì)數(shù)據(jù)的可容性大在神經(jīng)網(wǎng)絡(luò)中可以同時(shí)使用量化數(shù)據(jù)和質(zhì)量

13、數(shù)據(jù)（如好、中、差、及格、不及格等）,（5）神經(jīng)網(wǎng)絡(luò)可以用大規(guī)模集成電路來實(shí)現(xiàn)如美國用 256個(gè)神經(jīng)元組成的神經(jīng)網(wǎng)絡(luò)組成硬件用于識(shí)別手寫體的郵政編碼 (6) 容錯(cuò)特性。,網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)類型 層次型結(jié)構(gòu),單純層次型結(jié)構(gòu),人工神經(jīng)網(wǎng)絡(luò)模型,網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)類型 層次型結(jié)構(gòu),輸出層到輸入層有連接,人工神經(jīng)網(wǎng)絡(luò)模型,網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)類型 層次型結(jié)構(gòu),層內(nèi)有連接層次型結(jié)構(gòu),人工神經(jīng)網(wǎng)絡(luò)模型,網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)類型 互連型結(jié)構(gòu),全互連型結(jié)構(gòu),人工神經(jīng)網(wǎng)絡(luò)模型,網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)類型 互連型結(jié)構(gòu),局部互連型網(wǎng)絡(luò)結(jié)構(gòu),人工神經(jīng)網(wǎng)絡(luò)模型,網(wǎng)絡(luò)信息流向類型,前饋型網(wǎng)絡(luò),人工神經(jīng)網(wǎng)絡(luò)模型,網(wǎng)絡(luò)信息流向類型,反饋型網(wǎng)絡(luò),人工神經(jīng)網(wǎng)絡(luò)模型,

14、神經(jīng)網(wǎng)絡(luò)學(xué)習(xí),神經(jīng)網(wǎng)絡(luò)能夠通過對(duì)樣本的學(xué)習(xí)訓(xùn)練，不斷改變網(wǎng)絡(luò)的連接權(quán)值以及拓?fù)浣Y(jié)構(gòu)，以使網(wǎng)絡(luò)的輸出不斷地接近期望的輸出。這一過程稱為神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)或訓(xùn)練，其本質(zhì)是可變權(quán)值的動(dòng)態(tài)調(diào)整。,神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)類型：,神經(jīng)網(wǎng)絡(luò)學(xué)習(xí),有導(dǎo)師學(xué)習(xí)(有監(jiān)督學(xué)習(xí)),無導(dǎo)師學(xué)習(xí)(無監(jiān)督學(xué)習(xí)),死記式學(xué)習(xí),神經(jīng)網(wǎng)絡(luò)學(xué)習(xí),反向傳播模型及其網(wǎng)絡(luò)結(jié)構(gòu) 反向傳播模型也稱B-P模型，是一種用于前向多層的反向傳播學(xué)習(xí)算法。之所以稱它是一種學(xué)習(xí)方法，是因?yàn)橛盟梢詫?duì)組成前向多層網(wǎng)絡(luò)的各人工神經(jīng)元之間的連接權(quán)值進(jìn)行不斷的修改，從而使該前向多層網(wǎng)絡(luò)能夠?qū)⑤斎胨男畔⒆儞Q成所期望的輸出信息。之所以將其稱作為反向?qū)W習(xí)算法，是因?yàn)樵谛薷母魅?/p>

15、工神經(jīng)元的連接權(quán)值時(shí)，所依據(jù)的是該網(wǎng)絡(luò)的實(shí)際輸出與其期望的輸出之差，將這一差值反向一層一層的向回傳播，來決定連接權(quán)值的修改。,四、反向傳播模型及其學(xué)習(xí)算法,B-P算法的網(wǎng)絡(luò)結(jié)構(gòu)是一個(gè)前向多層網(wǎng)絡(luò)，如圖所示。,四、反向傳播模型及其學(xué)習(xí)算法,反向傳播網(wǎng)絡(luò)的學(xué)習(xí)算法 B-P算法的學(xué)習(xí)目的是對(duì)網(wǎng)絡(luò)的連接權(quán)值進(jìn)行調(diào)整，使得調(diào)整后的網(wǎng)絡(luò)對(duì)任一輸入都能得到所期望的輸出。 學(xué)習(xí)過程由正向傳播和反向傳播組成。 正向傳播用于對(duì)前向網(wǎng)絡(luò)進(jìn)行計(jì)算，即對(duì)某一輸入信息，經(jīng)過網(wǎng)絡(luò)計(jì)算后求出它的輸出結(jié)果。 反向傳播用于逐層傳遞誤差，修改神經(jīng)元間的連接權(quán)值，以使網(wǎng)絡(luò)對(duì)輸入信息經(jīng)過計(jì)算后所得到的輸出能達(dá)到期望的誤差要求。,四、反

16、向傳播模型及其學(xué)習(xí)算法,B-P算法的學(xué)習(xí)過程如下： （1）選擇一組訓(xùn)練樣例，每一個(gè)樣例由輸入信息和期望的輸出結(jié)果兩部分組成。 （2）從訓(xùn)練樣例集中取一樣例，把輸入信息輸入到網(wǎng)絡(luò)中。 （3）分別計(jì)算經(jīng)神經(jīng)元處理后的各層節(jié)點(diǎn)的輸出。 （4）計(jì)算網(wǎng)絡(luò)的實(shí)際輸出和期望輸出的誤差。 （5）從輸出層反向計(jì)算到第一個(gè)隱層，并按照某種能使誤差向減小方向發(fā)展的原則，調(diào)整網(wǎng)絡(luò)中各神經(jīng)元的連接權(quán)值。 （6）對(duì)訓(xùn)練樣例集中的每一個(gè)樣例重復(fù)（3）（5）的步驟，直到對(duì)整個(gè)訓(xùn)練樣例集的誤差達(dá)到要求時(shí)為止。,四、反向傳播模型及其學(xué)習(xí)算法,在以上的學(xué)習(xí)過程中，第（5）步是最重要的，如何確定一種調(diào)整連接權(quán)值的原則，使誤差沿著減小

17、的方向發(fā)展，是B-P學(xué)習(xí)算法必須解決的問題。,四、反向傳播模型及其學(xué)習(xí)算法,B-P算法的優(yōu)缺點(diǎn)： 優(yōu)點(diǎn)：理論基礎(chǔ)牢固，推導(dǎo)過程嚴(yán)謹(jǐn)，物理概念清晰，通用性好等。所以，它是目前用來訓(xùn)練前向多層網(wǎng)絡(luò)較好的算法。 缺點(diǎn)： （1）該學(xué)習(xí)算法的收斂速度慢；（2）網(wǎng)絡(luò)中隱節(jié)點(diǎn)個(gè)數(shù)的選取尚無理論上的指導(dǎo)；（3）從數(shù)學(xué)角度看，B-P算法是一種梯度最速下降法，這就可能出現(xiàn)局部極小的問題。當(dāng)出現(xiàn)局部極小時(shí)，從表面上看，誤差符合要求，但這時(shí)所得到的解并不一定是問題的真正解。所以B-P算法是不完備的。,四、反向傳播模型及其學(xué)習(xí)算法,簡單網(wǎng)絡(luò)的B-P算法,誤差反向傳播,誤差反向傳播是網(wǎng)絡(luò)學(xué)習(xí)時(shí)聯(lián)結(jié)權(quán)調(diào)整的計(jì)算過程，神經(jīng)元的誤差值和聯(lián)結(jié)權(quán)的修正量的計(jì)算從輸出層開始，通過網(wǎng)絡(luò)反向傳播到輸入層為止。,對(duì)于輸出層的神經(jīng)元j，其誤差為,tj神經(jīng)元的目標(biāo)值，aj為神經(jīng)元j的實(shí)際輸出值；f(x)為S形函數(shù)的導(dǎo)數(shù)，Sj為神經(jīng)元j之輸入的加權(quán)和。,對(duì)于隱層的神經(jīng)元j，其誤差為,誤差反向傳播,誤差反向傳播,聯(lián)結(jié)權(quán)可用神經(jīng)元的誤差