1、優(yōu)秀精品課件文檔資料人工神經(jīng)網(wǎng)絡(luò)實(shí)際與運(yùn)用人工神經(jīng)網(wǎng)絡(luò)實(shí)際與運(yùn)用第七章第七章 神經(jīng)網(wǎng)絡(luò)根底知識(shí)神經(jīng)網(wǎng)絡(luò)根底知識(shí)神經(jīng)網(wǎng)絡(luò)根底知識(shí)神經(jīng)網(wǎng)絡(luò)根底知識(shí)7. 1 生物神經(jīng)元及人工神經(jīng)元的組成生物神經(jīng)元及人工神經(jīng)元的組成7. 2 人工神經(jīng)網(wǎng)絡(luò)的模型人工神經(jīng)網(wǎng)絡(luò)的模型 7 .2 .1 人工神經(jīng)元的模型人工神經(jīng)元的模型 7 .2 .2 常用的激活轉(zhuǎn)移函數(shù)常用的激活轉(zhuǎn)移函數(shù) 7 .2 .3 MP模型神經(jīng)元模型神經(jīng)元2.1 2.1 生物神經(jīng)元及人工神經(jīng)元的組成生物神經(jīng)元及人工神經(jīng)元的組成 神經(jīng)元也稱神經(jīng)細(xì)胞，它是生物神經(jīng)系統(tǒng)的神經(jīng)元也稱神經(jīng)細(xì)胞，它是生物神經(jīng)系統(tǒng)的最根本單元，它和人體中其他細(xì)胞的關(guān)鍵區(qū)別在最根本單

2、元，它和人體中其他細(xì)胞的關(guān)鍵區(qū)別在于具有產(chǎn)生、處置和傳送信號(hào)的功能。每個(gè)神經(jīng)于具有產(chǎn)生、處置和傳送信號(hào)的功能。每個(gè)神經(jīng)元都包括三個(gè)主要部分：細(xì)胞體、樹突和軸突，元都包括三個(gè)主要部分：細(xì)胞體、樹突和軸突，見圖見圖2.12.1a a。 (a) 簡單神經(jīng)元網(wǎng)絡(luò)圖 (b) 簡化后的網(wǎng)絡(luò)表示圖 (1) 細(xì)胞體；(2) 樹突；(3) 軸突；(4) 突觸圖7. 1 簡單神經(jīng)元網(wǎng)絡(luò)及其簡化構(gòu)造圖神經(jīng)元構(gòu)造與功能 細(xì)胞體由細(xì)胞核、細(xì)胞質(zhì)和細(xì)胞膜等組成，其直徑大約為0.5-100m，大小不等。細(xì)胞體是神經(jīng)元的主體，用于處置由樹突接受的其它神經(jīng)元傳來的信號(hào)； 軸突是由細(xì)胞體向外延伸出的一切纖維中最長的一條分枝，用來

3、向外傳送神經(jīng)元產(chǎn)生的輸出電信號(hào)。每個(gè)神經(jīng)元都有一條軸突，其最大長度可達(dá)1m以上。在軸突的末端構(gòu)成了許多很細(xì)的分枝，這些分支叫神經(jīng)末梢。每一條神經(jīng)末梢可以與其它神經(jīng)元形勝利能性接觸，該接觸部位稱為突觸。所謂功能性接觸，是指非永久性的接觸，這正是神經(jīng)元之間傳送信息的奧妙之處。神經(jīng)元構(gòu)造與功能 樹突是指由細(xì)胞體向外延伸的除軸突以外的其它一切分支。樹突的長度普通較短，但數(shù)量很多，它是神經(jīng)元的輸入端，用于接受從其它神經(jīng)元的突觸傳來的信號(hào)。 神經(jīng)元中的細(xì)胞體相當(dāng)于一個(gè)初等處置器，它對(duì)來自其它各個(gè)神經(jīng)元的信號(hào)進(jìn)展總體求和，并產(chǎn)生一個(gè)神經(jīng)輸出信號(hào)。 細(xì)胞膜內(nèi)外的電位之差被稱為膜電位。在無信號(hào)輸入時(shí)的膜電位稱為

4、靜止膜電位。當(dāng)一個(gè)神經(jīng)元的一切輸入總效應(yīng)到達(dá)某個(gè)閾值電位時(shí)，該細(xì)胞變?yōu)榛钚约?xì)胞。生物神經(jīng)元的功能與特征 (1)時(shí)空整合功能 神經(jīng)元對(duì)不同時(shí)間經(jīng)過同一突觸傳入的神經(jīng)激動(dòng)，具有時(shí)間整合功能。對(duì)于同一時(shí)間經(jīng)過不同突觸傳入的神經(jīng)激動(dòng)，具有空間整合功能。兩種功能相互結(jié)合，使生物神經(jīng)元對(duì)由突觸傳入的神經(jīng)激動(dòng)具有時(shí)空整合的功能。 (2)興奮與抑制形狀 神經(jīng)元具有興奮和抑制兩種常規(guī)的任務(wù)形狀。當(dāng)傳入激動(dòng)的時(shí)空整合結(jié)果使細(xì)胞膜電位升高，超越動(dòng)作電位的閾值時(shí)，細(xì)胞進(jìn)入興奮形狀，產(chǎn)生神經(jīng)激動(dòng)。相反，當(dāng)傳入激動(dòng)的時(shí)空整合結(jié)果使細(xì)胞膜電位低于動(dòng)作電位的閾值時(shí)，細(xì)胞進(jìn)入抑制形狀，無神經(jīng)激動(dòng)輸出。生物神經(jīng)元的功能與特征 (

5、3) 脈沖與電位轉(zhuǎn)換 突觸界面具有脈沖/電位信號(hào)轉(zhuǎn)化功能。沿神經(jīng)纖維傳送的信號(hào)為離散的電脈沖信號(hào)，而細(xì)胞膜電位的變化為延續(xù)的電位信號(hào)。這種在突觸接口處進(jìn)展的“數(shù)/模轉(zhuǎn)換，是經(jīng)過神經(jīng)介質(zhì)以量子化學(xué)方式實(shí)現(xiàn)的如下過程： 電脈沖-神經(jīng)化學(xué)物質(zhì)-膜電位 (4) 神經(jīng)纖維傳導(dǎo)速率 神經(jīng)激動(dòng)沿神經(jīng)纖維傳導(dǎo)的速度在1-150m/s之間。其速度差別與纖維的粗細(xì)、髓鞘的有無有關(guān)。普通來說，有髓鞘的纖維，其傳導(dǎo)速度在100m/s以上，無髓鞘的纖維，其傳導(dǎo)速度可低至每秒數(shù)米。 (5) 突觸延時(shí)和不應(yīng)期 突觸對(duì)相鄰兩次神經(jīng)激動(dòng)的呼應(yīng)需求有一定的時(shí)間間隔，在這個(gè)時(shí)間間隔內(nèi)不呼應(yīng)鼓勵(lì)，也不傳送神經(jīng)激動(dòng)，這個(gè)時(shí)間間隔稱為不

6、應(yīng)期。人腦神經(jīng)系統(tǒng)的構(gòu)造與特征神經(jīng)生理學(xué)的研討結(jié)果闡明，人腦的神經(jīng)系統(tǒng)是一個(gè)由大量生物神經(jīng)元并行互連所構(gòu)成的一個(gè)網(wǎng)絡(luò)系統(tǒng)。每個(gè)人的大腦大約有1011-1012個(gè)神經(jīng)元，每個(gè)神經(jīng)元大約有103-104個(gè)突觸，即與其它103-104個(gè)神經(jīng)元相連。(1)記憶和存儲(chǔ)功能人腦神經(jīng)系統(tǒng)的記憶和處置功能是有機(jī)的結(jié)合在一同的。神經(jīng)元既有存儲(chǔ)功能，又有處置功能，它在進(jìn)展回想時(shí)不僅不需求先找到存儲(chǔ)地址再調(diào)出所存內(nèi)容，而且還可以由一部分內(nèi)容恢復(fù)全部內(nèi)容。尤其是當(dāng)一部分神經(jīng)元遭到損壞例如腦部受傷等時(shí)，它只會(huì)喪失損壞最嚴(yán)重部分的那些信息，而不會(huì)喪失全部存儲(chǔ)信息。(2)高度并行性為什么計(jì)算機(jī)無法模擬更多的神經(jīng)元，假設(shè)有1

7、00個(gè)神經(jīng)元，兩兩互連，那么會(huì)出現(xiàn)10099/2=5000個(gè)N元一次方程。如何計(jì)算如此復(fù)雜的方程組？提供了非常宏大的存儲(chǔ)容量和并行度。例如，人可以非常迅速地識(shí)別出一幅非常復(fù)雜的圖像。人腦神經(jīng)系統(tǒng)的構(gòu)造與特征 (3) 分布式功能 人們經(jīng)過對(duì)腦損壞病人所做的神經(jīng)心思學(xué)研討，沒有發(fā)現(xiàn)大腦中的哪一部分可以決議其他一切各部分的活動(dòng)，也沒有發(fā)如今大腦中存在有用于驅(qū)動(dòng)和管理整個(gè)智能處置過程的任何中央控制部分。人類大腦的各個(gè)部分是協(xié)同任務(wù)、相互影響的，并沒有哪一部分神經(jīng)元能對(duì)智能活動(dòng)的整個(gè)過程負(fù)有特別重要的責(zé)任?？梢姡诖竽X中，不僅知識(shí)的存儲(chǔ)是分散的，而且其控制和決策也是分散的。因此，大腦是一種分布式系統(tǒng)。

8、(4) 容錯(cuò)功能 容錯(cuò)性是指根據(jù)不完全的、有錯(cuò)誤的信息仍能做出正確、完好結(jié)論的才干。大腦的容錯(cuò)性是非常強(qiáng)的。例如，我們往往可以僅由某個(gè)人的一雙眼睛、一個(gè)背影、一個(gè)動(dòng)作或一句話的音調(diào)，就能識(shí)別出來這個(gè)人是誰。人腦神經(jīng)系統(tǒng)的構(gòu)造與特征 (5) 聯(lián)想功能 人腦不僅具有很強(qiáng)的容錯(cuò)功能，還有聯(lián)想功能。擅長將不同領(lǐng)域的知識(shí)結(jié)合起來靈敏運(yùn)用，擅長概括、類比和推理。例如，一個(gè)人能很快認(rèn)出多年不見、容顏?zhàn)兓^大的老朋友。 (6) 自組織和自學(xué)習(xí)功能 人腦可以經(jīng)過內(nèi)部自組織、自學(xué)習(xí)才干不斷順應(yīng)外界環(huán)境，從而可以有效地處置各種模擬的、模糊的或隨機(jī)的問題。 人工神經(jīng)元的主要構(gòu)造單元是信號(hào)的輸入、綜合處置和輸出人工神經(jīng)

9、元的主要構(gòu)造單元是信號(hào)的輸入、綜合處置和輸出 輸出信號(hào)強(qiáng)度大小反映了該神經(jīng)元對(duì)相鄰神經(jīng)元影響的強(qiáng)弱輸出信號(hào)強(qiáng)度大小反映了該神經(jīng)元對(duì)相鄰神經(jīng)元影響的強(qiáng)弱 人工神經(jīng)元之間經(jīng)過相互聯(lián)接構(gòu)成網(wǎng)絡(luò)，稱為人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)元之間經(jīng)過相互聯(lián)接構(gòu)成網(wǎng)絡(luò)，稱為人工神經(jīng)網(wǎng)絡(luò) 神經(jīng)元之間相互聯(lián)接的方式稱為聯(lián)接方式神經(jīng)元之間相互聯(lián)接的方式稱為聯(lián)接方式 相互之間的聯(lián)接強(qiáng)度由聯(lián)接權(quán)值表達(dá)。相互之間的聯(lián)接強(qiáng)度由聯(lián)接權(quán)值表達(dá)。 在人工神經(jīng)網(wǎng)絡(luò)中，改動(dòng)信息處置及才干的過程，就是修正在人工神經(jīng)網(wǎng)絡(luò)中，改動(dòng)信息處置及才干的過程，就是修正網(wǎng)絡(luò)權(quán)值的過程。網(wǎng)絡(luò)權(quán)值的過程。 目前多數(shù)人工神經(jīng)網(wǎng)絡(luò)的構(gòu)造大體上目前多數(shù)人工神經(jīng)網(wǎng)絡(luò)的構(gòu)造大

10、體上都采用如下的一些原那么：都采用如下的一些原那么：v 由一定數(shù)量的根本神經(jīng)元分層聯(lián)接；由一定數(shù)量的根本神經(jīng)元分層聯(lián)接；v 每個(gè)神經(jīng)元的輸入、輸出信號(hào)以及綜每個(gè)神經(jīng)元的輸入、輸出信號(hào)以及綜 合處置內(nèi)容都比較簡單；合處置內(nèi)容都比較簡單；v 網(wǎng)絡(luò)的學(xué)習(xí)和知識(shí)存儲(chǔ)表達(dá)在各神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)和知識(shí)存儲(chǔ)表達(dá)在各神經(jīng)元之間的聯(lián)接強(qiáng)度上。元之間的聯(lián)接強(qiáng)度上。 7. 2 人工神經(jīng)網(wǎng)絡(luò)的模型人工神經(jīng)網(wǎng)絡(luò)的模型 7. 2. 1 人工神經(jīng)元的模型人工神經(jīng)元的模型 神經(jīng)元是人工神經(jīng)網(wǎng)絡(luò)的根本處置神經(jīng)元是人工神經(jīng)網(wǎng)絡(luò)的根本處置單元，它普通是一個(gè)多輸入單元，它普通是一個(gè)多輸入/單輸出的單輸出的非線性元件。神經(jīng)元輸出除受輸入信

11、號(hào)非線性元件。神經(jīng)元輸出除受輸入信號(hào)的影響外，同時(shí)也遭到神經(jīng)元內(nèi)部要素的影響外，同時(shí)也遭到神經(jīng)元內(nèi)部要素的影響，所以在人工神經(jīng)元的建模中，的影響，所以在人工神經(jīng)元的建模中，經(jīng)常還加有一個(gè)額外輸入信號(hào)，稱為偏經(jīng)常還加有一個(gè)額外輸入信號(hào)，稱為偏向，有時(shí)也稱為閾值或門限值。向，有時(shí)也稱為閾值或門限值。 神經(jīng)元的輸出矢量可以表示為： A = f ( W*P + b ) = f ( wj pj + b ) (7.2 ) 可以看出偏向被簡單地加在W*P上作為激活函數(shù)的另一個(gè)輸入分量。實(shí)踐上偏向也是一個(gè)權(quán)值，只是它具有固定常數(shù)為1的輸入。在網(wǎng)絡(luò)的設(shè)計(jì)中，偏向起著重要的作用，它使得激活函數(shù)的圖形可以左右挪動(dòng)，

12、從而添加理處理問題的能夠性。7. 2. 2 激活轉(zhuǎn)移函數(shù)激活轉(zhuǎn)移函數(shù) 激活轉(zhuǎn)移函數(shù)激活轉(zhuǎn)移函數(shù)Activation transfer function簡稱激活函數(shù)，它是一個(gè)神經(jīng)元及神經(jīng)網(wǎng)絡(luò)的中心簡稱激活函數(shù)，它是一個(gè)神經(jīng)元及神經(jīng)網(wǎng)絡(luò)的中心之一。神經(jīng)網(wǎng)絡(luò)處理問題的才干與效果除了與網(wǎng)絡(luò)之一。神經(jīng)網(wǎng)絡(luò)處理問題的才干與效果除了與網(wǎng)絡(luò)構(gòu)造有關(guān)外，在很大程度上取決于網(wǎng)絡(luò)激活函數(shù)。構(gòu)造有關(guān)外，在很大程度上取決于網(wǎng)絡(luò)激活函數(shù)。 激活函數(shù)的根本作用是：激活函數(shù)的根本作用是： 控制輸入對(duì)輸出的激活作用；控制輸入對(duì)輸出的激活作用； 對(duì)輸入、輸出進(jìn)展函數(shù)轉(zhuǎn)換；對(duì)輸入、輸出進(jìn)展函數(shù)轉(zhuǎn)換； 將能夠無限域的輸入變換成指定的

13、有限范圍內(nèi)將能夠無限域的輸入變換成指定的有限范圍內(nèi)的輸出。的輸出。 下面是幾種常用的激活函數(shù)：下面是幾種常用的激活函數(shù)： l閥值型硬限制型閥值型硬限制型 具有此激活函數(shù)的神經(jīng)元的輸入具有此激活函數(shù)的神經(jīng)元的輸入/輸出關(guān)系為：輸出關(guān)系為： (a) 沒有偏向的閾值型激活函數(shù)沒有偏向的閾值型激活函數(shù) (b) 帶有偏向的閾值型激活函數(shù)帶有偏向的閾值型激活函數(shù) 圖圖7. 3 閾值型激活函數(shù)閾值型激活函數(shù) 0001bPWbPWbPWfA(7.3) 2線性型線性型 具有此激活函數(shù)的神經(jīng)元的輸入具有此激活函數(shù)的神經(jīng)元的輸入/輸出關(guān)系為：輸出關(guān)系為： (a) 沒有偏向的線性激活函數(shù)沒有偏向的線性激活函數(shù) (b)

14、 帶有偏向的線性激活函數(shù)帶有偏向的線性激活函數(shù) 圖圖7. 4 線性型激活函數(shù)線性型激活函數(shù)A = f (W *P + b ) = W * P + b ( 7.4 ) 3S型型(Sigmoid) 對(duì)數(shù)對(duì)數(shù)S型激活函數(shù)型激活函數(shù) 見圖見圖7.5(a)，其神經(jīng)元的輸入，其神經(jīng)元的輸入/輸出關(guān)系為：輸出關(guān)系為： (a) 帶有偏向的對(duì)數(shù)帶有偏向的對(duì)數(shù)S型激活函數(shù)型激活函數(shù) (b) 帶有偏向的雙曲正切帶有偏向的雙曲正切S型激活函數(shù)型激活函數(shù) 圖圖7. 5 S型激活函數(shù)型激活函數(shù) bnnfexp11(7.5) 3S型型(Sigmoid) 雙曲正切雙曲正切S型激活函數(shù)型激活函數(shù) 見圖見圖7.5(b)，其神經(jīng)元

15、的輸入，其神經(jīng)元的輸入/輸出關(guān)系為：輸出關(guān)系為： (a) 帶有偏向的對(duì)數(shù)帶有偏向的對(duì)數(shù)S型激活函數(shù)型激活函數(shù) (b) 帶有偏向的雙曲正切帶有偏向的雙曲正切S型激活函數(shù)型激活函數(shù)圖圖7. 5 S型激活函數(shù)型激活函數(shù)(7.6) bnbnnf2exp12exp1 普通地，稱一個(gè)神經(jīng)網(wǎng)絡(luò)是線性或非線性是由網(wǎng)絡(luò)神經(jīng)元中所具有的激普通地，稱一個(gè)神經(jīng)網(wǎng)絡(luò)是線性或非線性是由網(wǎng)絡(luò)神經(jīng)元中所具有的激活函數(shù)的線性或非線性來決議的?；詈瘮?shù)的線性或非線性來決議的。 人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò) 人工神經(jīng)網(wǎng)絡(luò)是對(duì)人類神經(jīng)系統(tǒng)的一種模擬。雖然人類神經(jīng)系統(tǒng)規(guī)模宏大、構(gòu)造復(fù)雜、功能神奇，但其最根本的處置單元卻只需神經(jīng)元。人工神經(jīng)系

16、統(tǒng)的功能實(shí)踐上是經(jīng)過大量神經(jīng)元的廣泛互連，以規(guī)模宏偉的并行運(yùn)算來實(shí)現(xiàn)的。 基于對(duì)人類生物系統(tǒng)的這一認(rèn)識(shí)，人們也試圖經(jīng)過對(duì)人工神經(jīng)元的廣泛互連來模擬生物神經(jīng)系統(tǒng)的構(gòu)造和功能。人工神經(jīng)元之間經(jīng)過互連構(gòu)成的網(wǎng)絡(luò)稱為人工神經(jīng)網(wǎng)絡(luò)。在人工神經(jīng)網(wǎng)絡(luò)中，神經(jīng)元之間互連的方式稱為銜接方式或銜接模型。它不僅決議了神經(jīng)元網(wǎng)絡(luò)的互連構(gòu)造，同時(shí)也決議了神經(jīng)網(wǎng)絡(luò)的信號(hào)處置方式。人工神經(jīng)網(wǎng)絡(luò)的分類人工神經(jīng)網(wǎng)絡(luò)的分類 目前，已有的人工神經(jīng)網(wǎng)絡(luò)模型至少有幾十種，其分類方法也有多種。例如，假設(shè)按網(wǎng)絡(luò)拓?fù)錁?gòu)造，可分為無反響網(wǎng)絡(luò)與有反響網(wǎng)絡(luò)；假設(shè)按網(wǎng)絡(luò)的學(xué)習(xí)方法，可分為有教師的學(xué)習(xí)網(wǎng)絡(luò)和無教師的學(xué)習(xí)網(wǎng)絡(luò)；假設(shè)按網(wǎng)絡(luò)的性能，可分為延

17、續(xù)型網(wǎng)絡(luò)與離散型網(wǎng)絡(luò)，或分為確定性網(wǎng)絡(luò)與隨機(jī)型網(wǎng)絡(luò)；假設(shè)按突觸銜接的性質(zhì)，可分為一階線性關(guān)聯(lián)網(wǎng)絡(luò)與高階非線性關(guān)聯(lián)網(wǎng)絡(luò)。人工神經(jīng)網(wǎng)絡(luò)的局限性 人工神經(jīng)網(wǎng)絡(luò)是一個(gè)新興學(xué)科，因此還存在許多問題。其主要表現(xiàn)有： (1) 遭到腦科學(xué)研討的限制：由于生理實(shí)驗(yàn)的困難性，因此目前人類對(duì)思想和記憶機(jī)制的認(rèn)識(shí)還很淺薄，還有很多問題需求處理； (2) 還沒有完好成熟的實(shí)際體系； (3) 還帶有濃重的戰(zhàn)略和閱歷顏色； (4) 與傳統(tǒng)技術(shù)的接口不成熟。 上述問題的存在，制約了人工神經(jīng)網(wǎng)絡(luò)研討的開展。7. 2. 3 MP神經(jīng)元模型神經(jīng)元模型 MP神經(jīng)元模型是由美國心思學(xué)家神經(jīng)元模型是由美國心思學(xué)家McClloch和數(shù)和數(shù)

18、學(xué)家學(xué)家Pitts共同提出的，因此，常稱為共同提出的，因此，常稱為MP模型。模型。 MP神神經(jīng)元模型是典型的閾值型神經(jīng)元，見圖經(jīng)元模型是典型的閾值型神經(jīng)元，見圖7.6，它相當(dāng)于，它相當(dāng)于一個(gè)多輸入單輸出的閾值器件。一個(gè)多輸入單輸出的閾值器件。w1w2wrp1p2pr briiibpwfA1 圖圖7.6 MP模型神經(jīng)元模型神經(jīng)元 如圖如圖(7.6)所示，假定所示，假定p1，p2，pn表示神經(jīng)表示神經(jīng)元的元的n個(gè)輸入；個(gè)輸入；wi表示神經(jīng)元的突觸銜接強(qiáng)度，其值表示神經(jīng)元的突觸銜接強(qiáng)度，其值稱為權(quán)值；稱為權(quán)值；n 表示神經(jīng)元的輸入總和，表示神經(jīng)元的輸入總和，f (n) 即為激即為激活函數(shù)；活函數(shù)；a

19、 表示神經(jīng)元的輸出，表示神經(jīng)元的輸出，b 表示神經(jīng)元的閾值，表示神經(jīng)元的閾值，那么那么MP模型神經(jīng)元的輸出可描畫為模型神經(jīng)元的輸出可描畫為(7.7)式所示：式所示： w1w2wrp1p2pr briiibpwfa1圖圖7.6 MP模型神經(jīng)元模型神經(jīng)元riiibpwnnfa1(7.7) MP模型神經(jīng)元是二值型神經(jīng)元，其輸出形狀取值模型神經(jīng)元是二值型神經(jīng)元，其輸出形狀取值為為1或或0，分別代表神經(jīng)元的興奮和抑制形狀。假設(shè)，分別代表神經(jīng)元的興奮和抑制形狀。假設(shè) n 0，即神經(jīng)元輸入加權(quán)總和超越某個(gè)閾值，那么該神，即神經(jīng)元輸入加權(quán)總和超越某個(gè)閾值，那么該神經(jīng)元興奮，形狀為經(jīng)元興奮，形狀為1；假設(shè)；假設(shè)

20、n 0，那么該神經(jīng)元遭到抑，那么該神經(jīng)元遭到抑制，形狀為制，形狀為0。通常，將這個(gè)規(guī)定稱為。通常，將這個(gè)規(guī)定稱為MP模型神經(jīng)元模型神經(jīng)元的點(diǎn)火規(guī)那么。用一數(shù)學(xué)表達(dá)式表示為：的點(diǎn)火規(guī)那么。用一數(shù)學(xué)表達(dá)式表示為： 對(duì)于對(duì)于 MP模型神經(jīng)元，權(quán)值模型神經(jīng)元，權(quán)值w在在 1， 1區(qū)間區(qū)間延續(xù)取值。取負(fù)值表示抑制兩神經(jīng)元間的銜接強(qiáng)度，正延續(xù)取值。取負(fù)值表示抑制兩神經(jīng)元間的銜接強(qiáng)度，正值表示加強(qiáng)。值表示加強(qiáng)。 0001nnnfA(7.8)M PM P 模 型 神 經(jīng) 元模 型 神 經(jīng) 元具 有 什 么 特 性 ？具 有 什 么 特 性 ？能完成什么功能？能完成什么功能？ 為了回答這個(gè)問題，我們以簡單的邏為

21、了回答這個(gè)問題，我們以簡單的邏輯代數(shù)運(yùn)算為例來闡明。輯代數(shù)運(yùn)算為例來闡明。 例例1 假設(shè)一個(gè)假設(shè)一個(gè)MP模型神經(jīng)元有模型神經(jīng)元有2個(gè)輸入：個(gè)輸入：p1和和p2，其目，其目的輸出記為的輸出記為t，試問它能否完成以下真值表功能？，試問它能否完成以下真值表功能？ 解：根據(jù)要求，神經(jīng)元的權(quán)值和閾值必需滿足如下不解：根據(jù)要求，神經(jīng)元的權(quán)值和閾值必需滿足如下不 等式組：等式組： 假設(shè)取假設(shè)取b值為值為0.5,W1和和W2取取0.7?？梢则?yàn)證用這組權(quán)值和?？梢则?yàn)證用這組權(quán)值和閾值構(gòu)成的閾值構(gòu)成的2輸入輸入MP模型神經(jīng)元可以完成該邏輯模型神經(jīng)元可以完成該邏輯“或運(yùn)或運(yùn) 算。算。00201021WWWW0020

22、1021bbWbWbWW(1)(2)(3) (4)不不 等等 式式 組組真真 值值 表表 p1 p2 t 1 1 1 1 0 1 0 1 1 0 0 0 好像許多代數(shù)方程一樣，由好像許多代數(shù)方程一樣，由MP模型激活函數(shù)得出的不等模型激活函數(shù)得出的不等式具有一定的幾何意義，一切輸入樣本構(gòu)成樣本輸入空間。對(duì)式具有一定的幾何意義，一切輸入樣本構(gòu)成樣本輸入空間。對(duì)于恣意特定于恣意特定W和和P的值都規(guī)定了一個(gè)超平面決策平面，其的值都規(guī)定了一個(gè)超平面決策平面，其方程為：方程為： 它把超平面它把超平面RnXRn分成了兩部分：分成了兩部分：WX-b0 部分和部分和 WX-b0 部分。部分。 bXW 普通地，普

23、通地，N輸入的輸入的MP模型神經(jīng)元有模型神經(jīng)元有2n個(gè)輸入樣個(gè)輸入樣本，幾何上分別位于本，幾何上分別位于N維超立方體的各頂點(diǎn)處。維超立方體的各頂點(diǎn)處。7.3 人工神經(jīng)網(wǎng)絡(luò)的構(gòu)造與學(xué)習(xí)人工神經(jīng)網(wǎng)絡(luò)的構(gòu)造與學(xué)習(xí) 7. 3. 1 人工神經(jīng)網(wǎng)絡(luò)的構(gòu)造人工神經(jīng)網(wǎng)絡(luò)的構(gòu)造 假設(shè)將大量功能簡單的方式神經(jīng)元經(jīng)假設(shè)將大量功能簡單的方式神經(jīng)元經(jīng)過一定的拓?fù)錁?gòu)造組織起來，構(gòu)成群體并過一定的拓?fù)錁?gòu)造組織起來，構(gòu)成群體并行分布式處置的計(jì)算構(gòu)造，那么這種構(gòu)培行分布式處置的計(jì)算構(gòu)造，那么這種構(gòu)培育是人工神經(jīng)網(wǎng)絡(luò)，在不引起混淆的情況育是人工神經(jīng)網(wǎng)絡(luò)，在不引起混淆的情況下，統(tǒng)稱為神經(jīng)網(wǎng)絡(luò)。下，統(tǒng)稱為神經(jīng)網(wǎng)絡(luò)。 根據(jù)神經(jīng)元之間銜

24、接的拓?fù)錁?gòu)造上根據(jù)神經(jīng)元之間銜接的拓?fù)錁?gòu)造上的不同，可將神經(jīng)網(wǎng)絡(luò)構(gòu)造分為兩大類：的不同，可將神經(jīng)網(wǎng)絡(luò)構(gòu)造分為兩大類： 分層網(wǎng)絡(luò)分層網(wǎng)絡(luò) 相互銜接型網(wǎng)絡(luò)相互銜接型網(wǎng)絡(luò) 1分層構(gòu)造分層構(gòu)造 分層網(wǎng)絡(luò)將一個(gè)神經(jīng)網(wǎng)分層網(wǎng)絡(luò)將一個(gè)神經(jīng)網(wǎng)絡(luò)模型中的一切神經(jīng)元按功能絡(luò)模型中的一切神經(jīng)元按功能分成假設(shè)干層，普通有輸入層、分成假設(shè)干層，普通有輸入層、隱層又稱中間層和輸出層隱層又稱中間層和輸出層各層順序銜接，如圖各層順序銜接，如圖7. 7所示。所示。 輸 出 層 中 間 層 輸 入 層輸入輸入輸出輸出圖圖 7.7 7.7分層網(wǎng)絡(luò)的功能層次分層網(wǎng)絡(luò)的功能層次 簡單的前向網(wǎng)絡(luò)；簡單的前向網(wǎng)絡(luò)； 具有反響的前向網(wǎng)絡(luò)；具

25、有反響的前向網(wǎng)絡(luò)； 層內(nèi)有相互銜接的前向網(wǎng)絡(luò)。層內(nèi)有相互銜接的前向網(wǎng)絡(luò)。 分層網(wǎng)絡(luò)可以細(xì)分為三種分層網(wǎng)絡(luò)可以細(xì)分為三種互連方式：互連方式： 圖圖7.8 a簡單的前向網(wǎng)絡(luò)外形；簡單的前向網(wǎng)絡(luò)外形；圖圖7.8 b輸出層到輸入層具有反響的前向網(wǎng)絡(luò)；輸出層到輸入層具有反響的前向網(wǎng)絡(luò)；圖圖7.8 c 層內(nèi)有相互銜接的前向網(wǎng)絡(luò)。層內(nèi)有相互銜接的前向網(wǎng)絡(luò)。 所謂相互銜接型網(wǎng)絡(luò)是指網(wǎng)絡(luò)中恣意兩個(gè)神經(jīng)元之間是可達(dá)的，即存在所謂相互銜接型網(wǎng)絡(luò)是指網(wǎng)絡(luò)中恣意兩個(gè)神經(jīng)元之間是可達(dá)的，即存在銜接途徑，如圖銜接途徑，如圖7.8d所示。所示。 2相互銜接型構(gòu)造相互銜接型構(gòu)造 權(quán)值修正學(xué)派以為：神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程就是不斷權(quán)值

26、修正學(xué)派以為：神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程就是不斷調(diào)整網(wǎng)絡(luò)的銜接權(quán)，以獲得期望的輸出的過程。調(diào)整網(wǎng)絡(luò)的銜接權(quán)，以獲得期望的輸出的過程。7. 3. 2 人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)v 相關(guān)學(xué)習(xí)法相關(guān)學(xué)習(xí)法v 誤差修正學(xué)習(xí)法誤差修正學(xué)習(xí)法 典型的權(quán)值修正方法有兩類典型的權(quán)值修正方法有兩類 式中，wji( t + 1)表示修正一次后的某一權(quán)值；稱為學(xué)習(xí)因子，決議每次權(quán)值的修正量，x it、xjt分別表示 t 時(shí)辰第i、第j個(gè)神經(jīng)元的形狀。 相關(guān)學(xué)習(xí)法 假設(shè)神經(jīng)網(wǎng)絡(luò)中某一神經(jīng)元與另不斷接與其相連的神經(jīng)元同時(shí)處于興奮形狀，那么這兩個(gè)神經(jīng)元間的銜接強(qiáng)度應(yīng)該加強(qiáng)。相關(guān)學(xué)習(xí)法是根據(jù)銜接間的激活程度改動(dòng)權(quán)值的，相

27、關(guān)學(xué)習(xí)法也稱Hebb學(xué)習(xí)規(guī)那么，可用一數(shù)學(xué)表達(dá)式表示為： txtxtwtwjijiji,1(7.9) 1選擇一組初始權(quán)值和偏向值；選擇一組初始權(quán)值和偏向值； 2計(jì)算某一輸入方式對(duì)應(yīng)的實(shí)踐輸出與期望輸出的誤差計(jì)算某一輸入方式對(duì)應(yīng)的實(shí)踐輸出與期望輸出的誤差 3更新權(quán)值偏向值可視為輸入恒為更新權(quán)值偏向值可視為輸入恒為-1的一個(gè)權(quán)值的一個(gè)權(quán)值 式中，式中，為學(xué)習(xí)因子；為學(xué)習(xí)因子； y je(t)、yj(t) 分別表示第分別表示第j個(gè)神經(jīng)個(gè)神經(jīng) 元元 的期望輸出與實(shí)踐輸出；的期望輸出與實(shí)踐輸出；x i為第為第i個(gè)神經(jīng)元的輸入；個(gè)神經(jīng)元的輸入； 4前往步驟前往步驟2，直到對(duì)一切訓(xùn)練方式，網(wǎng)絡(luò)輸出均，直到對(duì)

28、一切訓(xùn)練方式，網(wǎng)絡(luò)輸出均 能滿足要求。能滿足要求。 誤差修正學(xué)習(xí)法誤差修正學(xué)習(xí)法 根據(jù)期望輸出與實(shí)踐輸出之間的誤差根據(jù)期望輸出與實(shí)踐輸出之間的誤差大小來修正權(quán)值。誤差修正學(xué)習(xí)法也稱大小來修正權(quán)值。誤差修正學(xué)習(xí)法也稱學(xué)學(xué)習(xí)規(guī)那么，可由如下四步來描畫；習(xí)規(guī)那么，可由如下四步來描畫； txtytytwtwijejjiji)(1(7.10) 例例2思索一個(gè)思索一個(gè)2輸入輸入MP模型神經(jīng)元的模型神經(jīng)元的學(xué)習(xí)。假設(shè)初始參數(shù)為：學(xué)習(xí)。假設(shè)初始參數(shù)為： w1 = 0.2， w2 = -0.5， b = 0.1 要求該神經(jīng)元能實(shí)現(xiàn)以下邏輯真值表：要求該神經(jīng)元能實(shí)現(xiàn)以下邏輯真值表：邏輯真值表邏輯真值表 x1：0

29、0 1 1 x2：0 1 0 1ye：1 1 0 0 解：神經(jīng)元輸入和的表達(dá)式為：解：神經(jīng)元輸入和的表達(dá)式為： n = w 1 x 1 + w 2 x 2 - b滿足所給邏輯真值表的激活函數(shù)不等式組為：滿足所給邏輯真值表的激活函數(shù)不等式組為： x1 x2 ye 不等式組不等式組 0 0 1 - b 0 b 0 0 1 1 w 2 - b 0 b w 2 1 0 0 w 1 - b 0 b w 1 1 1 0 w 1 + w 2 - b 0 b w 1 + w 2 在初始參數(shù)設(shè)置下，神經(jīng)元的實(shí)踐輸出為：在初始參數(shù)設(shè)置下，神經(jīng)元的實(shí)踐輸出為： n1 = 0.2*0 0.5*0 0.1 = - 0.

30、1 0 y1 = 0 n2 = 0.2*0 0.5*1 0.1 = - 0.6 0 y2= 0 n3 = 0.2*1 0.5*0 0.1 = 0.1 0 y 3= 1 n4 = 0.2*1 0.5*1 0.1 = - 0.4 0 y4= 0可見，有可見，有3個(gè)輸入方式相應(yīng)的輸出都與期望輸出不符，個(gè)輸入方式相應(yīng)的輸出都與期望輸出不符，即有誤差。下面我們看如何運(yùn)用即有誤差。下面我們看如何運(yùn)用學(xué)習(xí)規(guī)那么進(jìn)展學(xué)習(xí)。學(xué)習(xí)規(guī)那么進(jìn)展學(xué)習(xí)。 首先，確定學(xué)習(xí)因子首先，確定學(xué)習(xí)因子，即確定每次，即確定每次誤差修正量的多少。假設(shè)學(xué)習(xí)因子誤差修正量的多少。假設(shè)學(xué)習(xí)因子采用采用下式確定：下式確定： 式中式中,為一個(gè)正

31、的常數(shù)，通常在為一個(gè)正的常數(shù)，通常在0-10-1之間取值。為簡便起見，這里取值為之間取值。為簡便起見，這里取值為0.10.1。 )11)()()(21itbtixtiw (7.11) 1. 當(dāng)輸入當(dāng)輸入x1x2 = 00時(shí)：時(shí)：要使實(shí)踐輸出要使實(shí)踐輸出 y = 1，必需滿足激活函數(shù)大于，必需滿足激活函數(shù)大于0，即：，即： n1 = - b0 b0 閾值閾值b需取負(fù)值需取負(fù)值 根據(jù)2.11式得學(xué)習(xí)因子的值為：修正后的權(quán)、閾值為： 由于x1 = x2 = 0，所以權(quán)值不變。第一次學(xué)習(xí)終了后，MP模型神經(jīng)元的參數(shù)為： w1 (1) = 0.2，w2 (1) = - 0.5，b(1) = 0。 b(1) 0。1 .01 .01 .00211 .0)0(021b 5.00011.05.0202122.00011.02.01011101011.01.0)1(01xyeywwxyeywwyeybb 對(duì)權(quán)閾值進(jìn)展修正如下： 第二次學(xué)習(xí)終了后，MP模型神經(jīng)元的參數(shù)為： w1 (2) = 0.2，w2 (2) = - 0.2，b(2) = -0.3。 b (2) w 2 (2)，b(2)0。 2 . 01013 . 05 . 0212222 . 00013 . 02 . 0111213 . 01013 . 00) 1(123 . 01 . 005 . 0211 . 0) 1 () 1 (221x