1、第4章 神經(jīng)網(wǎng)絡(luò)的基本理論,4.1 人工神經(jīng)元模型,人工神經(jīng)元是對(duì)人或其它生物的神經(jīng)元細(xì)胞的若干基本特性的抽象和模擬。,生物神經(jīng)元模型,4.1 人工神經(jīng)元模型,生物神經(jīng)元主要由細(xì)胞體、樹突和軸突組成，樹突和軸突負(fù)責(zé)傳入和傳出信息，興奮性的沖動(dòng)沿樹突抵達(dá)細(xì)胞體，在細(xì)胞膜上累積形成興奮性電位；相反，抑制性沖動(dòng)到達(dá)細(xì)胞膜則形成抑制性電位。兩種電位進(jìn)行累加，若代數(shù)和超過某個(gè)閾值，神經(jīng)元將產(chǎn)生沖動(dòng)。,4.1 人工神經(jīng)元模型,人工神經(jīng)元模型,模仿生物神經(jīng)元產(chǎn)生沖動(dòng)的過程，可以建立一個(gè)典型的人工神經(jīng)元數(shù)學(xué)模型。,x1,xnT為輸入向量，y為輸出，f()為激發(fā)函數(shù)，為閾值 Wi為神經(jīng)元與其它神經(jīng)元的連接強(qiáng)度，

2、也稱權(quán)值。,4.1 人工神經(jīng)元模型,常用的激發(fā)函數(shù)f 的種類 ：,1) 閾值型函數(shù),4.1 人工神經(jīng)元模型,2) 飽和型函數(shù),3) 雙曲函數(shù),4.1 人工神經(jīng)元模型,4) S型函數(shù),5) 高斯函數(shù),4.2 神經(jīng)網(wǎng)絡(luò)的定義和特點(diǎn),神經(jīng)網(wǎng)絡(luò)系統(tǒng)是由大量的神經(jīng)元，通過廣泛地互相連接而形成的復(fù)雜網(wǎng)絡(luò)系統(tǒng)。,定義,特點(diǎn),(1) 非線性映射逼近能力。任意的連續(xù)非線性函數(shù)映射關(guān)系可由多層神經(jīng)網(wǎng)絡(luò)以任意精度加以逼近。 (2) 自適應(yīng)性和自組織性。神經(jīng)元之間的連接具有多樣性，各神經(jīng)元之間的連接強(qiáng)度具有可塑性，網(wǎng)絡(luò)可以通過學(xué)習(xí)與訓(xùn)練進(jìn)行自組織，以適應(yīng)不同信息處理的要求。,4.2 神經(jīng)網(wǎng)絡(luò)的定義和特點(diǎn),(3) 并行

3、處理性。網(wǎng)絡(luò)的各單元可以同時(shí)進(jìn)行類似的處理過程，整個(gè)網(wǎng)絡(luò)的信息處理方式是大規(guī)模并行的，可以大大加快對(duì)信息處理的速度。 (4) 分布存儲(chǔ)和容錯(cuò)性。信息在神經(jīng)網(wǎng)絡(luò)內(nèi)的存儲(chǔ)按內(nèi)容分布于許多神經(jīng)元中，而且每個(gè)神經(jīng)元存儲(chǔ)多種信息的部分內(nèi)容。網(wǎng)絡(luò)的每部分對(duì)信息的存儲(chǔ)具有等勢(shì)作用，部分的信息丟失仍可以使完整的信息得到恢復(fù)，因而使網(wǎng)絡(luò)具有容錯(cuò)性和聯(lián)想記憶功能。 (5) 便于集成實(shí)現(xiàn)和計(jì)算模擬。神經(jīng)網(wǎng)絡(luò)在結(jié)構(gòu)上是相同神經(jīng)元的大規(guī)模組合，特別適合于用大規(guī)模集成電路實(shí)現(xiàn)。,4.3 感知器模型,感知器(Perceptron)是由美國學(xué)者F.Rosenblatt于1957年提出的，它是一個(gè)具有單層計(jì)算單元的神經(jīng)網(wǎng)絡(luò)，并

4、由線性閾值元件組成。,激發(fā)函數(shù)為閾值型函數(shù)，當(dāng)其輸入的加權(quán)和大于或等于閾值時(shí)，輸出為1，否則為0或-1。 它的權(quán)系W可變，這樣它就可以學(xué)習(xí)。,感知器的結(jié)構(gòu),4.3 感知器模型,感知器的學(xué)習(xí)算法,為方便起見，將閾值(它也同樣需要學(xué)習(xí))并入W中，令Wn+1=-，X向量也相應(yīng)地增加一個(gè)分量xn+1=1，則,4.3 感知器模型,學(xué)習(xí)算法：, 給定初始值：賦給Wi(0)各一個(gè)較小的隨機(jī)非零值，這里Wi(t)為t時(shí)刻第i個(gè)輸入的權(quán)(1in)，Wn+1(t)為t時(shí)刻的閾值；, 輸入一樣本X=(xi,xn,1)和它的希望輸出d；, 計(jì)算實(shí)際輸出, 修正權(quán)W ：Wi(t+1)=Wi(t)+d-Y(t)xi, i

5、=1,2,n+1, 轉(zhuǎn)到直到W對(duì)一切樣本均穩(wěn)定不變?yōu)橹埂?* 神經(jīng)網(wǎng)絡(luò)的構(gòu)成和分類,構(gòu)成,從Perceptron模型可以看出神經(jīng)網(wǎng)絡(luò)通過一組狀態(tài)方程和一組學(xué)習(xí)方程加以描述。 狀態(tài)方程描述每個(gè)神經(jīng)元的輸入、輸出、權(quán)值間的函數(shù)關(guān)系。 學(xué)習(xí)方程描述權(quán)值應(yīng)該怎樣修正。神經(jīng)網(wǎng)絡(luò)通過修正這些權(quán)值來進(jìn)行學(xué)習(xí)，從而調(diào)整整個(gè)神經(jīng)網(wǎng)絡(luò)的輸入輸出關(guān)系。,* 神經(jīng)網(wǎng)絡(luò)的構(gòu)成和分類,分類,(1) 從結(jié)構(gòu)上劃分,通常所說的網(wǎng)絡(luò)結(jié)構(gòu)，主要是指它的連接方式。神經(jīng)網(wǎng)絡(luò)從拓?fù)浣Y(jié)構(gòu)(各連接點(diǎn)相互連接的形式)上來說，主要分為層狀和網(wǎng)狀結(jié)構(gòu)。,* 神經(jīng)網(wǎng)絡(luò)的構(gòu)成和分類, 層狀結(jié)構(gòu)：網(wǎng)絡(luò)由若干層組成，每層中有一定數(shù)量的神經(jīng)元，相鄰層中神

6、經(jīng)元單向連接，一般同層內(nèi)神經(jīng)元不能連接。,前向網(wǎng)絡(luò)：只有前后相鄰兩層之間神經(jīng)元相互連接，各神經(jīng)元之間沒有反饋。每個(gè)神經(jīng)元從前一層接收輸入，發(fā)送輸出給下一層。,* 神經(jīng)網(wǎng)絡(luò)的構(gòu)成和分類,* 神經(jīng)網(wǎng)絡(luò)的構(gòu)成和分類, 網(wǎng)狀結(jié)構(gòu)：網(wǎng)絡(luò)中任何兩個(gè)神經(jīng)元之間都可能雙向連接。,反饋網(wǎng)絡(luò)：從輸出層到輸入層有反饋，每一個(gè)神經(jīng)元同時(shí)接收外來輸入和來自其它神經(jīng)元的反饋輸入，其中包括神經(jīng)元輸出信號(hào)引回自身輸入的自環(huán)反饋。,* 神經(jīng)網(wǎng)絡(luò)的構(gòu)成和分類,混合型網(wǎng)絡(luò)：前向網(wǎng)絡(luò)的同一層神經(jīng)元之間有互聯(lián)的網(wǎng)絡(luò)。,* 神經(jīng)網(wǎng)絡(luò)的構(gòu)成和分類,(2) 從激發(fā)函數(shù)的類型上劃分,高斯基函數(shù)神經(jīng)網(wǎng)絡(luò)、小波基函數(shù)神經(jīng)網(wǎng)絡(luò)、樣條基函數(shù)神經(jīng)網(wǎng)絡(luò)等

7、等。,(3) 從網(wǎng)絡(luò)的學(xué)習(xí)方式上劃分,有導(dǎo)師學(xué)習(xí)神經(jīng)網(wǎng)絡(luò) 為神經(jīng)網(wǎng)絡(luò)提供樣本數(shù)據(jù)，對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，使網(wǎng)絡(luò)的輸入輸出關(guān)系逼近樣本數(shù)據(jù)的輸入輸出關(guān)系。 無導(dǎo)師學(xué)習(xí)神經(jīng)網(wǎng)絡(luò) 不為神經(jīng)網(wǎng)絡(luò)提供樣本數(shù)據(jù)，學(xué)習(xí)過程中網(wǎng)絡(luò)自動(dòng)將輸入數(shù)據(jù)的特征提取出來。,* 神經(jīng)網(wǎng)絡(luò)的構(gòu)成和分類,(4) 從學(xué)習(xí)算法上來劃分：,基于BP算法的網(wǎng)絡(luò)、基于Hebb算法的網(wǎng)絡(luò)、基于競(jìng)爭式學(xué)習(xí)算法的網(wǎng)絡(luò)、基于遺傳算法的網(wǎng)絡(luò)。,4.4 多層前向BP神經(jīng)網(wǎng)絡(luò),多層前向神經(jīng)網(wǎng)絡(luò)及其反傳學(xué)習(xí)理論(Back-Propagation,BP)最早由werbos在1974年提出的，1985年由Rumelhart再次進(jìn)行發(fā)展，實(shí)現(xiàn)了Minsky的多層網(wǎng)

8、絡(luò)設(shè)想。網(wǎng)絡(luò)不僅有輸入層節(jié)點(diǎn)、輸出層節(jié)點(diǎn)，而且有隱層節(jié)點(diǎn)。隱層可以是一層，也可是多層。當(dāng)信號(hào)輸入時(shí)，首先傳到隱層節(jié)點(diǎn)，經(jīng)過作用函數(shù)后，再把隱層節(jié)點(diǎn)的輸入信號(hào)傳播到輸出層節(jié)點(diǎn)。經(jīng)過處理后給出輸出結(jié)果。,4.4 多層前向BP神經(jīng)網(wǎng)絡(luò),多層前向神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu),多層前向神經(jīng)網(wǎng)絡(luò)由輸入層、隱層（不少于1層）、輸出層組成，信號(hào)沿輸入輸出的方向逐層傳遞。,4.4 多層前向BP神經(jīng)網(wǎng)絡(luò),4.4 多層前向BP神經(jīng)網(wǎng)絡(luò),沿信息的傳播方向，給出網(wǎng)絡(luò)的狀態(tài)方程，用Inj(i)， Outj(i)表示第i層第j個(gè)神經(jīng)元的輸入和輸出，則各層的輸入輸出關(guān)系可描述為：,第一層（輸入層）：將輸入引入網(wǎng)絡(luò),第二層（隱層）,第三層（

9、輸出層）,4.4 多層前向BP神經(jīng)網(wǎng)絡(luò),網(wǎng)絡(luò)的學(xué)習(xí),學(xué)習(xí)的基本思想是：誤差反傳算法調(diào)整網(wǎng)絡(luò)的權(quán)值，使網(wǎng)絡(luò)的實(shí)際輸出盡可能接近期望的輸出。,假設(shè)有m個(gè)樣本：,定義學(xué)習(xí)的目標(biāo)函數(shù)為：,4.4 多層前向BP神經(jīng)網(wǎng)絡(luò),為使目標(biāo)函數(shù)最小，訓(xùn)練算法是：,4.4 多層前向BP神經(jīng)網(wǎng)絡(luò),令,則,4.4 多層前向BP神經(jīng)網(wǎng)絡(luò),4.4 多層前向BP神經(jīng)網(wǎng)絡(luò),學(xué)習(xí)的步驟：,(2) 依次計(jì)算,，如果,，退出,(3) 計(jì)算,(4) 計(jì)算,4.4 多層前向BP神經(jīng)網(wǎng)絡(luò),如果樣本數(shù)少，則學(xué)習(xí)知識(shí)不夠；如果樣本多，則需計(jì)算更多的dJk/dw，訓(xùn)練時(shí)間長?？刹捎秒S機(jī)學(xué)習(xí)法每次從樣本中隨機(jī)選取幾個(gè)樣本，計(jì)算 dJk/dw，調(diào)整權(quán)

10、值。,4.4 多層前向BP神經(jīng)網(wǎng)絡(luò),例4.1 多層前向BP網(wǎng)絡(luò)訓(xùn)練,訓(xùn)練樣本SISO： SampleInput=0 0.1 0.2 0.3 0.4; SampleOutput=4 2 2 2 2;,網(wǎng)絡(luò)結(jié)構(gòu)：,4.4 多層前向BP神經(jīng)網(wǎng)絡(luò),網(wǎng)絡(luò)輸入輸出關(guān)系：,需訓(xùn)練的量：,4.4 多層前向BP神經(jīng)網(wǎng)絡(luò),訓(xùn)練算法：,4.4 多層前向BP神經(jīng)網(wǎng)絡(luò),4.4 多層前向BP神經(jīng)網(wǎng)絡(luò),訓(xùn)練初始參數(shù)：,W1=rand(1,5); W2=rand(1,5); theta=rand(1,5); beta=rand(1,5);,LearningRate1=0.2; LearningRate2=0.4; LearningRate3=0.2; LearningRate4=0.2;,4.4 多層前向BP神經(jīng)網(wǎng)絡(luò),訓(xùn)練后參數(shù)：,W1= -0.4059 8.5182 -0.5994 -0.1153 -1.1916; W2=0.6245 2.8382 0.6632 0.5783