4.1人工神經(jīng)元模型人工神經(jīng)元是對人或其它生物的神經(jīng)元細胞的若干基本特性的抽象和模擬。

生物神經(jīng)元模型生物神經(jīng)元主要由細胞體、樹突和軸突組成，樹突和軸突負責(zé)傳入和傳出信息，興奮性的沖動沿樹突抵達細胞體，在細胞膜上累積形成興奮性電位；相反，抑制性沖動到達細胞膜則形成抑制性電位。兩種電位進行累加，若代數(shù)和超過某個閾值，神經(jīng)元將產(chǎn)生沖動。

當前1頁，總共47頁。4.1人工神經(jīng)元模型人工神經(jīng)元模型模仿生物神經(jīng)元產(chǎn)生沖動的過程，可以建立一個典型的人工神經(jīng)元數(shù)學(xué)模型[x1,…,xn]T為輸入向量，y為輸出，f(·)為激發(fā)函數(shù)，θ為閾值。Wi為神經(jīng)元與其它神經(jīng)元的連接強度，也稱權(quán)值。當前2頁，總共47頁。4.1人工神經(jīng)元模型常用的激發(fā)函數(shù)f的種類：1）閾值型函數(shù)當前3頁，總共47頁。4.1人工神經(jīng)元模型2）飽和型函數(shù)3）雙曲函數(shù)當前4頁，總共47頁。4.1人工神經(jīng)元模型4）S型函數(shù)5）高斯函數(shù)當前5頁，總共47頁。4.2神經(jīng)網(wǎng)絡(luò)的定義和特點神經(jīng)網(wǎng)絡(luò)系統(tǒng)是由大量的神經(jīng)元，通過廣泛地互相連接而形成的復(fù)雜網(wǎng)絡(luò)系統(tǒng)。

定義

特點（1）非線性映射逼近能力?？梢员平我獾倪B續(xù)非線性函數(shù)映射關(guān)系。（2）自適應(yīng)性和自組織性。神經(jīng)元之間的連接具有多樣性，各神經(jīng)元之間的連接強度具有可塑性，網(wǎng)絡(luò)可以通過學(xué)習(xí)與訓(xùn)練進行自組織。（3）并行處理性。網(wǎng)絡(luò)的各單元可以同時進行類似的處理過程，整個網(wǎng)絡(luò)的信息處理方式是大規(guī)模并行的，可以大大加快對信息處理的速度。（4）分布存儲和容錯性。網(wǎng)絡(luò)的每部分對信息的存儲具有等勢作用，部分的信息丟失仍可以信息得到恢復(fù)，因而網(wǎng)絡(luò)具有容錯性和聯(lián)想記憶功能。（5）便于集成實現(xiàn)和計算模擬。當前6頁，總共47頁。4.3感知器模型感知器(Perceptron)是由美國學(xué)者F.Rosenblatt于1957年提出的，它是一個具有單層計算單元的神經(jīng)網(wǎng)絡(luò)，并由線性閾值元件組成。

激發(fā)函數(shù)為閾值型函數(shù)，當其輸入的加權(quán)和大于或等于閾值時，輸出為1，否則為0或-1。它的權(quán)系W可變，這樣它就可以學(xué)習(xí)。

感知器的結(jié)構(gòu)當前7頁，總共47頁。4.3感知器模型感知器的學(xué)習(xí)算法學(xué)習(xí)算法：①給定初始值：賦給Wi(0)各一個較小的隨機非零值，這里Wi(t)為t時刻第i個輸入的權(quán)(1≤i≤n)，Wn+1(t)為t時刻的閾值；

②輸入一樣本X=(xi,…,xn,1)和它的希望輸出d；

③計算實際輸出④修正權(quán)W

：

Wi(t+1)=Wi(t)+η[d-Y(t)]xi,i=1,2,…,n+1

⑤轉(zhuǎn)到②直到W對一切樣本均穩(wěn)定不變?yōu)橹埂?/p>

當前8頁，總共47頁。4.3感知器模型根據(jù)某樣本訓(xùn)練時，均方差隨訓(xùn)練次數(shù)的收斂情況當前9頁，總共47頁。4.4神經(jīng)網(wǎng)絡(luò)的構(gòu)成和分類

構(gòu)成

從Perceptron模型可以看出神經(jīng)網(wǎng)絡(luò)通過一組狀態(tài)方程和一組學(xué)習(xí)方程加以描述。狀態(tài)方程描述每個神經(jīng)元的輸入、輸出、權(quán)值間的函數(shù)關(guān)系。學(xué)習(xí)方程描述權(quán)值應(yīng)該怎樣修正。神經(jīng)網(wǎng)絡(luò)通過修正這些權(quán)值來進行學(xué)習(xí)，從而調(diào)整整個神經(jīng)網(wǎng)絡(luò)的輸入輸出關(guān)系。分類

（1）從結(jié)構(gòu)上劃分

通常所說的網(wǎng)絡(luò)結(jié)構(gòu)，主要是指它的聯(lián)接方式。神經(jīng)網(wǎng)絡(luò)從拓撲結(jié)構(gòu)上來說，主要分為層狀和網(wǎng)狀結(jié)構(gòu)。

當前10頁，總共47頁。4.4神經(jīng)網(wǎng)絡(luò)的構(gòu)成和分類①層狀結(jié)構(gòu)：網(wǎng)絡(luò)由若干層組成，每層中有一定數(shù)量的神經(jīng)元，相鄰層中神經(jīng)元單向聯(lián)接，一般同層內(nèi)神經(jīng)元不能聯(lián)接。前向網(wǎng)絡(luò)：只有前后相鄰兩層之間神經(jīng)元相互聯(lián)接，各神經(jīng)元之間沒有反饋。每個神經(jīng)元從前一層接收輸入，發(fā)送輸出給下一層。

當前11頁，總共47頁。4.4神經(jīng)網(wǎng)絡(luò)的構(gòu)成和分類②網(wǎng)狀結(jié)構(gòu)：網(wǎng)絡(luò)中任何兩個神經(jīng)元之間都可能雙向聯(lián)接。反饋網(wǎng)絡(luò)：從輸出層到輸入層有反饋，每一個神經(jīng)元同時接收外來輸入和來自其它神經(jīng)元的反饋輸入，其中包括神經(jīng)元輸出信號引回自身輸入的自環(huán)反饋。

混合型網(wǎng)絡(luò)：前向網(wǎng)絡(luò)的同一層神經(jīng)元之間有互聯(lián)的網(wǎng)絡(luò)。當前12頁，總共47頁。4.4神經(jīng)網(wǎng)絡(luò)的構(gòu)成和分類（2）從激發(fā)函數(shù)的類型上劃分

高斯基函數(shù)神經(jīng)網(wǎng)絡(luò)、小波基函數(shù)神經(jīng)網(wǎng)絡(luò)、樣條基函數(shù)神經(jīng)網(wǎng)絡(luò)等

（3）從網(wǎng)絡(luò)的學(xué)習(xí)方式上劃分①有導(dǎo)師學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)②有導(dǎo)師學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)（4）從學(xué)習(xí)算法上來劃分：基于BP算法的網(wǎng)絡(luò)、基于Hebb算法的網(wǎng)絡(luò)、基于競爭式學(xué)習(xí)算法的網(wǎng)絡(luò)、基于遺傳算法的網(wǎng)絡(luò)。當前13頁，總共47頁。4.4多層前向BP神經(jīng)網(wǎng)絡(luò)

多層前向神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)多層前向神經(jīng)網(wǎng)絡(luò)由輸入層、隱層（不少于1層）、輸出層組成，信號沿輸入——>輸出的方向逐層傳遞。當前14頁，總共47頁。4.4多層前向BP神經(jīng)網(wǎng)絡(luò)沿信息的傳播方向，給出網(wǎng)絡(luò)的狀態(tài)方程，用Inj(i)，Outj(i)表示第i層第j個神經(jīng)元的輸入和輸出，則各層的輸入輸出關(guān)系可描述為：第一層（輸入層）：將輸入引入網(wǎng)絡(luò)第二層（隱層）第三層（輸出層）當前15頁，總共47頁。4.4多層前向BP神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)的學(xué)習(xí)

學(xué)習(xí)的基本思想是：誤差反傳算法調(diào)整網(wǎng)絡(luò)的權(quán)值，使網(wǎng)絡(luò)的實際輸出盡可能接近期望的輸出。假設(shè)有M個樣本:

將第k個樣本Xk輸入網(wǎng)絡(luò)，得到的網(wǎng)絡(luò)輸出為定義學(xué)習(xí)的目標函數(shù)為：當前16頁，總共47頁。4.4多層前向BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法是：令則當前17頁，總共47頁。4.4多層前向BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的步驟：（1）依次取第k組樣本，將Xk輸入網(wǎng)絡(luò)。（2）依次計算

，如果

，退出。（3）計算（4）計算（5），修正權(quán)值，返回（1）

當前18頁，總共47頁。例4.1多層前向BP網(wǎng)絡(luò)訓(xùn)練訓(xùn)練樣本SISO：SampleInput=[00.10.20.30.4];SampleOutput=[42222];網(wǎng)絡(luò)結(jié)構(gòu)：當前19頁，總共47頁。網(wǎng)絡(luò)輸入輸出關(guān)系：需訓(xùn)練的量：當前20頁，總共47頁。訓(xùn)練算法：當前21頁，總共47頁。訓(xùn)練初始參數(shù)：W1=rand(1,5);W2=rand(1,5);theta=rand(1,5);beta=rand(1,5);LearningRate1=0.2;LearningRate2=0.4;LearningRate3=0.2;LearningRate4=0.2;當前22頁，總共47頁。訓(xùn)練后參數(shù)：W1＝[-0.40598.5182-0.5994-0.1153-1.1916];W2=[0.62452.83820.66320.57833.5775];Beta=[1.6219-4.94031.60411.5145-0.3858];Theta=[1.58320.19001.54061.6665-0.1441];當前23頁，總共47頁。訓(xùn)練1000次目標函數(shù)的變化曲線：當前24頁，總共47頁。訓(xùn)練結(jié)束后神經(jīng)網(wǎng)絡(luò)的輸出與樣本的擬和情況當前25頁，總共47頁。4.4多層前向BP神經(jīng)網(wǎng)絡(luò)前向網(wǎng)絡(luò)進一步需研究的問題

局部最優(yōu)問題，（網(wǎng)絡(luò)初值選取不恰當）。學(xué)習(xí)算法收斂速度慢，Sigmaid函數(shù)本身存在無窮多閃導(dǎo)數(shù)，而BP算法只用了一次導(dǎo)數(shù)，致使收斂速度慢。網(wǎng)絡(luò)的運行是單向傳播，沒有反饋，是一個非淺性映射，而不是非淺性動力系統(tǒng)。網(wǎng)絡(luò)隱層節(jié)點個數(shù)和初始權(quán)值的選取，尚無理論指導(dǎo)。

當前26頁，總共47頁。4.5大腦自組織神經(jīng)網(wǎng)絡(luò)腦神經(jīng)科學(xué)研究表明：傳遞感覺的神經(jīng)元排列是按某種規(guī)律有序進行的，這種排列往往反映所感受的外部刺激的某些物理特征。

大腦自組織神經(jīng)網(wǎng)絡(luò)在接受外界輸入時，將會分成不同的區(qū)域，不同的區(qū)域?qū)Σ煌哪Ｊ骄哂胁煌捻憫?yīng)特征，即不同的神經(jīng)元以最佳方式響應(yīng)不同性質(zhì)的信號激勵，從而形成一種拓撲意義上的有序排列

當前27頁，總共47頁。4.5大腦自組織神經(jīng)網(wǎng)絡(luò)在這種網(wǎng)絡(luò)中，輸出節(jié)點與其鄰域其他節(jié)點廣泛相連，并互相激勵。輸入節(jié)點和輸出節(jié)點之間通過強度wij(t)相連接。通過某種規(guī)則，不斷地調(diào)整wij(t)，使得在穩(wěn)定時，每一鄰域的所有節(jié)點對某種輸入具有類似的輸出，并且這種聚類的概率分布與輸入模式的概率分布相接近。

當前28頁，總共47頁。4.5大腦自組織神經(jīng)網(wǎng)絡(luò)自組織學(xué)習(xí)算法：權(quán)值初始化并選定領(lǐng)域的大?。?2)輸入模式；

(3)計算空間距離(4)選擇節(jié)點j*，它滿足(5)按下式改變j*和其領(lǐng)域節(jié)點的連接強度

wij(t+1)=wij(t)+η(t)[xi(t)-wij(t)],η(t)為衰減因子。

(6)返回到第(2)步，直至滿足[xi(t)-wij(t)]2＜ε。當前29頁，總共47頁。4.5大腦自組織神經(jīng)網(wǎng)絡(luò)例4.2大腦自組織網(wǎng)絡(luò)的訓(xùn)練輸入模式：X＝[x1,x2,x3]網(wǎng)絡(luò)節(jié)點數(shù)量：9鄰域：1網(wǎng)絡(luò)初始權(quán)值：W=[0.11220.01470.28160.78390.90280.82890.52080.46080.4435

0.44330.66410.26180.98620.45110.16630.71810.44530.3663

0.46680.72410.70850.47330.80450.39390.56920.08770.3025];當前30頁，總共47頁。4.5大腦自組織神經(jīng)網(wǎng)絡(luò)1.單模式訓(xùn)練情況輸入為：X=[001]結(jié)果：W=[0.11220.00000.00000.00000.90280.82890.52080.46080.44350.44330.00000.00000.00000.45110.16630.71810.44530.36630.46681.00001.00001.00000.80450.39390.56920.08770.3025]輸入為：X=[010]結(jié)果：W=[0.11220.01470.28160.78390.90280.82890.00000.00000.00000.44330.66410.26180.98620.45110.16631.00001.00001.00000.46680.72410.70850.47330.80450.39390.00000.00000.0000]當前31頁，總共47頁。4.5大腦自組織神經(jīng)網(wǎng)絡(luò)2.多模式訓(xùn)練情況100010001Input=訓(xùn)練結(jié)果：0.00000.00001.00001.00001.00000.00000.00000.00000.00000.00000.00000.00000.00000.00001.00001.00001.00001.00001.00001.00000.00000.00000.00000.00000.00000.00000.0000W＝網(wǎng)絡(luò)輸出：Output=Input*W=0.00000.00001.00001.00001.00000.00000.00000.00000.00000.00000.00000.00000.00000.00001.00001.00001.00001.00001.00001.00000.00000.00000.00000.00000.00000.00000.0000模式1模式2模式3模式2模式1模式3模式1模式2模式3當前32頁，總共47頁。4.6小腦神經(jīng)網(wǎng)絡(luò)小腦模型關(guān)節(jié)控制器（CMAC）是由Albus最初于1975年基于神經(jīng)生理學(xué)提出的，它是一種基于局部逼近的簡單快速的神經(jīng)網(wǎng)絡(luò)，能夠?qū)W習(xí)任意多維非線性映射,迄今已廣泛用于許多領(lǐng)域。CMAC具有優(yōu)點：具有局部逼近能力，每次修正的權(quán)值極少，學(xué)習(xí)速度快，適合于在線學(xué)習(xí)；一定的泛化能力，相近輸入給出相近輸出，不同輸入給出不同輸出；當前33頁，總共47頁。4.6小腦神經(jīng)網(wǎng)絡(luò)CMAC的原理CMAC是一種模仿人類小腦的學(xué)習(xí)結(jié)構(gòu),每個狀態(tài)變量被量化并且輸入空間被劃分成離散狀態(tài)。量化的輸入構(gòu)成的向量指定了一個離散狀態(tài)并且被用于產(chǎn)生地址來激活聯(lián)想單元中存儲的聯(lián)想強度從而恢復(fù)這個狀態(tài)的信息。當前34頁，總共47頁。4.6小腦神經(jīng)網(wǎng)絡(luò)CMAC的空間劃分和量化機制超立方體聯(lián)想單元“塊”當前35頁，總共47頁。4.6小腦神經(jīng)網(wǎng)絡(luò)CMAC學(xué)習(xí)的數(shù)學(xué)推導(dǎo)1)無hash映射的CMAC每個量化的狀態(tài)對應(yīng)Ne個聯(lián)想單元。假設(shè)Nh是總的聯(lián)想單元的數(shù)量，該數(shù)量與沒有hash映射時的物理存儲空間大小一致。用CMAC技術(shù)，第s個狀態(tài)對應(yīng)的輸出數(shù)據(jù)ys可以被表示為：

式中W是代表存儲內(nèi)容（聯(lián)想強度）的向量，Cs是存儲單元激活向量，該向量包含Ne個1。當前36頁，總共47頁。4.6小腦神經(jīng)網(wǎng)絡(luò)2)有hash映射的CMAChash映射將幾個聯(lián)想單元和一個物理存儲位置(hash單元)相對應(yīng)。hash單元中存儲聯(lián)想強度，而此時的聯(lián)想單元是虛擬的存儲空間，只存儲hash單元的散列地址編碼。用有hash映射的CMAC技術(shù)，第s個狀態(tài)對應(yīng)的輸出數(shù)據(jù)ys可以被表示為：Mp是hash單元的數(shù)量。hij=1表示聯(lián)想單元i激活hash單元j。由于每個聯(lián)想單元僅僅和一個hash單元相對應(yīng)，所以hash矩陣H的每一行僅有一個單元等于1，其余的都等于0。

當前37頁，總共47頁。4.6小腦神經(jīng)網(wǎng)絡(luò)

沒有hash映射的公式和有hash映射的公式可以合并為一個式子：

CMAC的學(xué)習(xí)CMAC用迭代算法來訓(xùn)練聯(lián)想強度。在學(xué)習(xí)中，我們將Ns個訓(xùn)練數(shù)據(jù)重復(fù)用于學(xué)習(xí)。在第i次迭代中用第s個樣本學(xué)習(xí)的迭代算法為：

S：樣本數(shù)i：迭代次數(shù)α：學(xué)習(xí)率期望輸出當前38頁，總共47頁。4.6小腦神經(jīng)網(wǎng)絡(luò)當前39頁，總共47頁。4.6小腦神經(jīng)網(wǎng)絡(luò)例4.3CMAC訓(xùn)練樣本：SampleInput1=[0.050.150.250.35];SampleInput2=[0.050.150.250.35];SampleOutput=[4444;2222;3333;1111];量化：兩輸入均量化為四個元素ifx1>0&&x1<=0.1indexX1=1;elseifx1>0.1&&x1<=0.2indexX1=2;elseifx1>0.2&&x1<=0.3indexX1=3;elseifx1>0.3&&x1<=0.4indexX1=4;end當前40頁，總共47頁。4.6小腦神經(jīng)網(wǎng)絡(luò)狀態(tài)編號：MSTATENUM=12345678910111213141516激活向量矩陣：

100010001000100001001000100001000100010001000100100000101000100000011000100000010100010000010100100000100010100000010010100000010001010000010001001000100010001000010010001000010001000100010001MC=當前41頁，總共47頁。4.6小腦神經(jīng)網(wǎng)絡(luò)聯(lián)想強度初