1、上次課內(nèi)容回顧,生物神經(jīng)網(wǎng)六個基本特征 神經(jīng)元及其聯(lián)接、信號傳遞、學(xué)習(xí)、刺激與抑制、累積效果、 “閾值”。 人工神經(jīng)元的基本構(gòu)成,上次課內(nèi)容回顧,激活函數(shù)與M-P模型 線性函數(shù)、非線性斜面函數(shù)、閾值函數(shù) S形函數(shù) M-P模型,第3章 多層人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),主要內(nèi)容,人工神經(jīng)網(wǎng)絡(luò)的拓?fù)涮匦?單級網(wǎng) 簡單單級網(wǎng) 單級橫向反饋網(wǎng) 多級網(wǎng),介紹,求異或（XOR）操作是計算機中常用到的一種計算：0 XOR 0 = 00 XOR 1 = 11 XOR 0 = 11 XOR 1 = 0可以發(fā)現(xiàn)用原來的方法學(xué)習(xí)后的結(jié)果不能讓我們滿意，原因是單層神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)能力有限，需要使用更加復(fù)雜的網(wǎng)絡(luò)來學(xué)習(xí)。,該多層神經(jīng)網(wǎng)

2、絡(luò)在單層神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上增加了一層“隱藏層”（Hidden）,人工神經(jīng)網(wǎng)絡(luò)的拓?fù)涮匦?連接的拓?fù)浔硎?聯(lián)接模式,用正號（“+”，可省略）表示傳送來的信號起刺激作用，它用于增加神經(jīng)元的活躍度； 用負(fù)號（“-”）表示傳送來的信號起抑制作用，它用于降低神經(jīng)元的活躍度。 層次（又稱為“級”）的劃分，導(dǎo)致了神經(jīng)元之間的三種不同的互連模式：,聯(lián)接模式,1、 層（級）內(nèi)聯(lián)接 層內(nèi)聯(lián)接又叫做區(qū)域內(nèi)（Intra-field）聯(lián)接或側(cè)聯(lián)接（Lateral）。 用來加強和完成層內(nèi)神經(jīng)元之間的競爭 2、 循環(huán)聯(lián)接 反饋信號。,聯(lián)接模式,3、層（級）間聯(lián)接 層間（Inter-field）聯(lián)接指不同層中的神經(jīng)元之間的聯(lián)接

3、。這種聯(lián)接用來實現(xiàn)層間的信號傳遞 前饋信號 反饋信號,網(wǎng)絡(luò)的分層結(jié)構(gòu),單級網(wǎng) 簡單單級網(wǎng) 單級橫向反饋網(wǎng),簡單單級網(wǎng),簡單單級網(wǎng),W=（wij） 輸出層的第j個神經(jīng)元的網(wǎng)絡(luò)輸入記為netj： netj=x1w1j+x2w2j+xnwnj 其中, 1 j m。取 NET=（net1，net2，netm） NET=XW O=F（NET）,單級橫向反饋網(wǎng),單級橫向反饋網(wǎng),V=（vij） NET=XW+OV O=F（NET） 時間參數(shù)神經(jīng)元的狀態(tài)在主時鐘的控制下同步變化 考慮X總加在網(wǎng)上的情況 NET（t+1）=X（t）W+O（t）V O(t+1)=F(NET(t+1) O（0）=0 考慮僅在t=0時

4、加X的情況。 穩(wěn)定性判定,多級網(wǎng),層次劃分 信號只被允許從較低層流向較高層。 層號確定層的高低：層號較小者，層次較低，層號較大者，層次較高。 輸入層：被記作第0層。該層負(fù)責(zé)接收來自網(wǎng)絡(luò)外部的信息,第j層：第j-1層的直接后繼層（j0），它直接接受第j-1層的輸出。 輸出層：它是網(wǎng)絡(luò)的最后一層，具有該網(wǎng)絡(luò)的最大層號，負(fù)責(zé)輸出網(wǎng)絡(luò)的計算結(jié)果。 隱藏層：除輸入層和輸出層以外的其它各層叫隱藏層。隱藏層不直接接受外界的信號，也不直接向外界發(fā)送信號,約定 : 輸出層的層號為該網(wǎng)絡(luò)的層數(shù)：n層網(wǎng)絡(luò)，或n級網(wǎng)絡(luò)。 第j-1層到第j層的聯(lián)接矩陣為第j層聯(lián)接矩陣，輸出層對應(yīng)的矩陣叫輸出層聯(lián)接矩陣。今后，在需要的時

5、候，一般我們用W（j）表示第j層矩陣。,多級網(wǎng)h層網(wǎng)絡(luò),多級網(wǎng),非線性激活函數(shù) F(X)=kX+C F3(F2(F1(XW(1)W(2)W(3),循環(huán)網(wǎng),網(wǎng)絡(luò)結(jié)構(gòu) 與電子線路對應(yīng)： 放大器神經(jīng)元 電阻、電容 神經(jīng)元的時間常數(shù) 電導(dǎo)權(quán)系數(shù),循環(huán)網(wǎng),如果將輸出信號反饋到輸入端,就可構(gòu)成一個多層的循環(huán)網(wǎng)絡(luò)。 輸入的原始信號被逐步地“加強”、被“修復(fù)”。 大腦的短期記憶特征看到的東西不是一下子就從腦海里消失的。 穩(wěn)定：反饋信號會引起網(wǎng)絡(luò)輸出的不斷變化。我們希望這種變化逐漸減小，并且最后能消失。當(dāng)變化最后消失時，網(wǎng)絡(luò)達(dá)到了平衡狀態(tài)。如果這種變化不能消失，則稱該網(wǎng)絡(luò)是不穩(wěn)定的。,初始例子的實現(xiàn),基本的原理

6、就是用實際網(wǎng)絡(luò)計算出來的值和期望的值進行比較，然后來調(diào)整自己的權(quán)值。,/ / 根據(jù)期望的輸出和實際的輸出來調(diào)整權(quán)值 / / 期望的輸出 private void train_network(double outputs) /get momentum values (delta values from last pass) double delta_hidden = new double_nn.NumberOfHidden + 1; double delta_outputs = new double_nn.NumberOfOutputs;,/ Get the delta value for th

7、e output layer for (int i = 0; i _nn.NumberOfOutputs; i+) delta_outputsi = _nn.Outputsi * (1.0 - _nn.Outputsi) * (outputsi - _nn.Outputsi); ,/ Get the delta value for the hidden layer for (int i = 0; i _nn.NumberOfHidden + 1; i+) double error = 0.0; for (int j = 0; j _nn.NumberOfOutputs; j+) error += _nn.HiddenToOutputWeightsi, j * delta_outputsj; delta_hiddeni = _nn.Hiddeni