1、神經(jīng)網(wǎng)絡(luò)原理第一章1第一章 概論神經(jīng)網(wǎng)絡(luò)種類生物神經(jīng)網(wǎng)絡(luò)（Biological Neural Networks）人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Networks)神經(jīng)網(wǎng)絡(luò)原理第一章21.1 生物神經(jīng)元及生物神經(jīng)網(wǎng)絡(luò) （Biological Neuron and Biological Neural Networks）1.2 人工神經(jīng)網(wǎng)絡(luò)(Aritificial Neural networks)1.3 ANN的發(fā)展 (Development of ANN)1.4 ANN與AC (ANN and Automatic Control)神經(jīng)網(wǎng)絡(luò)原理第一章31.1 生物神經(jīng)元網(wǎng)絡(luò)1.1.

2、1生物神經(jīng)元 1.1.2人腦神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)原理第一章41.1.1 生物神經(jīng)元。 人的大腦由1012個(gè)神經(jīng)元構(gòu)成，神經(jīng)元互相連接成神經(jīng)網(wǎng)絡(luò)神經(jīng)元組成：細(xì)胞體為主體1873年, 意大利 Cajai 銀滲透法 發(fā)現(xiàn)Golgi 體神經(jīng)元功能：刺激、興奮、傳導(dǎo)、效應(yīng)形狀圖神經(jīng)元類型原則突觸傳遞信息特點(diǎn)神經(jīng)網(wǎng)絡(luò)原理第一章5形狀圖神經(jīng)網(wǎng)絡(luò)原理第一章6類型單極無脊椎動(dòng)物雙極視網(wǎng)膜神經(jīng)元neuron多極脊椎、錐體、小腦蒲根神經(jīng)網(wǎng)絡(luò)原理第一章7原 則Cajai將Golgi方法用于神經(jīng)元研究，得到兩條原則，奠定了神經(jīng)元間信息傳遞的理論基礎(chǔ)原則1 動(dòng)態(tài)極化原則（即信號(hào)沿確定方向流動(dòng)） 樹突 軸突 突觸 其他神經(jīng)元原

3、則2 連接的專一性原則 神經(jīng)元之間元細(xì)胞質(zhì)的連續(xù) 神經(jīng)元不構(gòu)成隨機(jī)網(wǎng)絡(luò) 每一神經(jīng)元與一些神經(jīng)元形成特殊的精確的聯(lián)系 神經(jīng)網(wǎng)絡(luò)原理第一章8突觸傳遞信息特點(diǎn)1 時(shí)延性 :（0.31ms）2 綜合性 ：時(shí)間與空間的累加3 類型：興奮與抑制4 脈沖與電位轉(zhuǎn)換: （D/A功能）5 速度：1150m/s6 不應(yīng)期（死區(qū)）：35ms7 不可逆性（單向）8 可塑性 :強(qiáng)度可變 ,有學(xué)習(xí)功能 神經(jīng)網(wǎng)絡(luò)原理第一章91.1.2 人腦神經(jīng)網(wǎng)絡(luò)腦神經(jīng)系統(tǒng)主要組成部分大腦皮層由許多功能區(qū)組成（運(yùn)動(dòng)、聽覺、視覺等） 神經(jīng)元群 其區(qū)域性結(jié)構(gòu)：遺傳 其功能：后天對(duì)環(huán)境的適應(yīng)于學(xué)習(xí)得來 （自組織特性Self-Organizati

4、on） 子功能模塊的并行關(guān)系 a) 連接形式 b) 大腦處理信息的特點(diǎn) C) 生物學(xué)研究成果 神經(jīng)網(wǎng)絡(luò)原理第一章10連接形式輻射式：一到多聚合式：多到一鏈鎖式：空間上加強(qiáng)與擴(kuò)大作用環(huán)式：反饋?zhàn)饔茫烧韶?fù)）神經(jīng)網(wǎng)絡(luò)原理第一章11輻射式：一到多神經(jīng)網(wǎng)絡(luò)原理第一章12聚合式：多到一神經(jīng)網(wǎng)絡(luò)原理第一章13鏈鎖式：空間上加強(qiáng)與擴(kuò)大作用神經(jīng)網(wǎng)絡(luò)原理第一章14環(huán)式：反饋?zhàn)饔茫烧韶?fù))神經(jīng)網(wǎng)絡(luò)原理第一章15 大腦處理信息的特點(diǎn) 分布存儲(chǔ)與冗余性：記憶在大量元中，每個(gè)元存在許多信息的部分內(nèi)容，信息在神經(jīng)網(wǎng)絡(luò)中的記憶反映在神經(jīng)元間的突觸連接強(qiáng)度上（weights）。并行處理：NN既是處理器又是存儲(chǔ)器（并行處理

5、不同于并行機(jī)）。信息處理與存儲(chǔ)合一：每個(gè)元兼有二者功能?？伤苄耘c自組織性：可塑性是學(xué)習(xí)記憶的基礎(chǔ)。魯棒性：高連接度導(dǎo)致一定的誤差和噪聲不會(huì)使網(wǎng)絡(luò)性能惡化。是智能演化的重要因素。神經(jīng)網(wǎng)絡(luò)原理第一章16BNN研究成果H-H方程 英 A.L.Hodgkin與A.F.Huxley 長(zhǎng)槍烏賊魚電器特性 得到四個(gè)變量的非線性微分方程，獲Nobel生物醫(yī)學(xué)獎(jiǎng) 許多NL問題可用此解釋 e.g. 自激振蕩 chaos. 多重穩(wěn)定性等神經(jīng)網(wǎng)絡(luò)原理第一章171.2 人工神經(jīng)網(wǎng)絡(luò)研究大腦的目的：a）揭示功能造福人類 b）構(gòu)造ANN用于工程及其他領(lǐng)域（生物神經(jīng)網(wǎng)絡(luò)的模型化：ANN） BNN modelingANN AN

6、N非BNN模型，而是對(duì)結(jié)構(gòu)及功能大大簡(jiǎn)化后保留主要特性的某種抽象與模型。 神經(jīng)網(wǎng)絡(luò)原理第一章18神經(jīng)網(wǎng)絡(luò)直觀理解神經(jīng)網(wǎng)絡(luò)是一個(gè)并行和分布式的信息處理網(wǎng)絡(luò)結(jié)構(gòu)，它一般由許多個(gè)神經(jīng)元組成，每個(gè)神經(jīng)元只有一個(gè)輸出，它可以連接到很多其他的神經(jīng)元，每個(gè)神經(jīng)元輸入有多個(gè)連接通道，每個(gè)連接通道對(duì)應(yīng)于一個(gè)連接權(quán)系數(shù)。神經(jīng)網(wǎng)絡(luò)原理第一章19人工神經(jīng)網(wǎng)絡(luò)內(nèi)容1.2.1人工神經(jīng)元模型 （Artificial Neuron model）1.2.2人工神經(jīng)網(wǎng)絡(luò)的構(gòu)成 （structure of ANN）1.2.3人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí) （learning or training of ANN）1.2.4 ANN與BNN的特

7、點(diǎn)比較 (Comparison of features of ANN and BNN)神經(jīng)網(wǎng)絡(luò)原理第一章20 1.2.1 人工神經(jīng)元模型 BNN 信息傳遞過程 為 MISO 系統(tǒng),信號(hào)為脈沖，當(dāng)脈沖到達(dá)突觸前膜時(shí)，前膜釋放化學(xué)物質(zhì)，結(jié)果在突觸后產(chǎn)生突觸后電位，其大小與脈沖密度有關(guān)（時(shí)間總合效應(yīng)）。 各通道都對(duì)電位產(chǎn)生影響（空間總合效應(yīng)）。 神經(jīng)網(wǎng)絡(luò)原理第一章21 BNN 脈沖， ANN 模擬電壓ANN等效模擬電壓近似BNN脈沖密度，僅有空間累加無時(shí)間累加（可認(rèn)為時(shí)間累加已隱含于等效模擬電壓之中）ANN中未考慮時(shí)延、不應(yīng)期及疲勞等 可建立更為精確的模型，但一般NN研究無此必要（方法論）神經(jīng)網(wǎng)絡(luò)原

8、理第一章22神經(jīng)元模型（1）神經(jīng)元是人工神經(jīng)網(wǎng)絡(luò)的基本處理單元，它一般是一個(gè)多輸入/多輸出的非線性元件。神經(jīng)元輸出除受輸入信號(hào)的影響之外，同時(shí)也受到神經(jīng)元內(nèi)部其他因素的影響，所以在人工神經(jīng)元的建模中，常常還加有一個(gè)額外輸入信號(hào)，稱為偏差（bais），有時(shí)也稱為閥值或門限值。神經(jīng)網(wǎng)絡(luò)原理第一章23神經(jīng)元模型（2） 。 神經(jīng)網(wǎng)絡(luò)原理第一章24抽象可得數(shù)學(xué)表達(dá)式： 數(shù)值（weights) 閥值（threshold） 作用函數(shù)（activated transfer function） 神經(jīng)網(wǎng)絡(luò)原理第一章25作用函數(shù)的基本作用1、控制輸入對(duì)輸出的激活作用；2、對(duì)輸入、輸出進(jìn)行函數(shù)轉(zhuǎn)換；3、將可能無限域的

9、輸入變換成指定的有限范圍內(nèi)的輸出。 神經(jīng)網(wǎng)絡(luò)原理第一章26幾種常用的作用函數(shù) 1、閥值型（硬限制型) 2、線性型 3、S型函數(shù)（Sigmoid） 4、輻射基函數(shù)神經(jīng)網(wǎng)絡(luò)原理第一章271、閥值型（硬限制型） 神經(jīng)網(wǎng)絡(luò)原理第一章28神經(jīng)網(wǎng)絡(luò)原理第一章292、線性型a) 全線性 神經(jīng)網(wǎng)絡(luò)原理第一章30b) 正線性神經(jīng)網(wǎng)絡(luò)原理第一章313、S型函數(shù)（Sigmoid）a) 對(duì)數(shù)正切 y=1/(e-n+1)神經(jīng)網(wǎng)絡(luò)原理第一章32b)雙曲正切 y=tanh(n)神經(jīng)網(wǎng)絡(luò)原理第一章334.輻射基函數(shù)a) 高斯函數(shù)神經(jīng)網(wǎng)絡(luò)原理第一章34b)三角波函數(shù)神經(jīng)網(wǎng)絡(luò)原理第一章35人工神經(jīng)網(wǎng)絡(luò)的構(gòu)成基本模型連接的幾種基本

10、形式前向網(wǎng)絡(luò)（feed-forward Networks）回歸網(wǎng)絡(luò)（recurrent Networks）互聯(lián)網(wǎng)絡(luò)（全互連與局部互連）也可是以上幾種形式的組合神經(jīng)網(wǎng)絡(luò)原理第一章36神經(jīng)網(wǎng)絡(luò)基本模型 神經(jīng)網(wǎng)絡(luò)原理第一章37前向網(wǎng)絡(luò)結(jié)構(gòu)圖神經(jīng)網(wǎng)絡(luò)原理第一章38前向網(wǎng)絡(luò)特點(diǎn) 1. 神經(jīng)元分層排列，可又多層 2. 層間無連接 3. 方向由入到出 感知網(wǎng)絡(luò)（perceptron即為此） 應(yīng)用最為廣泛 神經(jīng)網(wǎng)絡(luò)原理第一章39回歸網(wǎng)絡(luò)全反饋結(jié)構(gòu)圖神經(jīng)網(wǎng)絡(luò)原理第一章40 Inner RNN結(jié)構(gòu)圖神經(jīng)網(wǎng)絡(luò)原理第一章41回歸網(wǎng)絡(luò)特點(diǎn)Output 與 Input相連（全反饋） 特點(diǎn)：1. 內(nèi)部前向 2. 輸出反饋到

11、輸入 例： Fukushima網(wǎng)絡(luò)Inner recurrent 特點(diǎn)：層間元互相連接神經(jīng)網(wǎng)絡(luò)原理第一章42互聯(lián)網(wǎng)絡(luò)結(jié)構(gòu)圖 神經(jīng)網(wǎng)絡(luò)原理第一章43互聯(lián)網(wǎng)絡(luò)特點(diǎn)每個(gè)元都與其它元相連 例： Hopfield Boltzmann機(jī) 神經(jīng)網(wǎng)絡(luò)原理第一章441.2.3人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí) ANN研究中的核心問題 How to determine the weights(加權(quán)系數(shù))學(xué)習(xí)規(guī)則簡(jiǎn)介 神經(jīng)網(wǎng)絡(luò)原理第一章45學(xué)習(xí)規(guī)則1）直接設(shè)計(jì)計(jì)算 e.g. Hopfield 作優(yōu)化計(jì)算2）學(xué)習(xí)得到,即通過訓(xùn)練(training)神經(jīng)網(wǎng)絡(luò)原理第一章46常用學(xué)習(xí)規(guī)則a) Hebb學(xué)習(xí) D.Hebb1949年提出：兩元

12、同時(shí)興奮，則突觸連接加強(qiáng)b)學(xué)習(xí)規(guī)則 誤差校正規(guī)則 梯度方法 （BP即為其中一種） 神經(jīng)網(wǎng)絡(luò)原理第一章47c) 相近學(xué)習(xí)規(guī)則 使 ART SOFM 自組織競(jìng)爭(zhēng)用此規(guī)則神經(jīng)網(wǎng)絡(luò)原理第一章48ANN 與BNN比較 數(shù)學(xué)觀點(diǎn) ANN的8項(xiàng)特征 ANN與BNN的比較神經(jīng)網(wǎng)絡(luò)原理第一章49數(shù)學(xué)觀點(diǎn)ANN使一個(gè)以處理單元（PE： process element）為節(jié)點(diǎn)，用加權(quán)有向弧連接而成的有向圖。（1）每個(gè)節(jié)點(diǎn)有一個(gè)狀態(tài)變量;（2）節(jié)點(diǎn)i到節(jié)點(diǎn)j有一個(gè)連接權(quán)值;（3）每個(gè)節(jié)點(diǎn)有一個(gè)閥值；（4）每個(gè)節(jié)點(diǎn)定義一個(gè)變換函數(shù)。 PE是對(duì)BN的模擬，有向弧是對(duì)“軸突樹突”對(duì)的模擬。綜合全部有向弧形成的互連矩陣強(qiáng)度

13、對(duì)應(yīng)于人腦中信息的長(zhǎng)期記憶。PE由NL函數(shù)實(shí)現(xiàn)單元I/O的NL映射，即時(shí)活躍值對(duì)應(yīng)于人腦中的短期記憶。神經(jīng)網(wǎng)絡(luò)原理第一章50ANN的8項(xiàng)特征處理單元活躍狀態(tài)連接模型傳遞規(guī)則參考 胡守仁 書活躍規(guī)則輸出規(guī)則學(xué)習(xí)規(guī)則環(huán)境 神經(jīng)網(wǎng)絡(luò)原理第一章51ANN與BNN的比較BNNANN單元上差別影響因素多忽略了影響關(guān)系簡(jiǎn)單信息上差別脈沖模擬電壓規(guī)模及智能大, 高I小 個(gè)元 低I 神經(jīng)網(wǎng)絡(luò)原理第一章521.3 ANN的發(fā)展ANN的發(fā)展史ANN的現(xiàn)狀 1）NN研究學(xué)術(shù)機(jī)構(gòu) 2）NN研究的主要問題方向： 1. 理論研究 2. 應(yīng)用研究神經(jīng)網(wǎng)絡(luò)原理第一章53ANN的發(fā)展史20世紀(jì)40年代：興起與蕭條 1943年 M

14、-P model 心理學(xué)家W.S.McCulloch和 數(shù)學(xué)家W.Pitts提出： 形式神經(jīng)元的數(shù)學(xué)描述與構(gòu)造方法 與閥值神經(jīng)元model基本相同，權(quán)值固定 1949年 心理學(xué)家D.O.Hebb提出突觸強(qiáng)度可調(diào)的 假設(shè)： 學(xué)習(xí)過程發(fā)生在突觸上 Hebb規(guī)則：神經(jīng)網(wǎng)絡(luò)原理第一章5420世紀(jì)50年代 , 第一次高潮 1957年：F.Rosenblatt提出感知網(wǎng)絡(luò)（Perceptron）模型，這是第一個(gè)完整的ANN 基本構(gòu)成為閥值單元、網(wǎng)絡(luò) 初具并行處理、分布存儲(chǔ)、學(xué)習(xí)等功能 用于模式識(shí)別、聯(lián)想記憶 引起NN研究的第一次高潮神經(jīng)網(wǎng)絡(luò)原理第一章5520世紀(jì)60年代,低潮1969年 Minsky和Pa

15、pert編寫的Perceptron 出版，使NN的研究進(jìn)入低潮 Problems：single lager P.僅可解線性問題， NL XON無法求解； 應(yīng)該是MLP，但SLP MLP是否有 意義，理論上不能得到有利證明 當(dāng)時(shí)現(xiàn)狀：數(shù)學(xué)機(jī)發(fā)達(dá)，認(rèn)為可解決一切問題 工業(yè)水平上，NNC不存在 但工作并未停止。 神經(jīng)網(wǎng)絡(luò)原理第一章561975年 Albus提出CMAC網(wǎng)絡(luò)（Cerebella Model Articulation Controller） 1977年 英國(guó) Grossberg提出ART網(wǎng)絡(luò) （Adaptive Resonance Theory） Kohonen提出自組織映射理論 福島邦

16、彥（K.Fukushima）提出認(rèn)識(shí) 機(jī)（Neocognitron）模型 甘利俊（S.Amari）：NN數(shù)學(xué)理論其它NL系統(tǒng)理論 Prigogine 非平衡系統(tǒng)的自組織理論 Haken 協(xié)同學(xué)神經(jīng)網(wǎng)絡(luò)原理第一章5720世紀(jì)80年代 第二次高潮Reasons: 1）AI理論 Neumann計(jì)算機(jī)功能受挫（智能、視覺處理等） 2）ANN有新成果、腦科學(xué)、神經(jīng)科學(xué) VLSI、光電技術(shù)的發(fā)展 神經(jīng)網(wǎng)絡(luò)原理第一章58J.J.Hopfield 1982年 Hopfield網(wǎng)絡(luò)模型：網(wǎng)絡(luò)能量數(shù)據(jù)、網(wǎng)絡(luò)穩(wěn)定性判據(jù) 1984年 HNN用電子線路實(shí)現(xiàn) HNN用途：聯(lián)想記憶、優(yōu)化計(jì)算機(jī)的新途徑1984年 Hilto

17、n 引入模擬退火法，提出Boltzmann機(jī)網(wǎng)絡(luò)1986年 Rumelhart提出EBP學(xué)習(xí)算法，解決了MLP隱含層 weights 學(xué)習(xí)問題（error Back-Propagation）神經(jīng)網(wǎng)絡(luò)原理第一章591987年 Nielson提出了對(duì)向傳播（Counter Propagation）神經(jīng)網(wǎng)絡(luò)1988年 L.O.Chua提出細(xì)胞神經(jīng)網(wǎng)絡(luò)（CNN）模型自1958年來已有近40種NN model神經(jīng)網(wǎng)絡(luò)原理第一章60NN研究學(xué)術(shù)機(jī)構(gòu) 1987年 國(guó)際神經(jīng)網(wǎng)絡(luò)學(xué)會(huì) 定期召開ICNN會(huì)議 1988年 IEEE Transaction on Neural Network 創(chuàng)刊 1990.12 C

18、CNN（中國(guó)）第一次會(huì)議 1991年 中國(guó)神經(jīng)網(wǎng)絡(luò)學(xué)會(huì)神經(jīng)網(wǎng)絡(luò)原理第一章61理論研究利用神經(jīng)生物和認(rèn)知科學(xué)研究大腦思維及智能的機(jī)理利用上一項(xiàng)成果，用數(shù)理方法探索智能水平更高的ANN model 1）深入研究網(wǎng)絡(luò)算法和性能 e.g.穩(wěn)定 性、收斂性、容錯(cuò)性、魯棒性 2）開發(fā)性的網(wǎng)絡(luò)數(shù)據(jù)理論：神經(jīng)網(wǎng)絡(luò) 動(dòng)力學(xué)、非線性神經(jīng)場(chǎng) 神經(jīng)網(wǎng)絡(luò)原理第一章62應(yīng)用研究神經(jīng)網(wǎng)絡(luò)軟件模擬和硬件實(shí)現(xiàn)的研究NN在各個(gè)技術(shù)領(lǐng)域中應(yīng)用研究 e.g.模式識(shí)別、信號(hào)處理、知識(shí)工程、專家系統(tǒng)、優(yōu)化組合、智能控制等神經(jīng)網(wǎng)絡(luò)原理第一章63 1.4 ANN 與自動(dòng)控制需求是發(fā)明之母 控制領(lǐng)域的三個(gè)需求AC歷史NN在AC上應(yīng)用的吸引力NN在AC上的應(yīng)用神經(jīng)網(wǎng)絡(luò)原理第一章64AC需求處理不斷復(fù)雜的對(duì)象完成不斷復(fù)雜的設(shè)計(jì)在對(duì)象和環(huán)境的知識(shí)所知甚少的情況下達(dá)到以上兩點(diǎn)要求神經(jīng)網(wǎng)絡(luò)原理第一章65AC歷史1932年 Nyquist反饋放大器 20世紀(jì)60年代 狀態(tài)空間理論20世紀(jì)90年代 智能控制方法及理論神經(jīng)網(wǎng)絡(luò)原理第一章66NN在AC上應(yīng)用的吸引力任何精度逼近任意連接非線性函數(shù)（NL系統(tǒng)統(tǒng)一描述）對(duì)復(fù)雜不確定問題具有自適應(yīng)、學(xué)習(xí)能力并行機(jī)制解決實(shí)時(shí)計(jì)算，并行機(jī)制冗余性容錯(cuò)能力信息融合（Fusion），多媒體技術(shù)神經(jīng)計(jì)算 AC 優(yōu)化 矩陣網(wǎng)絡(luò)計(jì)算易于VLSI、光學(xué)IC、計(jì)算機(jī)虛擬實(shí)現(xiàn)NN神經(jīng)網(wǎng)絡(luò)原理第一章67NN