1、神經(jīng)網(wǎng)絡理論基礎,人工神經(jīng)網(wǎng)絡是近年來得到迅速發(fā)展的一個前沿課題。神經(jīng)網(wǎng)絡由于其大規(guī)模并行處理、容錯性、自組織和自適應能力和聯(lián)想功能強等特點，已成為解決很多問題的有力工具。本節(jié)首先對神經(jīng)網(wǎng)絡作簡單介紹，然后介紹幾種常用的神經(jīng)網(wǎng)絡，包括感知器（前向神經(jīng)網(wǎng)絡）、BPN（反向傳播神經(jīng)網(wǎng)絡）和 Hopfield網(wǎng)絡。,1 生物神經(jīng)元 2 人工神經(jīng)網(wǎng)絡發(fā)展簡史 3 人工神經(jīng)網(wǎng)絡結構 4 神經(jīng)網(wǎng)絡基本學習算法,內容安排,1 人工神經(jīng)網(wǎng)絡發(fā)展簡史,最早的研究可以追溯到20世紀40年代。1943年，心理學家McCulloch和數(shù)學家Pitts合作提出了形式神經(jīng)元的數(shù)學模型。這一模型一般被簡稱M-P神經(jīng)網(wǎng)絡模型

2、，至今仍在應用，可以說，人工神經(jīng)網(wǎng)絡的研究時代，就由此開始了。 1949年，心理學家Hebb提出神經(jīng)系統(tǒng)的學習規(guī)則，為神經(jīng)網(wǎng)絡的學習算法奠定了基礎?，F(xiàn)在，這個規(guī)則被稱為Hebb規(guī)則，許多人工神經(jīng)網(wǎng)絡的學習還遵循這一規(guī)則。,1957年，F(xiàn).Rosenblatt提出“感知器”(Perceptron) 模型，第一次把神經(jīng)網(wǎng)絡的研究從純理論的探討付諸工程實踐，掀起了人工神經(jīng)網(wǎng)絡研究的第一次高潮。 20世紀60年代以后，數(shù)字計算機的發(fā)展達到全盛時期，人們誤以為數(shù)字計算機可以解決人工智能、專家系統(tǒng)、模式識別問題，而放松了對“感知器”的研究。于是，從20世紀60年代末期起，人工神經(jīng)網(wǎng)絡的研究進入了低潮。,1

3、982年，美國加州工學院物理學家Hopfield提出了離散的神經(jīng)網(wǎng)絡模型，標志著神經(jīng)網(wǎng)絡的研究又進入了一個新高潮。1984年，Hopfield又提出連續(xù)神經(jīng)網(wǎng)絡模型，開拓了計算機應用神經(jīng)網(wǎng)絡的新途徑。 1986年，Rumelhart和Meclelland提出多層網(wǎng)絡的誤差反傳(back propagation)學習算法，簡稱BP算法。BP算法是目前最為重要、應用最廣的人工神經(jīng)網(wǎng)絡算法之一。,自20世紀80年代中期以來，世界上許多國家掀起了神經(jīng)網(wǎng)絡的研究熱潮，可以說神經(jīng)網(wǎng)絡已成為國際上的一個研究熱點。,2 生物神經(jīng)元,生物神經(jīng)元 突觸信息處理 信息傳遞功能與特點,一、生物神經(jīng)元,神經(jīng)元是大腦處理

4、信息的基本單元 人腦約由101l-1012個神經(jīng)元組成，其中，每個神經(jīng)元約與104-105個神經(jīng)元通過突觸聯(lián)接，形成極為錯縱復雜而且又靈活多變的神經(jīng)網(wǎng)絡 神經(jīng)元以細胞體為主體，由許多向周圍延伸的不規(guī)則樹枝狀纖維構成的神經(jīng)細胞，其形狀很像一棵枯樹的枝干 主要由細胞體、樹突、軸突和突觸(Synapse，又稱神經(jīng)鍵)組成,生物神經(jīng)元網(wǎng)絡結構,樹突是樹狀的神經(jīng)纖維接收網(wǎng)絡，它將電信號傳送到細胞體 細胞體對這些輸入信號進行整合并進行閾值處理 軸突是單根長纖維，它把細胞體的輸出信號導向其他神經(jīng)元 一個神經(jīng)細胞的軸突和另一個神經(jīng)細胞樹突的結合點稱為突觸,神經(jīng)元的排列和突觸的強度(由復雜的化學過程決定)確立了

5、神經(jīng)網(wǎng)絡的功能。,生物學研究表明一些神經(jīng)結構是與生俱來的，而其他部分則是在學習的過程中形成的。 在學習的過程中，可能會產(chǎn)生一些新的連接，也可能會使以前的一些連接消失。這個過程在生命早期最為顯著。,二、突觸的信息處理,生物神經(jīng)元傳遞信息的過程為多輸入、單輸出； 神經(jīng)元各組成部分的功能來看，信息的處理與傳遞主要發(fā)生在突觸附近； 當神經(jīng)元細胞體通過軸突傳到突觸前膜的脈沖幅度達到一定強度，即超過其閾值電位后，突觸前膜將向突觸間隙釋放神經(jīng)傳遞的化學物質； 突觸有兩種類型，興奮性突觸和抑制性突觸。前者產(chǎn)生正突觸后電位，后者產(chǎn)生負突觸后電位。,三、信息傳遞功能與特點,具有時空整合能力 不可逆性，脈沖只從突觸

6、前傳到突觸后，不逆向傳遞 神經(jīng)纖維傳導的速度，即脈沖沿神經(jīng)纖維傳遞的速度，在1150ms之間 信息傳遞時延和不應期，一般為0.3lms 可塑性，突觸傳遞信息的強度是可變的，即具有學習功能 存在學習、遺忘或疲勞（飽和）效應 對應突觸傳遞作用增強、減弱和飽和,2、生物神經(jīng)系統(tǒng)的六個基本特征： 1）神經(jīng)元及其聯(lián)接； 2）神經(jīng)元之間的聯(lián)接強度決定信號傳遞的強弱； 3）神經(jīng)元之間的聯(lián)接強度是可以隨訓練改變的； 4）信號可以是起刺激作用的，也可以是起抑制作用的； 5）一個神經(jīng)元接受的信號的累積效果決定該神經(jīng)元的狀態(tài)； 6) 每個神經(jīng)元可以有一個“閾值”。,3 人工神經(jīng)網(wǎng)絡結構,人工神經(jīng)網(wǎng)絡 人工神經(jīng)元模型

7、 常見的神經(jīng)元激發(fā)函數(shù) 人工神經(jīng)網(wǎng)絡典型結構,1.人工神經(jīng)網(wǎng)絡（Artificial Neural Network-ANN）常常簡稱為神經(jīng)網(wǎng)絡（NN），是以計算機網(wǎng)絡系統(tǒng)模擬生物神經(jīng)網(wǎng)絡的智能計算系統(tǒng)， 是對人腦或自然神經(jīng)網(wǎng)絡的若干基本特性的抽象和模擬。,一、人工神經(jīng)網(wǎng)絡,直觀理解 神經(jīng)網(wǎng)絡是一個并行和分布式的信息處理網(wǎng)絡結構 它一般由大量神經(jīng)元組成 每個神經(jīng)元只有一個輸出，可以連接到很多其他的神經(jīng)元 每個神經(jīng)元輸入有多個連接通道，每個連接通道對應于一個連接權系數(shù),2.人工神經(jīng)網(wǎng)絡的基本特征 (1)結構特征并行處理、分步式存儲與容錯性 (2)能力特征自學習、自組織與自適應性 自適應性是指一個系

8、統(tǒng)能改變自身的性能以適應環(huán)境變化的能力。 神經(jīng)網(wǎng)絡的自學習是指當外界環(huán)境發(fā)生變化時，經(jīng)過一段時間的訓練或感知，神經(jīng)網(wǎng)絡能通過自動調整網(wǎng)絡結構參數(shù)，使得對于結定輸入能產(chǎn) 生期望的輸出，訓練是神經(jīng)網(wǎng)絡學刁的途徑，因此經(jīng)常將學習與訓練兩 個詞混用。 神經(jīng)系統(tǒng)能在外部刺激下按一定規(guī)則調整神經(jīng)元之間的突觸連接，逐漸構建起神經(jīng)網(wǎng)絡，這一構建過程稱為網(wǎng)絡的自組織(或稱重構)。,聯(lián)想記憶 非線性映射 許多系統(tǒng)的輸入與輸出之間存在復雜的非線性關系，設計合理 的神經(jīng)網(wǎng)絡通過對系統(tǒng)輸入輸出樣本對進行自動學習，能夠以 任意精度逼近任意復雜的非線性映射。神經(jīng)網(wǎng)絡的這一優(yōu)良性 能使其可以作為多維非線性函數(shù)的通用數(shù)學模型

9、分類與識別 對輸入樣本的分類實際上是在樣本空間找出符合分類要求的分 割區(qū)域，每個區(qū)域內的樣本屬于一類。客觀世界中許多事物在 樣本空間上的區(qū)域分割曲面是十分復雜的，神經(jīng)網(wǎng)絡可以很好 地解決對非線性曲面的逼近，因此具有很好的分類與識別能力 優(yōu)化計算 知識處理,3.神經(jīng)網(wǎng)絡的基本功能,1943，神經(jīng)生理學家 McCulloch 和數(shù)學家 Pitts 基于早期神經(jīng)元學說，歸納總結了生物神經(jīng)元的基本特性，建立了具有邏輯演算功能的神經(jīng)元模型以及這些人工神經(jīng)元互聯(lián)形成的人工神經(jīng)網(wǎng)絡，即所謂的 McCulloch-Pitts 模型。,McCulloch-Pitts 模型（MP模型）是世界上第一個神經(jīng)計算模型，

10、即人工神經(jīng)系統(tǒng)。,二、人工神經(jīng)元模型,MP模型：,稱為作用函數(shù)或激發(fā)函數(shù),MP模型,作用函數(shù),求和操作,MP模型,f(x)是作用函數(shù)(Activation Function)，也稱激發(fā)函數(shù)。MP神經(jīng)元模型中的作用函數(shù)為單位階躍函數(shù)：,其表達式為：,激發(fā)函數(shù)的基本作用 控制輸入對輸出的激活作用 對輸入、輸出進行函數(shù)轉換 將可能無限域的輸入變換成指定的有限范圍內的輸出,可知當神經(jīng)元i的輸入信號加權和超過閾值時，輸出為“1”，即“興奮”狀態(tài)；反之輸出為“0”，是“抑制”狀態(tài)。,MP模型,例、實現(xiàn)邏輯函數(shù)“與門”（AND gate）運算。 1 真，0假,三、常見的神經(jīng)元激發(fā)函數(shù),MP 神經(jīng)元模型是人工

11、神經(jīng)元模型的基礎，也是神經(jīng)網(wǎng)絡理論的基礎。在神經(jīng)元模型中，作用函數(shù)除了單位階躍函數(shù)之外，還有其它形式。不同的作用函數(shù)，可構成不同的神經(jīng)元模型。,1、對稱型Sigmoid函數(shù),或,2、非對稱型Sigmoid函數(shù),或,3、對稱型階躍函數(shù)函數(shù),采用階躍作用函數(shù)的神經(jīng)元，稱為閾值邏輯單元。,4、線性函數(shù),（1）線性作用函數(shù)：輸出等于輸入，即,（2）飽和線性作用函數(shù),（3）對稱飽和線性作用函數(shù),5、高斯函數(shù),反映出高斯函數(shù)的寬度,眾所周知，神經(jīng)網(wǎng)絡強大的計算功能是通過神經(jīng)元的互連而達到的。根據(jù)神經(jīng)元的拓撲結構形式不同，神經(jīng)網(wǎng)絡可分成以下兩大類：,四、人工神經(jīng)網(wǎng)絡的典型結構,目前，神經(jīng)網(wǎng)絡模型的種類比較多

12、，已有近40余種神經(jīng)網(wǎng)絡模型，其中典型的有BP網(wǎng)絡、Hopfield網(wǎng)絡、CMAC小腦模型、ART自適應共振理論和Blotzman機網(wǎng)絡等,1、層次型神經(jīng)網(wǎng)絡,（1）前向神經(jīng)網(wǎng)絡 神經(jīng)元分層排列，順序連接。由輸入層施加輸入信息，通過中間各層，加權后傳遞到輸出層后輸出。每層的神經(jīng)元只接受前一層神經(jīng)元的輸入，各神經(jīng)元之間不存在反饋。,感知器(Perceptron)、BP神經(jīng)網(wǎng)絡和徑向基函數(shù)(RBF-Redial Basis Function)神經(jīng)網(wǎng)絡都屬于這種類型。,（2）層內有互聯(lián)的前向神經(jīng)網(wǎng)絡 在前向神經(jīng)網(wǎng)絡中有的在同一層中的各神經(jīng)元相互有連接,通過層內神經(jīng)元的相互結合，可以實現(xiàn)同一層內神經(jīng)元

13、之間的橫向抑制或興奮機制，這樣可以限制每層內能同時動作的神經(jīng)元數(shù)，或者把每層內的神經(jīng)元分為若干組，讓每組作為一個整體來動作。,（3）有反饋的前向神經(jīng)網(wǎng)絡 在層次網(wǎng)絡結構中，只在輸出層到輸入層存在反饋，即每一個輸入節(jié)點都有可能接受來自外部的輸入和來自輸出神經(jīng)元的反饋。這種模式可用來存儲某種模式序列，如神經(jīng)認知機即屬于此類，也可以用于動態(tài)時間序列過程的神經(jīng)網(wǎng)絡建模。,2、互聯(lián)型神經(jīng)網(wǎng)絡,在互連網(wǎng)絡模型中，任意兩個神經(jīng)元之間都可能有相互連接的關系。其中，有的神經(jīng)元之間是雙向的，有的是單向的。 Hopfield網(wǎng)絡、Boltzman機網(wǎng)絡屬于這一類。,在無反饋的前向網(wǎng)絡中，信號一旦通過某個神經(jīng)元，過程

14、就結束了。而在互連網(wǎng)絡中，信號要在神經(jīng)元之間反復往返傳遞，神經(jīng)網(wǎng)絡處在一種不斷改變狀態(tài)的動態(tài)之中。從某個初始狀態(tài)開始，經(jīng)過若干次的變化，才會到達某種平衡狀態(tài)，根據(jù)神經(jīng)網(wǎng)絡的結構和神經(jīng)元的特性，還有可能進入周期振蕩或其它如渾沌等平衡狀態(tài)。,二、神經(jīng)網(wǎng)絡的學習規(guī)則 聯(lián)想式學習 Hebb學習規(guī)則 誤差糾正式學習Delta ()學習規(guī)則,3 神經(jīng)網(wǎng)絡的 基本學習方式和學習規(guī)則,一、神經(jīng)網(wǎng)絡的學習方式 有監(jiān)督（誤差校正）學習方式 無監(jiān)督學習方式,人工神經(jīng)網(wǎng)絡連接權的確定通常有兩種方法 根據(jù)具體要求，直接計算，如Hopfield網(wǎng)絡作優(yōu)化計算 通過學習得到的。大多數(shù)人工神經(jīng)網(wǎng)絡都采用這種方法,學習是改變各

15、神經(jīng)元連接權值的有效方法，也是體現(xiàn)人工神經(jīng)網(wǎng)絡智能特性最主要的標志。離開了學習，神經(jīng)網(wǎng)絡就失去了誘人的自適應、自組織能力,學習方法是人工神經(jīng)網(wǎng)絡研究中的核心問題,1、有監(jiān)督學習方式,特點： 不能保證得到全局最優(yōu)解 要求大量訓練樣本，收斂速度慢 對樣本地表示次序變化比較敏感,神經(jīng)網(wǎng)絡根據(jù)實際輸出與期望輸出的偏差，按照一定的準則調整各神經(jīng)元連接的權系數(shù)，見下圖。期望輸出又稱為導師信號，是評價學習的標準，故這種學習方式又稱為有導師學習。,一、神經(jīng)網(wǎng)絡的學習方式,無導師信號提供給網(wǎng)絡，神經(jīng)網(wǎng)絡僅僅根據(jù)其輸入調整連接權系數(shù)和閾值，此時，網(wǎng)絡的學習評價標準隱含于內部。其結構見下圖。這種學習方式主要完成聚類

16、操作。,2、無監(jiān)督學習方式,一、神經(jīng)網(wǎng)絡的學習方式,Donall Hebb根據(jù)生理學中的條件反射機理，于1949年提出的神經(jīng)元連接強度變化的規(guī)則： 如果兩個神經(jīng)元同時興奮(即同時被激活)，則它們之間的突觸連接加強 為學習速率，oi、oj為神經(jīng)元 i 和 j 的輸出,1、聯(lián)想式學習 Hebb學習規(guī)則,Hebb學習規(guī)則是人工神經(jīng)網(wǎng)絡學習的基本規(guī)則，幾乎所有神經(jīng)網(wǎng)絡的學習規(guī)則都可以看作Hebb學習規(guī)則的變形,二、神經(jīng)網(wǎng)絡的學習規(guī)則,2、糾錯式學習 Delta()學習規(guī)則,二、神經(jīng)網(wǎng)絡的學習規(guī)則,首先我們考慮一個簡單的情況：設某神經(jīng)網(wǎng)絡的輸出層中只有一個神經(jīng)元i，給該神經(jīng)網(wǎng)絡加上輸入，這樣就產(chǎn)生了輸出

17、yi(n)，稱該輸出為實際輸出。 對于所加上的輸入，我們期望該神經(jīng)網(wǎng)絡的輸出為d(n),稱為期望輸出或目標輸出（樣本對里面包含輸入和期望輸出）。實際輸出與期望輸出之間存在著誤差，用e(n)表示：,現(xiàn)在要調整權值，是誤差信號e(n)減小到一個范圍。為此，可設定代價函數(shù)或性能指數(shù)E(n)：,反復調整突觸權值使代價函數(shù)達到最小或者使系統(tǒng)達到一個穩(wěn)定狀態(tài)（及突觸權值穩(wěn)定不變），就完成了該學習過程。,該學習過程成為糾錯學習，或Delta學習規(guī)則。,wij 表示神經(jīng)元xj到xj學的突觸權值，在學習步驟為n時對突觸權值的調整為：,學習速率參數(shù),則,人工神經(jīng)網(wǎng)絡的仿真,網(wǎng)絡的運行一般分為訓練和仿真兩個階段。

18、訓練的目的是為了從訓練數(shù)據(jù)中提取隱含的知識和規(guī)律，并存儲 于網(wǎng)絡中供仿真工作階段使用,神經(jīng)網(wǎng)絡的仿真過程實質上是神經(jīng)網(wǎng)絡根據(jù)網(wǎng)絡輸入數(shù)據(jù)， 通過數(shù)值計算得出相應網(wǎng)絡輸出的過程 通過仿真，我們可以及時了解當前神經(jīng)網(wǎng)絡的性能從而決定 是否對網(wǎng)絡進行進一步的訓練,典型的神經(jīng)網(wǎng)絡模型： 感知器、 線性神經(jīng)網(wǎng)絡、 BP網(wǎng)絡、 徑向基函數(shù)網(wǎng)絡、 競爭學習網(wǎng)絡 反饋神經(jīng)網(wǎng)絡等,感知器模型是美國學者羅森勃拉特（Rosenblatt）為研究大腦的存儲、學習和認知過程而提出的一類具有自學習能力的神經(jīng)網(wǎng)絡模型，它把神經(jīng)網(wǎng)絡的研究從純理論探討引向了從工程上的實現(xiàn)。 Rosenblatt提出的感知器模型是一個只有單層計

19、算單元的前向神經(jīng)網(wǎng)絡，稱為單層感知器。 感知器特別適合于簡單的模式分類問題，也可用于基于模式分類的學習控制和多模態(tài)控制中,感知器神經(jīng)網(wǎng)絡,采用閾值函數(shù)作為神經(jīng)元的傳遞函數(shù)是感知器神經(jīng)元的典型特征,感知器神經(jīng)網(wǎng)絡的學習規(guī)則,函數(shù)1earnp是在感知器神經(jīng)網(wǎng)絡學習過程中計算網(wǎng)絡權值和閾值 修正量最基本的規(guī)則函數(shù),p為輸入矢量，學習誤差e為目標矢 量t和網(wǎng)絡實際輸出矢量a之間的差值,感知器神經(jīng)網(wǎng)絡的訓練,感知器的訓練主要是反復對感知器神經(jīng)網(wǎng)絡進行仿真和學習， 最終得到最優(yōu)的網(wǎng)絡閥值和權值,1） 確定我們所解決的問題的輸入向量P、目標向量t，并確定 各向量的維數(shù)，以及網(wǎng)絡結構大小、神經(jīng)元數(shù)目。 2）初

20、始化：權值向量w和閥值向量b分別賦予1,+1之間的 隨機值，并且給出訓練的最大次數(shù)。 3）根據(jù)輸入向量P、最新權值向量w和閥值向量b，計算網(wǎng)絡 輸出向量a。 4）檢查感知器輸出向量與目標向量是否一致，或者是否達到 了最大的訓練次數(shù)，如果是則結束訓練，否則轉入（5）。 5）根據(jù)感知器學習規(guī)則調查權向量，并返回3）。,感知器神經(jīng)網(wǎng)絡應用舉例,兩種蠓蟲Af和Apf已由生物學家W.L.Grogan與w. w. Wirth(1981) 根據(jù)它們觸角長度和翼長中以區(qū)分。 見下表中9Af蠓和6只Apf蠓的數(shù)據(jù)。 根據(jù)給出的觸角長度和翼長可識別出一只標本是Af還是Apf。 1給定一只Af或者Apf族的蒙，你如

21、何正確地區(qū)分它屬于哪一族？ 2將你的方法用于觸角長和翼中分別為（1.24,1.80）、 （1.28,1.84）、(1.40,2.04)的三個標本,輸入向量為： p=1.24 1.36 1.38 1.378 1.38 1.40 1.48 1.54 1.56 1.14 1.18 1.20 1.26 1.28 1.30;1.72 1.74 1.64 1.82 1.90 1.70 1.70 1.82 2.08 1.78 1.96 1.86 2.00 2.00 1.96 目標向量為：t=1 1 1 1 1 1 1 1 1 0 0 0 0 0 0,圖形顯示，目標值1 對應的用“+”、目標 值0對應的用“o”來 表示： plotpv(p，t),為解決該問題，利用函數(shù)newp構造輸入量在0，2.5之間的 感知器神經(jīng)網(wǎng)絡模型：net=newp(0 2.5；0 2.5，1),初始化網(wǎng)絡：net=init(net),利用函數(shù)adapt調整網(wǎng)絡的權值和閥值，直到誤差為0時訓練結束： net, y, e=adapt(net, p, t),訓練結束后可得 如左圖的分類方 式，可見感知器 網(wǎng)絡將樣本正確 地分成兩類,Neural Network Toolb