1、第一章 神經(jīng)網(wǎng)絡(luò)基本概念,版權(quán)所有， 1998 (c) Institute of Computer Science.,內(nèi)容提要,神經(jīng)網(wǎng)絡(luò)模型的基本組成 神經(jīng)網(wǎng)絡(luò)的分類及典型的神經(jīng)網(wǎng)絡(luò)模型 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)及神經(jīng)計(jì)算特點(diǎn) 神經(jīng)計(jì)算的穩(wěn)定性 神經(jīng)網(wǎng)絡(luò)研究歷史 神經(jīng)網(wǎng)絡(luò)的應(yīng)用領(lǐng)域,第一節(jié) 神經(jīng)網(wǎng)絡(luò)模型的基本組成,神經(jīng)網(wǎng)絡(luò)模型的基本組成 之神經(jīng)元,生物神經(jīng)元的基本組成 細(xì)胞體 突起 樹突 軸突,人工神經(jīng)元的基本結(jié)構(gòu) 處理單元 連接 輸入 輸出,神經(jīng)元的基本功能（1）,接收輸入 輸入類型 輸入的權(quán)值 抑制性連接權(quán)值 活躍性連接權(quán)值 傳播規(guī)則（傳播函數(shù)） 把某類凈輸入與其連接權(quán)值結(jié)合起來，使該類輸入對(duì)目的處理

2、單元產(chǎn)生最終凈輸入的規(guī)則。,神經(jīng)元的基本功能（2）,處理輸入 活躍狀態(tài)（活躍值） 活躍值 活躍函數(shù)（活躍規(guī)則） 把某一處理單元的各類凈輸入相互結(jié)合起來，再與該處理單元當(dāng)前活躍狀態(tài)相結(jié)合，以產(chǎn)生一個(gè)新的活躍狀態(tài)的規(guī)則。 活躍函數(shù)類型 恒等函數(shù)、閾值函數(shù)、S型單調(diào)函數(shù),神經(jīng)元的基本功能（3）,產(chǎn)生輸出 輸出值的作用 輸出函數(shù)（輸出規(guī)則） 根據(jù)某一神經(jīng)元的當(dāng)前活躍值產(chǎn)生對(duì)其它神經(jīng)元影響的輸出值的規(guī)則。 輸出函數(shù)類型 硬極限函數(shù)、閾值函數(shù)、S型單調(diào)函數(shù)、恒等函數(shù),神經(jīng)網(wǎng)絡(luò)模型的基本組成 之網(wǎng)絡(luò),神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) 連接矩陣 連接模式 多層、單層 反饋、前饋,神經(jīng)網(wǎng)絡(luò)模型的基本組成 之學(xué)習(xí)規(guī)則,學(xué)習(xí)規(guī)則 根據(jù)

3、環(huán)境動(dòng)態(tài)修改各個(gè)處理單元之間連接權(quán)值的規(guī)則。 典型的學(xué)習(xí)規(guī)則 Hebbian學(xué)習(xí)規(guī)則 Delta學(xué)習(xí)規(guī)則 學(xué)習(xí)的類型 聯(lián)想學(xué)習(xí) 自聯(lián)想 異聯(lián)想 規(guī)則發(fā)現(xiàn),如果一個(gè)處理單元接收從另外一個(gè)處理單元來的輸入，那么當(dāng)兩個(gè)單元都活躍時(shí)，它們之間的連接權(quán)值就應(yīng)該增大。,權(quán)值主要根據(jù)在給定教師輸入下，期望輸出與目標(biāo)輸出之差來進(jìn)行改變。,神經(jīng)網(wǎng)絡(luò)模型的基本組成 之環(huán)境,環(huán)境內(nèi)容 輸入 輸出,神經(jīng)網(wǎng)絡(luò)模型的基本組成 小結(jié),傳播規(guī)則 活躍規(guī)則 輸出規(guī)則,互連模式 學(xué)習(xí)規(guī)則 環(huán)境,神經(jīng)網(wǎng)絡(luò)模型完整描述的六個(gè)要素。,第二節(jié) 神經(jīng)網(wǎng)絡(luò)的分類以及典型的神經(jīng)網(wǎng)絡(luò)模型,神經(jīng)網(wǎng)絡(luò)分類原則,按神經(jīng)網(wǎng)絡(luò)模型的拓?fù)浣Y(jié)構(gòu)可以分為反饋神

4、經(jīng)網(wǎng)絡(luò)模型和前向神經(jīng)網(wǎng)絡(luò)模型。 按神經(jīng)網(wǎng)絡(luò)模型的性能可分為連續(xù)型與離散型神經(jīng)網(wǎng)絡(luò)模型，確定型與隨機(jī)型神經(jīng)網(wǎng)絡(luò)模型。 按學(xué)習(xí)方式可以分為有教師學(xué)習(xí)神經(jīng)網(wǎng)模型和無教師學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型。 按連接突觸性質(zhì)可以分為一階線性關(guān)聯(lián)神經(jīng)網(wǎng)絡(luò)模型和高階非線性關(guān)聯(lián)神經(jīng)網(wǎng)絡(luò)模型。,典型的神經(jīng)網(wǎng)絡(luò)模型,自適應(yīng)諧振理論（ART） 該模型主要包括ART1、ART2和ART3，它們可以對(duì)任意多和任意復(fù)雜的二維模式進(jìn)行自組織、自穩(wěn)定和大規(guī)模并行處理。ART1主要用于二值輸入，ART2和ART3主要用于連續(xù)信號(hào)輸入。該類模型主要用于模式識(shí)別（如雷達(dá)、聲納的信號(hào)識(shí)別）。 缺點(diǎn)是對(duì)轉(zhuǎn)換、失真及規(guī)模的變化較為敏感。,典型的神經(jīng)網(wǎng)絡(luò)模

5、型,雪崩模型（Avalanche） 該類神經(jīng)網(wǎng)絡(luò)模型可以學(xué)習(xí)、 記憶和重現(xiàn)隨機(jī)復(fù)雜度的時(shí)空模式。主要用于連續(xù)的語音識(shí)別和教學(xué)機(jī)器人。 缺點(diǎn)是調(diào)節(jié)困難。,典型的神經(jīng)網(wǎng)絡(luò)模型,雙向相聯(lián)存儲(chǔ)器（BAM ） 該類神經(jīng)網(wǎng)絡(luò)模型是由許多相同神經(jīng)元構(gòu)成的雙向聯(lián)想式兩層網(wǎng)絡(luò)，主要用作按內(nèi)容尋址的相聯(lián)存儲(chǔ)。 缺點(diǎn)是存儲(chǔ)容量小而且需很好地進(jìn)行編碼。,典型的神經(jīng)網(wǎng)絡(luò)模型,反傳神經(jīng)網(wǎng)絡(luò)模型（BP） 該類神經(jīng)網(wǎng)絡(luò)模型是一多層映射神經(jīng)網(wǎng)絡(luò)。采用的是最小均方差的學(xué)習(xí)方式，是目前使用最廣泛的神經(jīng)網(wǎng)絡(luò)模型之一。主要用于語言綜合、語言識(shí)別、自適應(yīng)控制等。 缺點(diǎn)是它僅僅是有監(jiān)督的一種學(xué)習(xí)方式，而且輸入、輸出樣本都必須是冗余的。,典

6、型的神經(jīng)網(wǎng)絡(luò)模型,Boltzmann機(jī)Cauchy機(jī)（BCM ） 該類神經(jīng)網(wǎng)絡(luò)模型使用一噪聲過程求得整個(gè)模型花費(fèi)函數(shù)（cost function）的全局極小值。主要用于模式識(shí)別（圖像、聲納和雷達(dá)信號(hào)的識(shí)別）。 缺點(diǎn)是Boltzmann機(jī)的訓(xùn)練時(shí)間長(zhǎng)，Cauchy機(jī)會(huì)按一定的統(tǒng)計(jì)分布產(chǎn)生噪聲。,典型的神經(jīng)網(wǎng)絡(luò)模型,盒中腦狀態(tài)模型（BSB ） 該類神經(jīng)網(wǎng)絡(luò)模型是具有最小均方差的單層自聯(lián)想網(wǎng)絡(luò)模型?？梢杂糜趶臄?shù)據(jù)庫(kù)中提取知識(shí)。 缺點(diǎn)是僅僅為單步?jīng)Q策，沒有交互性的推理。,典型的神經(jīng)網(wǎng)絡(luò)模型,對(duì)流傳播模型（CPN ） 該類神經(jīng)網(wǎng)絡(luò)模型是一種在功能上作為統(tǒng)計(jì)最優(yōu)化和概率密度函數(shù)分析的網(wǎng)絡(luò)模型。主要用于圖像

7、壓縮、統(tǒng)計(jì)分析、貸款應(yīng)用打分。 缺點(diǎn)是對(duì)任何類型的問題均需大量的處理單元和連接。,典型的神經(jīng)網(wǎng)絡(luò)模型,Hopfield神經(jīng)網(wǎng)絡(luò)模型 它是由相同處理單元構(gòu)成的單層自聯(lián)想網(wǎng)絡(luò)模型。主要用于從片段中進(jìn)行圖像和數(shù)據(jù)的完全恢復(fù)。 缺點(diǎn)是處理單元間連接權(quán)值需預(yù)先設(shè)置，并且單元之間的連接是要對(duì)稱的，它沒有學(xué)習(xí)能力。,典型的神經(jīng)網(wǎng)絡(luò)模型,多個(gè)自適應(yīng)線性元模型（MADALINE） 該類神經(jīng)網(wǎng)絡(luò)模型是具有最小方差學(xué)習(xí)功能的線性網(wǎng)絡(luò)模型。它的學(xué)習(xí)能力較強(qiáng)，是自適應(yīng)線性元ADALINE的擴(kuò)展。主要用于自適應(yīng)控制。 缺點(diǎn)是在輸入輸出之間設(shè)置的是一種線性關(guān)系。,典型的神經(jīng)網(wǎng)絡(luò)模型,自組織映射模型（SOM ） 該類神經(jīng)網(wǎng)絡(luò)

8、模型主要是形成從一個(gè)密集簇到另一個(gè)簇的連續(xù)拓?fù)溆成?，并且映射矩陣密度隨第二個(gè)簇所給定的概率密度函數(shù)不同而不同。主要用于從一個(gè)幾何區(qū)域到另一個(gè)幾何區(qū)域的映射。 缺點(diǎn)是需要徹底的訓(xùn)練。,典型的神經(jīng)網(wǎng)絡(luò)模型,學(xué)習(xí)矩陣模型（LRN） 該類神經(jīng)網(wǎng)絡(luò)模型是一種單層單向非遞歸的相聯(lián)存儲(chǔ)器模型。主要用于相聯(lián)存儲(chǔ)。,典型的神經(jīng)網(wǎng)絡(luò)模型,小腦模型（Cerebellatron） 該類神經(jīng)網(wǎng)絡(luò)模型主要是學(xué)習(xí)平均時(shí)空指令序列模式，并且按線索重現(xiàn)那些平均指令序列。主要用于控制機(jī)械手的動(dòng)作。 缺點(diǎn)是需要復(fù)雜的控制輸入。,典型的神經(jīng)網(wǎng)絡(luò)模型,細(xì)胞神經(jīng)網(wǎng)絡(luò)模型（CNN） 該類神經(jīng)網(wǎng)絡(luò)模型是一單層連續(xù)神經(jīng)網(wǎng)絡(luò)。 主要用于模式識(shí)別

9、、文字識(shí)別與噪聲控制等。,典型的神經(jīng)網(wǎng)絡(luò)模型,交替投影神經(jīng)網(wǎng)絡(luò)模型（APNN） 該類神經(jīng)網(wǎng)絡(luò)模型應(yīng)用凸集投影概念，在向量空間中建立模型，主要用于模式識(shí)別。,典型的神經(jīng)網(wǎng)絡(luò)模型,神經(jīng)認(rèn)知機(jī)（Necognitron） 該類神經(jīng)網(wǎng)絡(luò)模型是一多層結(jié)構(gòu)化字符識(shí)別網(wǎng)絡(luò)模型。主要用于手寫體字符識(shí)別，但是常常需要極大數(shù)目的處理單元和連接，它對(duì)大小、平移、旋轉(zhuǎn)不敏感，并且能識(shí)別復(fù)雜的字符。,典型的神經(jīng)網(wǎng)絡(luò)模型,感知機(jī)（Perceptron） 該類神經(jīng)網(wǎng)絡(luò)模型是一組可訓(xùn)練的線性分類單層網(wǎng)絡(luò)模型，目前較少應(yīng)用。主要用于打印字符識(shí)別，但是不能識(shí)別復(fù)雜字符（漢字），而且對(duì)大小、平移和變形很敏感。,典型的神經(jīng)網(wǎng)絡(luò)模型的分

10、類,前饋神經(jīng)網(wǎng)絡(luò)模型 自適應(yīng)線性元模型 感知機(jī),典型的神經(jīng)網(wǎng)絡(luò)模型的分類,反饋神經(jīng)網(wǎng)絡(luò)模型 Hopfield神經(jīng)網(wǎng)絡(luò)模型 海明神經(jīng)網(wǎng)絡(luò)模型 雙向聯(lián)想存儲(chǔ)器,典型的神經(jīng)網(wǎng)絡(luò)模型的分類,自組織神經(jīng)網(wǎng)絡(luò)模型 自適應(yīng)諧振理論（ART） 自組織映射神經(jīng)網(wǎng)絡(luò)模型（SOM） 對(duì)流神經(jīng)網(wǎng)絡(luò)模型（CPN） 認(rèn)知機(jī),典型的神經(jīng)網(wǎng)絡(luò)模型的分類,隨機(jī)神經(jīng)網(wǎng)絡(luò)模型 模擬退火算法 Boltzmann機(jī) 諧和理論,第三節(jié) 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)及神經(jīng)計(jì)算特點(diǎn),神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)特點(diǎn),神經(jīng)網(wǎng)絡(luò)模型是由大量極簡(jiǎn)單的處理單元所組成 每一個(gè)處理單元僅僅是對(duì)輸入信號(hào)加權(quán)求和，然后計(jì)算該處理單元新的活躍值和輸出信號(hào)。每個(gè)處理單元要完成的功能非常簡(jiǎn)

11、單，但是神經(jīng)網(wǎng)絡(luò)模型中的處理單元數(shù)目是如此之多，傳統(tǒng)計(jì)算機(jī)是遠(yuǎn)遠(yuǎn)無法比擬的。,神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)特點(diǎn),高度復(fù)雜的互連 在神經(jīng)網(wǎng)絡(luò)模型中處理單元與處理單元之間存在著高度復(fù)雜的互連，有的是在每一個(gè)處理單元之間都存在著互連；有的是在層與層之間的處理單元間存在互連，這主要取決于實(shí)際問題和所要達(dá)到的性能要求。而在傳統(tǒng)計(jì)算機(jī)中，對(duì)于單機(jī)系統(tǒng)來說不存在互連問題，在雙機(jī)或多機(jī)系統(tǒng)中，處理機(jī)之間的互連數(shù)也是有限的。,神經(jīng)計(jì)算的本質(zhì),計(jì)算的數(shù)學(xué)觀點(diǎn) 計(jì)算就是在滿足一定原理、定理的條件下，從一個(gè)空間到另一個(gè)空間的映射； 計(jì)算的物理觀點(diǎn) 計(jì)算是按照一定的自然規(guī)則，在某種“硬件”上所發(fā)生的一些物理規(guī)則。因此計(jì)算可以表示為

12、一動(dòng)力學(xué)系統(tǒng)中狀態(tài)空間的變換軌跡。,神經(jīng)計(jì)算的本質(zhì),神經(jīng)網(wǎng)絡(luò)的計(jì)算是一種非編程的信息處理方式。在不確定的條件下，只要我們能準(zhǔn)確地描述所要求的計(jì)算功能，并能給出體現(xiàn)該功能的大量例子，那么神經(jīng)網(wǎng)絡(luò)就可以通過這些例子來進(jìn)行自我調(diào)整，直至達(dá)到所要求的計(jì)算能力；有時(shí)甚至在沒有例子可尋時(shí)，神經(jīng)網(wǎng)絡(luò)也可以根據(jù)一些輸入信號(hào)通過自組織而達(dá)到某種計(jì)算能力。,神經(jīng)計(jì)算的本質(zhì),上述這種非編程的自適應(yīng)信息處理方式稱之為神經(jīng)計(jì)算（neurocomputing）。 如果把神經(jīng)網(wǎng)絡(luò)看成是由大量子系統(tǒng)組成的大系統(tǒng)，那么神經(jīng)計(jì)算就是該系統(tǒng)狀態(tài)的轉(zhuǎn)換，其計(jì)算過程可以認(rèn)為是狀態(tài)的轉(zhuǎn)換過程。,神經(jīng)計(jì)算的特點(diǎn),大規(guī)模并行性、集團(tuán)運(yùn)算和容

13、錯(cuò)能力。 信息的分布式表示。 學(xué)習(xí)和自組織能力。 多層神經(jīng)網(wǎng)絡(luò)系統(tǒng)具有強(qiáng)大的解算能力 和處理實(shí)際問題的能力。,神經(jīng)計(jì)算的信息處理能力,數(shù)學(xué)逼近映射 開發(fā)合適的函數(shù)，以自組織的方式響應(yīng)以下的樣本集合:(x1,y1),(x2,y2)，(xn,yn)，（這里yi=f(xi)或yi=f(xi)+N，其中N為噪音過程）。這里描述的當(dāng)然是一般的數(shù)學(xué)抽象，像識(shí)別與分類這些計(jì)算都可以抽象為這樣的一種近似數(shù)學(xué)映射。BPN、CPN模型都可以完成這種計(jì)算。,神經(jīng)計(jì)算的信息處理能力,概率密度函數(shù)的估計(jì) 通過自組織的方式開發(fā)出一組等概率錨點(diǎn)來響應(yīng)在空間中按照一定確定概率密度函數(shù)p選取的一組向量樣本X1 , X2 , X

14、3 , 。CPN、SOM模型可以完成這種計(jì)算。,神經(jīng)計(jì)算的信息處理能力,從二進(jìn)制數(shù)據(jù)基中提取相關(guān)的知識(shí) 將從二進(jìn)制數(shù)據(jù)基中提取的相關(guān)知識(shí)形成一種知識(shí)的聚集模型，這些知識(shí)依照數(shù)據(jù)基的自組織在它們之間有某種統(tǒng)計(jì)上的共性，并依這些共性來響應(yīng)輸入的數(shù)據(jù)基。BSB有能力進(jìn)行這種計(jì)算。,神經(jīng)計(jì)算的信息處理能力,形成拓?fù)溥B續(xù)及統(tǒng)計(jì)意義上的同構(gòu)映射 這是對(duì)固定概率密度函數(shù)選擇的輸入數(shù)據(jù)進(jìn)行自適應(yīng)的一種自組織映射，最終使得數(shù)據(jù)空間上的不同項(xiàng)有某種同構(gòu)。SOM 模型最適合計(jì)算這類問題。,神經(jīng)計(jì)算的信息處理能力,最近相鄰模式分類 通過比較大量的存儲(chǔ)數(shù)據(jù)來進(jìn)行模式分類， 這種能力可應(yīng)用于暫態(tài)或暫穩(wěn)態(tài)模式分類，并且可用

15、層次性的存儲(chǔ)模式來表達(dá)存儲(chǔ)。絕大多數(shù)的神經(jīng)網(wǎng)絡(luò)模型均能進(jìn)行這種計(jì)算，比如ART、AVA、BAM、BCM、BPN、BSB、CBD、CPN、HOP、LRN、MDL、NEO、PTR。,神經(jīng)計(jì)算的信息處理能力,數(shù)據(jù)聚集 這是采用自組織的方式所選擇的顆?；蚰Ｊ降木垲?，以此來響應(yīng)輸入數(shù)據(jù)。聚類是可變的，但要限制其鞍點(diǎn)的個(gè)數(shù)。對(duì)于任何新的目標(biāo)，只要在系統(tǒng)中沒有對(duì)其提供聚類，都要形成新的聚類。很顯然，這種能力可直接應(yīng)用于雷達(dá)的多目標(biāo)跟蹤，ART模型最適于這種計(jì)算。,神經(jīng)計(jì)算的信息處理能力,最優(yōu)化問題的計(jì)算 這是用來求解局部甚至是全局最優(yōu)解的，HOP模型、BCM 模型有能力進(jìn)行這種計(jì)算。,第四節(jié)神經(jīng)計(jì)算的穩(wěn)定性

16、,穩(wěn)定性的基本概念,穩(wěn)定性是指神經(jīng)網(wǎng)絡(luò)系統(tǒng)在進(jìn)行神經(jīng)計(jì)算時(shí)，系統(tǒng)最終能收斂到一個(gè)穩(wěn)定狀態(tài)。只有使整個(gè)神經(jīng)網(wǎng)絡(luò)系統(tǒng)的狀態(tài)朝穩(wěn)定狀態(tài)發(fā)展的神經(jīng)計(jì)算才是有用的，否則，將導(dǎo)致整個(gè)系統(tǒng)的振蕩或者隨機(jī)波動(dòng)，而不能得到一個(gè)一致的結(jié)果。,從計(jì)算機(jī)的角度看穩(wěn)定性,計(jì)算機(jī)具有許多可能的邏輯狀態(tài)。當(dāng)計(jì)算機(jī)系統(tǒng)時(shí)鐘不斷推進(jìn)時(shí)，計(jì)算機(jī)就從一個(gè)邏輯狀態(tài)轉(zhuǎn)換到另一個(gè)邏輯狀態(tài)。在計(jì)算機(jī)中，通過設(shè)置特定的邏輯初始狀態(tài)開始計(jì)算（指令和數(shù)據(jù)）。然后計(jì)算機(jī)的狀態(tài)就沿著事先確定的邏輯狀態(tài)空間上的軌跡移動(dòng)，直到得到答案，整個(gè)計(jì)算也就結(jié)束了。因而在計(jì)算機(jī)中的計(jì)算過程就是其邏輯狀態(tài)空間中的一條軌跡。,從物理的角度看穩(wěn)定性,從物理的角度來看，

17、計(jì)算過程是其相應(yīng)狀態(tài)空間上狀態(tài)變換的一條軌跡，這條軌跡的方向由該系統(tǒng)固有動(dòng)力學(xué)特性控制著，其移動(dòng)的結(jié)果是進(jìn)入一穩(wěn)定狀態(tài)中，然后整個(gè)計(jì)算便結(jié)束了。 由該系統(tǒng)固有動(dòng)力學(xué)特性控制著的各種物理系統(tǒng)可以展示不同的計(jì)算能力，,離散狀態(tài)空間下的計(jì)算過程解釋,S1,S2,S3,連續(xù)狀態(tài)空間下計(jì)算過程的解釋,S1,S2,S3,神經(jīng)計(jì)算過程的數(shù)學(xué)描述,假定狀態(tài)空間向量為X=(x1,x2,xn )T，系統(tǒng)的局部穩(wěn)定點(diǎn)為a,b，。只要系統(tǒng)初始點(diǎn)充分地靠近ia,b,，比如in=i+（in為系統(tǒng)初始點(diǎn)），則系統(tǒng)必隨時(shí)間的演變而達(dá)到穩(wěn)定點(diǎn)i。這種穩(wěn)定點(diǎn)也叫系統(tǒng)的吸引子或極小點(diǎn)。這里的i+代表了i的部分知識(shí)，可以從系統(tǒng)中查詢到其完整的知識(shí)，也就是說系統(tǒng)具有相聯(lián)搜索的能力。,吸引子的物理含義圖解1,吸引子的