內(nèi)容提要神經(jīng)網(wǎng)絡模型的基本組成神經(jīng)網(wǎng)絡的分類及典型的神經(jīng)網(wǎng)絡模型神經(jīng)網(wǎng)絡結(jié)構(gòu)及神經(jīng)計算特點神經(jīng)計算的穩(wěn)定性神經(jīng)網(wǎng)絡研究歷史神經(jīng)網(wǎng)絡的應用領(lǐng)域當前1頁，總共60頁。第一節(jié)

神經(jīng)網(wǎng)絡模型的基本組成當前2頁，總共60頁。神經(jīng)網(wǎng)絡模型的基本組成之神經(jīng)元生物神經(jīng)元的基本組成細胞體突起樹突軸突人工神經(jīng)元的基本結(jié)構(gòu)處理單元連接輸入輸出當前3頁，總共60頁。神經(jīng)元的基本功能（1）接收輸入

輸入類型輸入的權(quán)值

抑制性連接權(quán)值活躍性連接權(quán)值傳播規(guī)則（傳播函數(shù)）

把某類凈輸入與其連接權(quán)值結(jié)合起來，使該類輸入對目的處理單元產(chǎn)生最終凈輸入的規(guī)則。當前4頁，總共60頁。神經(jīng)元的基本功能（2）處理輸入

活躍狀態(tài)（活躍值）活躍值活躍函數(shù)（活躍規(guī)則）

把某一處理單元的各類凈輸入相互結(jié)合起來，再與該處理單元當前活躍狀態(tài)相結(jié)合，以產(chǎn)生一個新的活躍狀態(tài)的規(guī)則。活躍函數(shù)類型恒等函數(shù)、閾值函數(shù)、S型單調(diào)函數(shù)當前5頁，總共60頁。神經(jīng)元的基本功能（3）產(chǎn)生輸出

輸出值的作用輸出函數(shù)（輸出規(guī)則）根據(jù)某一神經(jīng)元的當前活躍值產(chǎn)生對其它神經(jīng)元影響的輸出值的規(guī)則。

輸出函數(shù)類型硬極限函數(shù)、閾值函數(shù)、S型單調(diào)函數(shù)、恒等函數(shù)當前6頁，總共60頁。神經(jīng)網(wǎng)絡模型的基本組成之網(wǎng)絡神經(jīng)網(wǎng)絡結(jié)構(gòu)

連接矩陣連接模式多層、單層反饋、前饋當前7頁，總共60頁。神經(jīng)網(wǎng)絡模型的基本組成之學習規(guī)則學習規(guī)則

根據(jù)環(huán)境動態(tài)修改各個處理單元之間連接權(quán)值的規(guī)則。典型的學習規(guī)則

Hebbian學習規(guī)則

Delta學習規(guī)則學習的類型聯(lián)想學習

自聯(lián)想異聯(lián)想規(guī)則發(fā)現(xiàn)如果一個處理單元接收從另外一個處理單元來的輸入，那么當兩個單元都活躍時，它們之間的連接權(quán)值就應該增大。權(quán)值主要根據(jù)在給定教師輸入下，期望輸出與目標輸出之差來進行改變。輸入輸入輸出當前8頁，總共60頁。神經(jīng)網(wǎng)絡模型的基本組成之環(huán)境環(huán)境內(nèi)容輸入輸出當前9頁，總共60頁。神經(jīng)網(wǎng)絡模型的基本組成小結(jié)傳播規(guī)則活躍規(guī)則輸出規(guī)則互連模式學習規(guī)則環(huán)境神經(jīng)網(wǎng)絡模型完整描述的六個要素。當前10頁，總共60頁。第二節(jié)

神經(jīng)網(wǎng)絡的分類以及

典型的神經(jīng)網(wǎng)絡模型當前11頁，總共60頁。神經(jīng)網(wǎng)絡分類原則按神經(jīng)網(wǎng)絡模型的拓撲結(jié)構(gòu)可以分為反饋神經(jīng)網(wǎng)絡模型和前向神經(jīng)網(wǎng)絡模型。按神經(jīng)網(wǎng)絡模型的性能可分為連續(xù)型與離散型神經(jīng)網(wǎng)絡模型，確定型與隨機型神經(jīng)網(wǎng)絡模型。按學習方式可以分為有教師學習神經(jīng)網(wǎng)模型和無教師學習神經(jīng)網(wǎng)絡模型。按連接突觸性質(zhì)可以分為一階線性關(guān)聯(lián)神經(jīng)網(wǎng)絡模型和高階非線性關(guān)聯(lián)神經(jīng)網(wǎng)絡模型。當前12頁，總共60頁。典型的神經(jīng)網(wǎng)絡模型

自適應諧振理論（ART）該模型主要包括ART1、ART2和ART3，它們可以對任意多和任意復雜的二維模式進行自組織、自穩(wěn)定和大規(guī)模并行處理。ART1主要用于二值輸入，ART2和ART3主要用于連續(xù)信號輸入。該類模型主要用于模式識別（如雷達、聲納的信號識別）。缺點是對轉(zhuǎn)換、失真及規(guī)模的變化較為敏感。當前13頁，總共60頁。典型的神經(jīng)網(wǎng)絡模型

雪崩模型（Avalanche）

該類神經(jīng)網(wǎng)絡模型可以學習、記憶和重現(xiàn)隨機復雜度的時空模式。主要用于連續(xù)的語音識別和教學機器人。缺點是調(diào)節(jié)困難。當前14頁，總共60頁。典型的神經(jīng)網(wǎng)絡模型

雙向相聯(lián)存儲器（BAM）

該類神經(jīng)網(wǎng)絡模型是由許多相同神經(jīng)元構(gòu)成的雙向聯(lián)想式兩層網(wǎng)絡，主要用作按內(nèi)容尋址的相聯(lián)存儲。缺點是存儲容量小而且需很好地進行編碼。當前15頁，總共60頁。典型的神經(jīng)網(wǎng)絡模型

反傳神經(jīng)網(wǎng)絡模型（BP）該類神經(jīng)網(wǎng)絡模型是一多層映射神經(jīng)網(wǎng)絡。采用的是最小均方差的學習方式，是目前使用最廣泛的神經(jīng)網(wǎng)絡模型之一。主要用于語言綜合、語言識別、自適應控制等。缺點是它僅僅是有監(jiān)督的一種學習方式，而且輸入、輸出樣本都必須是冗余的。當前16頁，總共60頁。典型的神經(jīng)網(wǎng)絡模型

Boltzmann機／Cauchy機（BCM）

該類神經(jīng)網(wǎng)絡模型使用一噪聲過程求得整個模型花費函數(shù)（costfunction）的全局極小值。主要用于模式識別（圖像、聲納和雷達信號的識別）。缺點是Boltzmann機的訓練時間長，Cauchy機會按一定的統(tǒng)計分布產(chǎn)生噪聲。當前17頁，總共60頁。典型的神經(jīng)網(wǎng)絡模型

盒中腦狀態(tài)模型（BSB）

該類神經(jīng)網(wǎng)絡模型是具有最小均方差的單層自聯(lián)想網(wǎng)絡模型?？梢杂糜趶臄?shù)據(jù)庫中提取知識。缺點是僅僅為單步?jīng)Q策，沒有交互性的推理。當前18頁，總共60頁。典型的神經(jīng)網(wǎng)絡模型

對流傳播模型（CPN）該類神經(jīng)網(wǎng)絡模型是一種在功能上作為統(tǒng)計最優(yōu)化和概率密度函數(shù)分析的網(wǎng)絡模型。主要用于圖像壓縮、統(tǒng)計分析、貸款應用打分。缺點是對任何類型的問題均需大量的處理單元和連接。當前19頁，總共60頁。典型的神經(jīng)網(wǎng)絡模型

Hopfield神經(jīng)網(wǎng)絡模型它是由相同處理單元構(gòu)成的單層自聯(lián)想網(wǎng)絡模型。主要用于從片段中進行圖像和數(shù)據(jù)的完全恢復。缺點是處理單元間連接權(quán)值需預先設置，并且單元之間的連接是要對稱的，它沒有學習能力。當前20頁，總共60頁。典型的神經(jīng)網(wǎng)絡模型

多個自適應線性元模型（MADALINE）該類神經(jīng)網(wǎng)絡模型是具有最小方差學習功能的線性網(wǎng)絡模型。它的學習能力較強，是自適應線性元ADALINE的擴展。主要用于自適應控制。缺點是在輸入輸出之間設置的是一種線性關(guān)系。當前21頁，總共60頁。典型的神經(jīng)網(wǎng)絡模型

自組織映射模型（SOM）該類神經(jīng)網(wǎng)絡模型主要是形成從一個密集簇到另一個簇的連續(xù)拓撲映射，并且映射矩陣密度隨第二個簇所給定的概率密度函數(shù)不同而不同。主要用于從一個幾何區(qū)域到另一個幾何區(qū)域的映射。缺點是需要徹底的訓練。當前22頁，總共60頁。典型的神經(jīng)網(wǎng)絡模型

學習矩陣模型（LRN）該類神經(jīng)網(wǎng)絡模型是一種單層單向非遞歸的相聯(lián)存儲器模型。主要用于相聯(lián)存儲。當前23頁，總共60頁。典型的神經(jīng)網(wǎng)絡模型

小腦模型（Cerebellatron）該類神經(jīng)網(wǎng)絡模型主要是學習平均時空指令序列模式，并且按線索重現(xiàn)那些平均指令序列。主要用于控制機械手的動作。缺點是需要復雜的控制輸入。當前24頁，總共60頁。典型的神經(jīng)網(wǎng)絡模型

細胞神經(jīng)網(wǎng)絡模型（CNN）該類神經(jīng)網(wǎng)絡模型是一單層連續(xù)神經(jīng)網(wǎng)絡。主要用于模式識別、文字識別與噪聲控制等。當前25頁，總共60頁。典型的神經(jīng)網(wǎng)絡模型

交替投影神經(jīng)網(wǎng)絡模型（APNN）該類神經(jīng)網(wǎng)絡模型應用凸集投影概念，在向量空間中建立模型，主要用于模式識別。當前26頁，總共60頁。典型的神經(jīng)網(wǎng)絡模型

神經(jīng)認知機（Necognitron）該類神經(jīng)網(wǎng)絡模型是一多層結(jié)構(gòu)化字符識別網(wǎng)絡模型。主要用于手寫體字符識別，但是常常需要極大數(shù)目的處理單元和連接，它對大小、平移、旋轉(zhuǎn)不敏感，并且能識別復雜的字符。當前27頁，總共60頁。典型的神經(jīng)網(wǎng)絡模型

感知機（Perceptron）該類神經(jīng)網(wǎng)絡模型是一組可訓練的線性分類單層網(wǎng)絡模型，目前較少應用。主要用于打印字符識別，但是不能識別復雜字符（漢字），而且對大小、平移和變形很敏感。當前28頁，總共60頁。典型的神經(jīng)網(wǎng)絡模型的分類

前饋神經(jīng)網(wǎng)絡模型自適應線性元模型感知機當前29頁，總共60頁。典型的神經(jīng)網(wǎng)絡模型的分類反饋神經(jīng)網(wǎng)絡模型

Hopfield神經(jīng)網(wǎng)絡模型海明神經(jīng)網(wǎng)絡模型雙向聯(lián)想存儲器當前30頁，總共60頁。典型的神經(jīng)網(wǎng)絡模型的分類

自組織神經(jīng)網(wǎng)絡模型自適應諧振理論（ART）自組織映射神經(jīng)網(wǎng)絡模型（SOM）對流神經(jīng)網(wǎng)絡模型（CPN）認知機當前31頁，總共60頁。典型的神經(jīng)網(wǎng)絡模型的分類

隨機神經(jīng)網(wǎng)絡模型模擬退火算法Boltzmann機諧和理論當前32頁，總共60頁。第三節(jié)

神經(jīng)網(wǎng)絡結(jié)構(gòu)及

神經(jīng)計算特點當前33頁，總共60頁。神經(jīng)網(wǎng)絡模型結(jié)構(gòu)特點

神經(jīng)網(wǎng)絡模型是由大量極簡單的處理單元所組成每一個處理單元僅僅是對輸入信號加權(quán)求和，然后計算該處理單元新的活躍值和輸出信號。每個處理單元要完成的功能非常簡單，但是神經(jīng)網(wǎng)絡模型中的處理單元數(shù)目是如此之多，傳統(tǒng)計算機是遠遠無法比擬的。當前34頁，總共60頁。神經(jīng)網(wǎng)絡模型結(jié)構(gòu)特點

高度復雜的互連在神經(jīng)網(wǎng)絡模型中處理單元與處理單元之間存在著高度復雜的互連，有的是在每一個處理單元之間都存在著互連；有的是在層與層之間的處理單元間存在互連，這主要取決于實際問題和所要達到的性能要求。而在傳統(tǒng)計算機中，對于單機系統(tǒng)來說不存在互連問題，在雙機或多機系統(tǒng)中，處理機之間的互連數(shù)也是有限的。當前35頁，總共60頁。神經(jīng)計算的本質(zhì)

計算的數(shù)學觀點計算就是在滿足一定原理、定理的條件下，從一個空間到另一個空間的映射；

計算的物理觀點計算是按照一定的自然規(guī)則，在某種“硬件”上所發(fā)生的一些物理規(guī)則。因此計算可以表示為一動力學系統(tǒng)中狀態(tài)空間的變換軌跡。當前36頁，總共60頁。神經(jīng)計算的本質(zhì)神經(jīng)網(wǎng)絡的計算是一種非編程的信息處理方式。在不確定的條件下，只要我們能準確地描述所要求的計算功能，并能給出體現(xiàn)該功能的大量例子，那么神經(jīng)網(wǎng)絡就可以通過這些例子來進行自我調(diào)整，直至達到所要求的計算能力；有時甚至在沒有例子可尋時，神經(jīng)網(wǎng)絡也可以根據(jù)一些輸入信號通過自組織而達到某種計算能力。當前37頁，總共60頁。神經(jīng)計算的本質(zhì)上述這種非編程的自適應信息處理方式稱之為神經(jīng)計算（neurocomputing）。如果把神經(jīng)網(wǎng)絡看成是由大量子系統(tǒng)組成的大系統(tǒng)，那么神經(jīng)計算就是該系統(tǒng)狀態(tài)的轉(zhuǎn)換，其計算過程可以認為是狀態(tài)的轉(zhuǎn)換過程。當前38頁，總共60頁。神經(jīng)計算的特點大規(guī)模并行性、集團運算和容錯能力。信息的分布式表示。學習和自組織能力。多層神經(jīng)網(wǎng)絡系統(tǒng)具有強大的解算能力和處理實際問題的能力。當前39頁，總共60頁。神經(jīng)計算的信息處理能力

數(shù)學逼近映射開發(fā)合適的函數(shù)，以自組織的方式響應以下的樣本集合:(x1,y1),(x2,y2)，…，(xn,yn)，（這里yi=f(xi)或yi=f(xi)+N，其中N為噪音過程）。這里描述的當然是一般的數(shù)學抽象，像識別與分類這些計算都可以抽象為這樣的一種近似數(shù)學映射。BPN、CPN模型都可以完成這種計算。當前40頁，總共60頁。神經(jīng)計算的信息處理能力

概率密度函數(shù)的估計通過自組織的方式開發(fā)出一組等概率錨點來響應在空間中按照一定確定概率密度函數(shù)p選取的一組向量樣本X1,X2,X3,…。CPN、SOM模型可以完成這種計算。當前41頁，總共60頁。神經(jīng)計算的信息處理能力

從二進制數(shù)據(jù)基中提取相關(guān)的知識將從二進制數(shù)據(jù)基中提取的相關(guān)知識形成一種知識的聚集模型，這些知識依照數(shù)據(jù)基的自組織在它們之間有某種統(tǒng)計上的共性，并依這些共性來響應輸入的數(shù)據(jù)基。BSB有能力進行這種計算。當前42頁，總共60頁。神經(jīng)計算的信息處理能力

形成拓撲連續(xù)及統(tǒng)計意義上的同構(gòu)映射這是對固定概率密度函數(shù)選擇的輸入數(shù)據(jù)進行自適應的一種自組織映射，最終使得數(shù)據(jù)空間上的不同項有某種同構(gòu)。SOM模型最適合計算這類問題。當前43頁，總共60頁。神經(jīng)計算的信息處理能力

最近相鄰模式分類通過比較大量的存儲數(shù)據(jù)來進行模式分類，這種能力可應用于暫態(tài)或暫穩(wěn)態(tài)模式分類，并且可用層次性的存儲模式來表達存儲。絕大多數(shù)的神經(jīng)網(wǎng)絡模型均能進行這種計算，比如ART、AVA、BAM、BCM、BPN、BSB、CBD、CPN、HOP、LRN、MDL、NEO、PTR。當前44頁，總共60頁。神經(jīng)計算的信息處理能力

數(shù)據(jù)聚集這是采用自組織的方式所選擇的顆?；蚰Ｊ降木垲悾源藖眄憫斎霐?shù)據(jù)。聚類是可變的，但要限制其鞍點的個數(shù)。對于任何新的目標，只要在系統(tǒng)中沒有對其提供聚類，都要形成新的聚類。很顯然，這種能力可直接應用于雷達的多目標跟蹤，ART模型最適于這種計算。當前45頁，總共60頁。神經(jīng)計算的信息處理能力

最優(yōu)化問題的計算這是用來求解局部甚至是全局最優(yōu)解的，HOP模型、BCM模型有能力進行這種計算。當前46頁，總共60頁。第四節(jié)

神經(jīng)計算的穩(wěn)定性當前47頁，總共60頁。穩(wěn)定性的基本概念

穩(wěn)定性是指神經(jīng)網(wǎng)絡系統(tǒng)在進行神經(jīng)計算時，系統(tǒng)最終能收斂到一個穩(wěn)定狀態(tài)。只有使整個神經(jīng)網(wǎng)絡系統(tǒng)的狀態(tài)朝穩(wěn)定狀態(tài)發(fā)展的神經(jīng)計算才是有用的，否則，將導致整個系統(tǒng)的振蕩或者隨機波動，而不能得到一個一致的結(jié)果。當前48頁，總共60頁。從計算機的角度看穩(wěn)定性計算機具有許多可能的邏輯狀態(tài)。當計算機系統(tǒng)時鐘不斷推進時，計算機就從一個邏輯狀態(tài)轉(zhuǎn)換到另一個邏輯狀態(tài)。在計算機中，通過設置特定的邏輯初始狀態(tài)開始計算（指令和數(shù)據(jù)）。然后計算機的狀態(tài)就沿著事先確定的邏輯狀態(tài)空間上的軌跡移動，直到得到答案，整個計算也就結(jié)束了。因而在計算機中的計算過程就是其邏輯狀態(tài)空間中的一條軌跡。當前49頁，總共60頁。從物理的角度看穩(wěn)定性從物理的角度來看，計算過程是其相應狀態(tài)空間上狀態(tài)變換的一條軌跡，這條軌跡的方向由該系統(tǒng)固有動力學特性控制著，其移動的結(jié)果是進入一穩(wěn)定狀態(tài)中，然后整個計算便結(jié)束了。由該系統(tǒng)固有動力學特性控制著的各種物理系統(tǒng)可以展示不同的計算能力，當前50頁，總共60頁。離散狀態(tài)空間下的計算過程解釋S1S2S3當前51頁，總共60頁。連續(xù)狀態(tài)空間下計算過程的解釋S1S2S3