第四章計算智能(1)神經(jīng)計算2信息科學與生命科學的相互交叉、相互滲透和相互促進是現(xiàn)代科學技術(shù)發(fā)展的一個顯著特點。計算智能涉及神經(jīng)網(wǎng)絡、模糊邏輯、進化計算和人工生命等領域，它的研究和發(fā)展正反映了當代科學技術(shù)多學科交叉與集成的重要發(fā)展趨勢。4.1 概述3什么是計算智能把神經(jīng)網(wǎng)絡（NN）歸類于人工智能（AI）可能不大合適，而歸類于計算智能（CI）更能說明問題實質(zhì)。進化計算、人工生命和模糊邏輯系統(tǒng)的某些課題，也都歸類于計算智能。計算智能取決于制造者（manufacturers）提供的數(shù)值數(shù)據(jù)，不依賴于知識；另一方面，人工智能應用知識精品（knowledgetidbits）。人工神經(jīng)網(wǎng)絡應當稱為計算神經(jīng)網(wǎng)絡。4.1概述4計算智能與人工智能的區(qū)別和關(guān)系輸入人類知識(＋)傳感輸入知識(＋)傳感數(shù)據(jù)計算(＋)傳感器C－數(shù)值的A－符號的B－生物的輸入復雜性復雜性BNNBPRBIANNAPRAICNNCPRCI4.1概述5A－Artificial，表示人工的（非生物的）；B－Biological，表示物理的＋化學的＋（？）＝生物的；

C－Computational，表示數(shù)學＋計算機計算智能是一種智力方式的低層認知，它與人工智能的區(qū)別只是認知層次從中層下降至低層而已。中層系統(tǒng)含有知識（精品），低層系統(tǒng)則沒有。4.1概述6當一個系統(tǒng)只涉及數(shù)值（低層）數(shù)據(jù)，含有模式識別部分，不應用人工智能意義上的知識，而且能夠呈現(xiàn)出：（1）計算適應性；（2）計算容錯性；（3）接近人的速度；（4）誤差率與人相近，則該系統(tǒng)就是計算智能系統(tǒng)。當一個智能計算系統(tǒng)以非數(shù)值方式加上知識（精品）值，即成為人工智能系統(tǒng)。4.1概述7生理神經(jīng)元的結(jié)構(gòu)大多數(shù)神經(jīng)元由一個細胞體(cellbody或soma)和突(process)兩部分組成。突分兩類，即軸突(axon)和樹突(dendrite)。軸突是個突出部分，長度可達1m，把本神經(jīng)元的輸出發(fā)送至其它相連接的神經(jīng)元。樹突也是突出部分，但一般較短，且分枝很多，與其它神經(jīng)元的軸突相連，以接收來自其它神經(jīng)元的生物信號。84.2神經(jīng)計算

4.2.1人工神經(jīng)網(wǎng)絡研究的進展1960年威德羅和霍夫率先把神經(jīng)網(wǎng)絡用于自動控制研究。60年代末期至80年代中期，神經(jīng)網(wǎng)絡控制與整個神經(jīng)網(wǎng)絡研究一樣，處于低潮。80年代后期以來，隨著人工神經(jīng)網(wǎng)絡研究的復蘇和發(fā)展，對神經(jīng)網(wǎng)絡控制的研究也十分活躍。這方面的研究進展主要在神經(jīng)網(wǎng)絡自適應控制和模糊神經(jīng)網(wǎng)絡控制及其在機器人控制中的應用上。9并行分布處理非線性映射通過訓練進行學習適應與集成硬件實現(xiàn)人工神經(jīng)網(wǎng)絡的特性4.2神經(jīng)計算104.2.2人工神經(jīng)網(wǎng)絡的結(jié)構(gòu)4.2神經(jīng)計算-1Wj1X1X2Wj2XnWjn···Σ()Yi圖4.2神經(jīng)元模型11

圖4.2中的神經(jīng)元單元由多個輸入xi，i=1,2,...,n和一個輸出y組成。中間狀態(tài)由輸入信號的權(quán)和表示，而輸出為 （4.1）式中，j為神經(jīng)元單元的偏置，wji為連接權(quán)系數(shù)。n為輸入信號數(shù)目，yj為神經(jīng)元輸出，t為時間，f()為輸出變換函數(shù)，如圖4.3。

4.2神經(jīng)計算12(a)xf(x)1x00圖4.3神經(jīng)元中的某些變換（激發(fā)）函數(shù)(a)二值函數(shù) (b)S形函數(shù)(c)雙曲正切函數(shù)4.2神經(jīng)計算(c)xf(x)1-1(b)f(x)x1013人工神經(jīng)網(wǎng)絡是具有下列特性的有向圖：對于每個節(jié)點i存在一個狀態(tài)變量xi

；從節(jié)點j至節(jié)點i，存在一個連接權(quán)系統(tǒng)數(shù)wij；對于每個節(jié)點i，存在一個閾值

i；對于每個節(jié)點i，定義一個變換函數(shù)fi；對于最一般的情況，此函數(shù)取形式。人工神經(jīng)網(wǎng)絡的基本特性和結(jié)構(gòu)4.2神經(jīng)計算14神經(jīng)網(wǎng)絡模型的基本組成

神經(jīng)網(wǎng)絡結(jié)構(gòu)

連接矩陣連接模式多層、單層反饋、前饋15遞歸（反饋）網(wǎng)絡:在遞歸網(wǎng)絡中，多個神經(jīng)元互連以組織一個互連神經(jīng)網(wǎng)絡，如圖4.4。圖4.4反饋網(wǎng)絡x1x2xnV1V2Vn輸入輸出x1’x2’xn’4.2神經(jīng)計算16前饋網(wǎng)絡:前饋網(wǎng)絡具有遞階分層結(jié)構(gòu)，由同層神經(jīng)元間不存在互連的層級組成，如圖4.5。4.2神經(jīng)計算x1x2輸入層輸出層隱層y1ynw11w1m圖4.5前饋網(wǎng)絡反向傳播17有師學習算法：能夠根據(jù)期望的和實際的網(wǎng)絡輸出（對應于給定輸入）間的差來調(diào)整神經(jīng)元間連接的強度或權(quán)。無師學習算法：不需要知道期望輸出。強化學習算法：采用一個“評論員”來評價與給定輸入相對應的神經(jīng)網(wǎng)絡輸出的優(yōu)度（質(zhì)量因數(shù)）。強化學習算法的一個例子是遺傳算法（GA）。人工神經(jīng)網(wǎng)絡的主要學習算法4.2神經(jīng)計算18人工神經(jīng)網(wǎng)絡的典型模型4.2神經(jīng)計算19續(xù)前表：4.2神經(jīng)計算20基于神經(jīng)網(wǎng)絡的知識表示在這里，知識并不像在產(chǎn)生式系統(tǒng)中那樣獨立地表示為每一條規(guī)則，而是將某一問題的若干知識在同一網(wǎng)絡中表示。例如，在有些神經(jīng)網(wǎng)絡系統(tǒng)中，知識是用神經(jīng)網(wǎng)絡所對應的有向權(quán)圖的鄰接矩陣及閾值向量表示的。4.2.4基于神經(jīng)網(wǎng)絡的知識表示與推理4.2神經(jīng)計算21基于神經(jīng)網(wǎng)絡的推理是通過網(wǎng)絡計算實現(xiàn)的。把用戶提供的初始證據(jù)用作網(wǎng)絡的輸入，通過網(wǎng)絡計算最終得到輸出結(jié)果。一般來說，正向網(wǎng)絡推理的步驟如下：把已知數(shù)據(jù)輸入網(wǎng)絡輸入層的各個節(jié)點。利用特性函數(shù)分別計算網(wǎng)絡中各層的輸出。用閾值函數(shù)對輸出層的輸出進行判定，從而得到輸出結(jié)果?；谏窠?jīng)網(wǎng)絡的推理4.2神經(jīng)計算22幾種神經(jīng)網(wǎng)絡模型舉例

自適應線性元模型感知機23自適應線性元模型結(jié)構(gòu)24自適應線性元模型數(shù)學描述

輸入該模型實際上是一自適應閾值邏輯單元。圖中x0，x1k，x2k，…，xnk為該自適應線性元在t時刻的外部輸入，用向量表示為:Xk＝（x0，x1k，x2k，…，xnk）T

這個向量稱為自適應線性元的輸入信號向量或輸入模式向量。25自適應線性元模型數(shù)學描述

連接權(quán)值與輸入向量Xk相對應有一權(quán)向量:Wk=(w0k，w1k，w2k，…，wnk)T

其中每一元素與輸入向量Xk中的每一元素相對應。

w0k為基權(quán)，稱為門限權(quán)，用來調(diào)整自適應線性元的閾值。26自適應線性元模型數(shù)學描述

輸出

模擬輸出

二值輸出27自適應線性元模型數(shù)學描述

理想輸入在圖中的自適應線性元中有一特殊的輸入dk，即理想輸入。該輸入是用來將理想響應信號送入自適應線性元中，在自適應線性元中通過比較yk和理想響應dk，并將差值送入最小均方差(LMS)學習算法機制中來調(diào)整權(quán)向量Wk，使得yk和所期望的輸出dk相一致。28LMS學習過程（圖述）29LMS學習過程（文字說明）1、提交學習樣本；2、計算神經(jīng)網(wǎng)絡的輸出；3、計算實際輸出和理想輸出的誤差；4、按照權(quán)值修改規(guī)則修改神經(jīng)網(wǎng)絡權(quán)值；5、計算學習結(jié)束判據(jù)；6、學習結(jié)束否？7、達到要求學習結(jié)束，否則轉(zhuǎn)1。30LMS學習算法權(quán)值修改規(guī)則

其中：為當前的誤差（即理想輸出與模擬實際輸出之間的差值）；稱為學習速度(LearningRate)。31ADALINE學習算法實質(zhì)分析32

的取值

的選擇決定了收斂的穩(wěn)定性和收斂的速度。穩(wěn)定性要求：0<<2。但是過大可能會修正過度，一個比較好的選擇范圍是0.1<<1。33LMS算法的幾何解釋34ADALINE模型計算能力分析

若ADALINE輸入為二值，它可以完成一定的邏輯功能。若有n個輸入，即則有2n個可能的輸入模式。在一般的邏輯實現(xiàn)中，依照所期望的輸出響應，可以將個輸入模式劃分成＋和－兩類。每一個自適應線性元模型可以完成某一種邏輯功能，因而我們也可以把自適應線性元看成是一邏輯部件。35ADALINE模型計算能力分析

每個自適應線性元的功能也主要由各個權(quán)值所確定。每個自適應線性元只能實現(xiàn)邏輯空間上的線性劃分，36ADALINE模型學習過程舉例網(wǎng)絡模型x1=1.2x2=2.7x0=1w1=-0.045w2=1.1w0=1y=?d=2.3E=?y=4.57E=-2.27w0=0.546w1=0.5w2=-0.126y=0.153E=2.1537ADALINE模型的學習曲線38感知機模型結(jié)構(gòu)

感知機(Perceptron)結(jié)構(gòu)如下圖所示。它是一個簡單的單層神經(jīng)網(wǎng)絡模型。輸入層是含有n個處理單元的神經(jīng)元組，輸出層只有一個處理單元，所有處理單元都是線性閾值單元。xiwiy39感知機的計算40感知機的幾何意義

感知機的幾何意義在于它在多維空間上利用一超平面將兩類模式A和B分開。這時超平面方程為：41感知機權(quán)值調(diào)整算法（文字）1、初始化：賦予和一個較小的隨機非零值。2、將一模式送入輸入神經(jīng)元，并給出理想輸出值。3、計算神經(jīng)網(wǎng)絡模型的實際輸出：4、調(diào)節(jié)權(quán)值:5、轉(zhuǎn)2，直到學完所給定的所有輸入樣本。42感知機權(quán)值調(diào)整算法（圖示）樣本E=0.85E=0.45E=0.25E=0.0543感知機的缺陷Rosenblatt已經(jīng)證明，如果兩類模式在分布空間中可以找到一個超平面將它們分開，那么感知機的學習過程就一定會收斂。否則判定邊界就會振蕩不休，永遠不會穩(wěn)定，這也正是單層感知機所無法克服的缺陷，所以它連最簡單的異或（XOR）問題也解決不了。XOR問題44

BP神經(jīng)網(wǎng)絡45

BP算法是用于前饋多層網(wǎng)絡的學習算法，它含有輸人層、輸出層以及處于輸入輸出層之間的中間層。中間層有單層或多層，由于它們和外界沒有直接的聯(lián)系，故也稱為隱層。在隱層中的神經(jīng)元也稱隱單元。隱層雖然和外界不連接．但是，它們的狀態(tài)則影響輸入輸出之間的關(guān)系。這也是說，改變隱層的權(quán)系數(shù)，可以改變整個多層神經(jīng)網(wǎng)絡的性能。

反向傳播算法分二步進行，即正向傳播和反向傳播。這兩個過程的工作簡述如下。1．正向傳播輸入的樣本從輸入層經(jīng)過隱單元一層一層進行處理，通過所有的隱層之后，則傳向輸出層；在逐層處理的過程中，每一層神經(jīng)元的狀態(tài)只對下一層神經(jīng)元的狀態(tài)產(chǎn)生影響。在輸出層把現(xiàn)行輸出和期望輸出進行比較，如果現(xiàn)行輸出不等于期望輸出，則進入反向傳播過程。

2．反向傳播反向傳播時，把誤差信號按原來正向傳播的通路反向傳回，并對每個隱層的各個神經(jīng)元的權(quán)系數(shù)進行修改，以望誤差信號趨向最小。BP算法的原理46BP網(wǎng)絡建模特點：非線性映照能力：神經(jīng)網(wǎng)絡能以任意精度逼近任何非線性連續(xù)函數(shù)。在建模過程中的許多問題正是具有高度的非線性。并行分布處理方式：在神經(jīng)網(wǎng)絡中信息是分布儲存和并行處理的，這使它具有很強的容錯性和很快的處理速度。自學習和自適應能力：神經(jīng)網(wǎng)絡在訓練時，能從輸入、輸出的數(shù)據(jù)中提取出規(guī)律性的知識，記憶于網(wǎng)絡的權(quán)值中，并具有泛化能力，即將這組權(quán)值應用于一般情形的能力。神經(jīng)網(wǎng)絡的學習也可以在線進行。數(shù)據(jù)融合的能力：神經(jīng)網(wǎng)絡可以同時處理定量信息和定性信息，因此它可以利用傳統(tǒng)的工程技術(shù)（數(shù)值運算）和人工智能技術(shù)（符號處理）。多變量系統(tǒng)：神經(jīng)網(wǎng)絡的輸入和輸出變量的數(shù)目是任意的，對單變量系統(tǒng)與多變量系統(tǒng)提供了一種通用的描述方式，不必考慮各子系統(tǒng)間的解耦問題。47基本BP網(wǎng)絡的拓撲結(jié)構(gòu)b1bia1c1cqcjahbpan………………Wp1WiqWpjW1qW1jWijV11W11WpqWi1Vh1VhiV1iVn1VniV1pVhpVnp輸出層LC隱含層LB輸入層LAWV48B-P算法的學習目的是對網(wǎng)絡的連接權(quán)值進行調(diào)整，使得調(diào)整后的網(wǎng)絡對任一輸入都能得到所期望的輸出。學習過程由正向傳播和反向傳播組成。正向傳播用于對前向網(wǎng)絡進行計算，即對某一輸入信息，經(jīng)過網(wǎng)絡計算后求出它的輸出結(jié)果。反向傳播用于逐層傳遞誤差，修改神經(jīng)元間的連接權(quán)值，以使網(wǎng)絡對輸入信息經(jīng)過計算后所得到的輸出能達到期望的誤差要求。3反向傳播模型及其學習算法49B-P算法的學習過程如下：（1）選擇一組訓練樣例，每一個樣例由輸入信息和期望的輸出結(jié)果兩部分組成。（2）從訓練樣例集中取一樣例，把輸入信息輸入到網(wǎng)絡中。（3）分別計算經(jīng)神經(jīng)元處理后的各層節(jié)點的輸出。（4）計算網(wǎng)絡的實際輸出和期望輸出的誤差。（5）從輸出層反向計算到第一個隱層，并按照某種能使誤差向減小方向發(fā)展的原則，調(diào)整網(wǎng)絡中各神經(jīng)元的連接權(quán)值。（6）對訓練樣例集中的每一個樣例重復（3）—（5）的步驟，直到對整個訓練樣例集的誤差達到要求時為止。3反向傳播模型及其學習算法50在以上的過程中，第（5）步是最重要的，如何確定一種調(diào)整連接權(quán)值的原則，使誤差沿著減小的方向發(fā)展，是B-P學習算法必須解決的問題。

3反向傳播模型及其學習算法51

B-P學習算法的流程圖52B-P算法的優(yōu)缺點：優(yōu)點：理論基礎牢固，推導過程嚴謹，物理概念清晰，通用性好等。所以，它是目前用來訓練前向多層網(wǎng)絡較好的算法。缺點：（1）該學習算法的收斂速度慢；（2）網(wǎng)絡中隱節(jié)點個數(shù)的選取尚無理論上的指導；（3）從數(shù)學角度看，B-P算法是一種梯度最速下降法，這就可能出現(xiàn)局部極小的問題。當出現(xiàn)局部極小時，從表面上看，誤差符合要求，但這時所得到的解并不一定是問題的真正解。所以B-P算法是不完備的。3反向傳播模型及其學習算法533.3反向傳播計算的舉例設圖9.12是一個簡單的前向傳播網(wǎng)絡，用B-P算法確定其中的各連接權(quán)值時，的計算方法如下：3反向傳播模型及其學習算法543反向傳播模型及其學習算法553反向傳播模型及其學習算法563反向傳播模型及其學習算法574.1Hopfield模型Hopfield模型是霍普菲爾德分別于1982年及1984提出的兩個神經(jīng)網(wǎng)絡模型。1982年提出的是離散型，1984年提出的是連續(xù)型，但它們都是反饋網(wǎng)絡結(jié)構(gòu)。圖9.13給出了一個簡單的反饋神經(jīng)網(wǎng)絡圖。

4Hopfield模型及其學習算法58由于在反饋網(wǎng)絡中，網(wǎng)絡的輸出要反復地作為輸入再送入網(wǎng)絡中，這就使得網(wǎng)絡具有了動態(tài)性，網(wǎng)絡的狀態(tài)在不斷的改變之中，因而就提出了網(wǎng)絡的穩(wěn)定性問題。所謂一個網(wǎng)絡是穩(wěn)定的是指從某一時刻開始，網(wǎng)絡的狀態(tài)不再改變。

設用X(t)表示網(wǎng)絡在時刻t的狀態(tài)，如果從t=０的任一初態(tài)X(0)開始，存在一個有限的時刻t，使得從此時刻開始神經(jīng)網(wǎng)絡的狀態(tài)不再發(fā)生變化，即

就稱此網(wǎng)絡是穩(wěn)定的。

4Hopfield模型及其學習算法59

離散網(wǎng)絡模型是一個離散時間系統(tǒng)，每個神經(jīng)元只有兩個狀態(tài)，可以用1和0來表示，由連接權(quán)值Ｗij所構(gòu)成的矩陣是一個對角線為0的對稱矩陣，即

如果用x(t)表示整個網(wǎng)絡在時刻ｔ的狀態(tài)，則X是一個向量，它包含了網(wǎng)絡中每個人工神經(jīng)元的狀態(tài)。所以，狀態(tài)向量X中的分量個數(shù)就是網(wǎng)絡中人工神經(jīng)元的個數(shù)。假設網(wǎng)絡中的節(jié)點（人工神經(jīng)元）個數(shù)為n，則向量X的構(gòu)成如下：4Hopfield模型及其學習算法60

這里，,其中的Ｗij為節(jié)點ｉ到節(jié)點ｊ的連接權(quán)值；為節(jié)點ｊ的閾值。

(9.4.3)Xi(t)表示節(jié)點i（第個i神經(jīng)元）在時刻t的狀態(tài)，該節(jié)點在時刻t+1的狀態(tài)由下式?jīng)Q定：(9.4.4)4Hopfield模型及其學習算法61

Hopfield網(wǎng)絡離散模型有兩種工作模式：（1）串行方式，是指在任一時刻t，只有一個神經(jīng)元i發(fā)生狀態(tài)變化，而其余的神經(jīng)元保持狀態(tài)不變。（2）并行方式，是指在任一時刻t，都有部分或全體神經(jīng)元同時改變狀態(tài)。

有關(guān)離散的Hopfield網(wǎng)絡的穩(wěn)定性問題，已于1983年由Cohen和Grossberg給于了證明。而Hopfield等人又進一步證明

，只要連接權(quán)值構(gòu)成的矩陣是非負對角元的對稱矩陣，則該網(wǎng)絡就具有串行穩(wěn)定性。4Hopfield模型及其學習算法62

1984年，Hopfield又提出了連續(xù)時間的神經(jīng)網(wǎng)絡，在這種神經(jīng)網(wǎng)絡中，各節(jié)點可在0到1的區(qū)間內(nèi)取任一實數(shù)值。

Hopfield網(wǎng)絡是一種非線性的動力網(wǎng)絡，可通過反復的網(wǎng)絡動態(tài)迭代來求解問題，這是符號邏輯方法所不具有的特性。在求解某些問題時，其求解問題的方法與人類求解問題的方法很相似，雖然所求得的解不是最佳解，但其求解速度快，更符合人們?nèi)粘＝鉀Q問題的策略

4Hopfield模型及其學習算法634.2Hopfield網(wǎng)絡的學習算法(1)設置互連權(quán)值。