ArtificialIntelligence(AI)

人工智能第5章計算智能

ComputationalIntelligence

(CI)ArtificialIntelligence(AI)

人1內(nèi)容第5章計算智能1、概述2、神經(jīng)網(wǎng)絡(luò)3、模糊計算4、遺傳算法內(nèi)容第5章計算智能1、概述2、神經(jīng)網(wǎng)絡(luò)3、模糊計算4、2現(xiàn)代科技發(fā)展的一個顯著特點就是學(xué)科間的交叉、滲透和促進。(如生物信息學(xué))

計算智能是另一個有說服力的示例。計算智能涉及神經(jīng)計算、模糊計算、進化計算、粒群計算、蟻群計算、自然計算、免疫計算和人工生命等領(lǐng)域。反映了多學(xué)科交叉與集成的發(fā)展趨勢。5.1概述現(xiàn)代科技發(fā)展的一個顯著特點就是學(xué)科間的交叉、滲透和促3

通過人工方法模仿人類智能已有很長歷史（如仿生學(xué)的眾多成果）,都是人類人工模仿智能的典型例證，而現(xiàn)代人工智能領(lǐng)域則力圖抓住智能的本質(zhì)。

人工神經(jīng)網(wǎng)絡(luò)（ANN）主要是通過Hopfield網(wǎng)絡(luò)的促進和反向傳播(BP)網(wǎng)絡(luò)訓(xùn)練多層感知器來推廣的，將神經(jīng)網(wǎng)絡(luò)(NN)歸類于人工智能可能不太合適，而歸類于計算智能（CI）應(yīng)更能說明問題實質(zhì)。

進化計算、人工生命和模糊邏輯系統(tǒng)的某些課題，也都?xì)w類于計算智能。通過人工方法模仿人類智能已有很長歷史（如仿生學(xué)的眾4第一個對計算智能的定義由貝茲德克（Bezdek）于1992年提出。他認(rèn)為，從嚴(yán)格意義上講，計算智能取決于制造者提供的數(shù)據(jù)數(shù)值，而不依賴于知識；另一方面，人工智能則應(yīng)用知識。他認(rèn)為，人工神經(jīng)網(wǎng)絡(luò)應(yīng)當(dāng)稱為計算神經(jīng)網(wǎng)絡(luò)。第一個對計算智能的定義由貝茲德克（Bezdek）于15

盡管計算智能與人工智能的界限并不十分明顯，但討論它們的區(qū)別和聯(lián)系是有必要的。貝茲德克對相關(guān)術(shù)語給予一定的符號和簡要說明或定義。他給出有趣的ABC：

A－Artificial，表示人工的（非生物的），即人造的。

B－Biological，表示物理的＋化學(xué)的＋(?)＝生物的。

C－Computational，表示數(shù)學(xué)＋計算機。盡管計算智能與人工智能的界限并不十分明顯，但討論它6ABC與神經(jīng)網(wǎng)絡(luò)(NN)、模式識別(PR)和智能(I)之間的關(guān)系:可看出：計算智能是一種智力方式的低層認(rèn)知，它與人工智能的區(qū)別只

是認(rèn)知層次從中層下降至低層而已，中層系統(tǒng)含有知識)，而低層系統(tǒng)則沒有。ABC與神經(jīng)網(wǎng)絡(luò)(NN)、模式識別(PR)和智能(I)之間的7當(dāng)一個系統(tǒng)只涉及數(shù)值(低層)數(shù)據(jù)，含有模式識別部分，不使用人工智能意義上的知識,且具有計算適應(yīng)性、計算容錯性、接近人的速度、近似于人的誤差率這4個特性，則該系統(tǒng)就是計算智能系統(tǒng)。一個計算智能系統(tǒng)以非數(shù)值方式加上知識值，即成為人工智能系統(tǒng)。從學(xué)科范疇看：

計算智能是在神經(jīng)網(wǎng)絡(luò)(NN）、進化計算(EC）及模糊系統(tǒng)(FS）這三個領(lǐng)域發(fā)展相對成熟的基礎(chǔ)上，形成的一個統(tǒng)一的學(xué)科概念。1、什么是計算智能當(dāng)一個系統(tǒng)只涉及數(shù)值(低層)數(shù)據(jù)，含有模式識別部分，8ComputationalIntelligenceDarwinPrincipleCollectiveBehavior

ofSociety

Neural

NetworkEvolutionary

ComputationFuzzy

SystemOthersGenetic

AlgorithmEvolutionary

StrategyEvolutionaryprogrammingGenetic

ProgrammingParticleSwarmAntArtificialSystemComputationalIntelligenceDarw9神經(jīng)網(wǎng)絡(luò)對人類智能的結(jié)構(gòu)模擬方法。通過對大量人工神經(jīng)元的廣泛并行互聯(lián)，構(gòu)造人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)以模擬生物神經(jīng)系統(tǒng)的智能機理。進化計算對人類智能的演化模擬方法。通過對生物遺傳和演化過程的認(rèn)識,用進化算法模擬人類智能的進化規(guī)律。模糊計算對人類智能的邏輯模擬方法，通過對人類處理模糊現(xiàn)象認(rèn)知能力的認(rèn)識，用模糊邏輯模擬人類的智能行為。神經(jīng)網(wǎng)絡(luò)10計算智能不僅涉及神經(jīng)網(wǎng)絡(luò)、模糊系統(tǒng)和進化計算三個主要分支，還包括：粒子群算法蟻群算法人工免疫系統(tǒng)人工生命模擬退火算法粗集理論與粒度計算支持向量機量子計算DNA計算智能agent……計算智能不僅涉及神經(jīng)網(wǎng)絡(luò)、模糊系統(tǒng)和進化計算11生物智能(BiologicalIntelligence，BI)由腦的物理化學(xué)過程反映出來的,腦智能的基礎(chǔ)。人工智能(ArtificialIntelligence，AI)非生物的,人造的,常用符號表示，來源于人類知識的精華。計算智能(ComputationalIntelligence，CI)由數(shù)學(xué)方法和計算機實現(xiàn)的，來源于數(shù)值計算的傳感器。ABC：

Artificial

Biological

Computational2、關(guān)系生物智能(BiologicalIntelligence，12另一種觀點：計算智能和人工智能是不同的范疇。雖然人工智能與計算智能之間有重合，但計算智能是一個全新的學(xué)科領(lǐng)域，無論是生物智能還是機器智能，計算智能都是其最核心的部分,而人工智能則是外層。

實踐證明，只有將AI和CI很好地結(jié)合起來，才能更好地模擬人類智能，才是智能科學(xué)發(fā)展的正確方向。另一種觀點：計算智能和人工智能是不同的范疇。13內(nèi)容提要第5章計算智能1、概述2、神經(jīng)計算3、模糊計算4、遺傳算法內(nèi)容提要第5章計算智能1、概述2、神經(jīng)計算3、模糊計算4、145.2神經(jīng)計算以神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)的計算。廣義上，神經(jīng)網(wǎng)絡(luò)可泛指生物神經(jīng)網(wǎng)絡(luò)，也可指人工神經(jīng)網(wǎng)絡(luò)。

人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetwork）是指模擬人腦神經(jīng)系統(tǒng)的結(jié)構(gòu)和功能，運用大量的處理部件，由人工方式建立起來的網(wǎng)絡(luò)系統(tǒng)。人腦是ANN的原型，ANN是對人腦神經(jīng)系統(tǒng)的模擬。人工智能領(lǐng)域中，在不引起混淆的情況下，神經(jīng)網(wǎng)絡(luò)一般都指的都是ANN。5.2神經(jīng)計算以神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)的計算。15現(xiàn)代計算機雖有很強的計算和信息處理能力，但解決像模式識別、感知、評判和決策等復(fù)雜問題的能力卻遠遠不及人。特別是其只能按人預(yù)先編好的程序機械地執(zhí)行，缺乏向環(huán)境學(xué)習(xí)、適應(yīng)環(huán)境的能力?，F(xiàn)代計算機雖有很強的計算和信息處理能力，但解決16人腦是由大量的基本單元（神經(jīng)元）經(jīng)過復(fù)雜的互連而構(gòu)成的一種高度復(fù)雜、非線性、并行處理的信息處理系統(tǒng),單個神經(jīng)元的反應(yīng)速度在毫秒級，比起計算機的基本單元---邏輯門（反應(yīng)時間在10-9s量級）慢5～6個數(shù)量級。但由于人腦的神經(jīng)元數(shù)量巨大（約為1010個），每個神經(jīng)元可與幾千個其他神經(jīng)元連接（總連接數(shù)約為6×1013），因而對有些問題的處理速度反而比計算機要快得多，且能耗要低得多。由此可見，人腦的性能要比現(xiàn)代計算機高得多。人腦是由大量的基本單元（神經(jīng)元）經(jīng)過復(fù)雜的互連17所謂人工神經(jīng)網(wǎng)絡(luò)，是模仿人腦工作方式而設(shè)計的一種機器，可用電子或光電元件實現(xiàn)，也可用軟件在常規(guī)計算機上仿真?；蛘哒f是一種具有大量連接的并行分布處理器，具有通過學(xué)習(xí)獲取知識并解決問題的能力，且知識是分布存儲在連接權(quán)（對應(yīng)于生物神經(jīng)元的突觸）中，而不是像常規(guī)計算機那樣按地址存儲在特定的存儲單元中。所謂人工神經(jīng)網(wǎng)絡(luò)，是模仿人腦工作方式而設(shè)計的一18符號（功能）主義：符號邏輯推理聯(lián)結(jié)（結(jié)構(gòu)）主義：人工神經(jīng)網(wǎng)絡(luò)行為主義：智能行為模擬，“模式-動作”聯(lián)結(jié)主義的觀點：智能的寓所在大腦皮層，是由大量非線

性神經(jīng)元互聯(lián)而成并行處理的神經(jīng)網(wǎng)絡(luò)。人工智能的各種學(xué)派：符號（功能）主義：符號邏輯推理人工智能的各種學(xué)派：19總體而言，人工神經(jīng)網(wǎng)絡(luò)（ANN）是反映人腦結(jié)構(gòu)及功能的一種抽象數(shù)學(xué)模型，是由大量神經(jīng)元節(jié)點互連而成的復(fù)雜網(wǎng)絡(luò)，用以模擬人類進行知識的表示與存儲以及利用知識進行推理的行為。簡單地講，ANN是一個數(shù)學(xué)模型，可用電子電路實現(xiàn)，也可用計算機程序來模擬，是人工智能研究的一種方法。人工神經(jīng)網(wǎng)絡(luò)力求從四個方面模擬人腦的智能行為：物理結(jié)構(gòu)，計算模擬，存儲與操作，訓(xùn)練?？傮w而言，人工神經(jīng)網(wǎng)絡(luò)（ANN）是反映人腦結(jié)構(gòu)及功能205.2.1人工神經(jīng)網(wǎng)絡(luò)研究的進展1、萌芽期（20世紀(jì)40年代）1890年，美國生物學(xué)家W.James首次闡明了有關(guān)人腦結(jié)構(gòu)及其功能,以及相關(guān)學(xué)習(xí)、聯(lián)想、記憶的基本規(guī)律。1943年，心理學(xué)家McCulloch和數(shù)學(xué)家Pitts建立起了著名的閾值加權(quán)和模型，簡稱為M-P模型。1949年，心理學(xué)家D.O.Hebb提出，神經(jīng)元之間突觸聯(lián)系是可變的假說---Hebb學(xué)習(xí)律。5.2.1人工神經(jīng)網(wǎng)絡(luò)研究的進展1、萌芽期（20世紀(jì)4212、第一高潮期（1950-1968）以Minsky，Rosenblatt，Widrow等為代表人物。1957年Rosenblatt定義了一個神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，稱為感知器。將神經(jīng)網(wǎng)絡(luò)研究從純理論的探討推向工程實現(xiàn)，在IBM計算機上進行了模擬，并可用電子線路模擬。3、反思期（1969-1982）1969年Minsky和Papert在《感知機》一書中指出感知機的缺陷(異或運算不可表示)，使得神經(jīng)網(wǎng)絡(luò)的研究從興起期進入了停滯期。芬蘭學(xué)者Kohonen提出了自組織映射理論(SOM)，美國學(xué)者Grossberg提出了自適應(yīng)諧振理論(ART)，這些研究成果對神經(jīng)網(wǎng)絡(luò)以后的發(fā)展產(chǎn)生了重要影響。2、第一高潮期（1950-1968）224、第二高潮期（1983-1990）1982年，Hopfield提出Hopfield模型。1984年，Hopfield設(shè)計研制了Hopfield網(wǎng)的電路。較好地解決了著名的TSP問題，引起了較大轟動。1985年，Hinton、Sejnowsky、Rumelhart等人在Hopfield網(wǎng)絡(luò)中引入隨機機制，提出Boltzmann機。1986年，Rumelhart,Hinton提出多層感知機與反向傳播(BP)學(xué)習(xí)算法，該方法克服了感知器非線性不可分類問題，給神經(jīng)網(wǎng)絡(luò)研究帶來了新的希望。

1990年12月中國首屆神經(jīng)網(wǎng)絡(luò)大會在北京舉行。4、第二高潮期（1983-1990）235、成熟期（1991-）平穩(wěn)發(fā)展，應(yīng)用廣泛，與其他領(lǐng)域的結(jié)合：與進化計算結(jié)合、與模糊邏輯結(jié)合、……。

實際應(yīng)用：計算機視覺、自然語言理解、優(yōu)化計算、智能控制等。

5、成熟期（1991-）24并行分布處理：并行結(jié)構(gòu)，耐故障。(實時、動態(tài))非線性映射：任意非線性映射能力。(非線性問題)通過訓(xùn)練進行學(xué)習(xí)：通過數(shù)據(jù)記錄進行訓(xùn)練，能處理由數(shù)學(xué)模型或描述規(guī)則難以處理的問題。適應(yīng)與集成：自適應(yīng)和信息融合能力。(復(fù)雜、大規(guī)模、多變量)硬件實現(xiàn)：快速和大規(guī)模處理能力。(并行處理)人工神經(jīng)網(wǎng)絡(luò)的特性：并行分布處理：并行結(jié)構(gòu)，耐故障。(實時、動態(tài))人工神經(jīng)網(wǎng)絡(luò)的25神經(jīng)網(wǎng)絡(luò)的生物學(xué)機理。⑴、神經(jīng)元結(jié)構(gòu)包括四個部分

胞體：神經(jīng)細(xì)胞的本體，維持細(xì)胞生存功能

樹突：接收來自其他神經(jīng)元的信號（輸入）

軸突：輸出信號

突觸：與另一個神經(jīng)元相聯(lián)系的特殊部位5.2.2人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)的生物學(xué)機理。5.2.2人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)26

一個神經(jīng)元有兩種狀態(tài)：興奮、抑制。

平時處于抑制狀態(tài)的神經(jīng)元，其樹突和胞體接收其它神經(jīng)元由突觸傳來的興奮電位，多個輸入在神經(jīng)元中以代數(shù)和的方式疊加。

如果輸入的興奮電位總量超過某個閾值，神經(jīng)元會被激發(fā)進入興奮狀態(tài)，發(fā)出輸出脈沖，并由突觸傳遞給其他神經(jīng)元。

神經(jīng)元被觸發(fā)后進入不應(yīng)期，在不應(yīng)期內(nèi)不能被觸發(fā)，然后閾值逐漸下降，恢復(fù)抑制狀態(tài)。⑵、神經(jīng)元的基本工作機制（簡化）

一個神經(jīng)元有兩種狀態(tài)：興奮、抑制。⑵、神經(jīng)元的基本工作機27

神經(jīng)元及其連接。

神經(jīng)元之間的連接強度決定信號傳遞的強弱。

神經(jīng)元之間的連接強度可以隨訓(xùn)練改變。

信號可以起刺激作用，也可以起抑制作用。

一個神經(jīng)元接受信號的累積效果決定該神經(jīng)元的狀態(tài)。

每個神經(jīng)元有一個“閾值”。⑶、生物神經(jīng)網(wǎng)絡(luò)的六個基本特征

神經(jīng)元及其連接。⑶、生物神經(jīng)網(wǎng)絡(luò)的六個基本特征28MP模型：一種人工神經(jīng)元的數(shù)學(xué)模型，是最早的神經(jīng)元模型之一。

是大多數(shù)神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)。

MP模型示意圖：1、神經(jīng)元及其特性輸入輸出中間狀態(tài)MP模型：1、神經(jīng)元及其特性輸入輸出中間狀態(tài)29人工神經(jīng)元是仿照生物神經(jīng)元提出的，神經(jīng)元可以有N個輸入：每個輸入端與神經(jīng)元之間有一定的連接權(quán)值：神經(jīng)元總的輸入為對每個輸入的加權(quán)求和，同時減去閾值θ。u代表神經(jīng)元的活躍值，即神經(jīng)元狀態(tài)：人工神經(jīng)元是仿照生物神經(jīng)元提出的，神經(jīng)元可以有N個輸入：每個30神經(jīng)元的輸出y是對u的映射：二值函數(shù)f

稱為輸出函數(shù)(激勵函數(shù)，激活函數(shù))，有幾種形式：神經(jīng)元的輸出y是對u的映射：二值函數(shù)f稱為輸出函數(shù)(激勵函31S型函數(shù)雙曲正切函數(shù)S型函數(shù)雙曲正切函數(shù)32輸出函數(shù)“f”的作用：

控制輸入對輸出的激活作用。

對輸入、輸出進行函數(shù)轉(zhuǎn)換。

將可能無限域的輸入變換成有限范圍內(nèi)的輸出。輸出函數(shù)“f”的作用：332、人工神經(jīng)網(wǎng)絡(luò)的基本特性和結(jié)構(gòu)

結(jié)構(gòu)由基本處理單元及其互連方法決定。

人工神經(jīng)網(wǎng)絡(luò)由神經(jīng)元模型構(gòu)成。這種由許多神經(jīng)元組成的信息處理網(wǎng)絡(luò)具有并行分布結(jié)構(gòu)，每個神經(jīng)元具有單一輸出，并且能夠與其它神經(jīng)元連接。存在許多(多重)輸出連接方法，每種連接方法對應(yīng)一個連接權(quán)系數(shù)。2、人工神經(jīng)網(wǎng)絡(luò)的基本特性和結(jié)構(gòu)結(jié)構(gòu)由基本處理單元及34嚴(yán)格地說，人工神經(jīng)網(wǎng)絡(luò)是一種具有下列特性的有向圖：(1)對于每個節(jié)點i存在一個狀態(tài)變量xi；(2)從節(jié)點i至節(jié)點j，存在一個連接權(quán)系數(shù)wij；(3)對于每個節(jié)點i，存在一個閾值i；(4)對于每個節(jié)點i，定義一個變換函數(shù)

fi(xi,wij,i)；

對于最一般的情況，此函數(shù)的形式為：嚴(yán)格地說，人工神經(jīng)網(wǎng)絡(luò)是一種具有下列特性的有向圖：35

神經(jīng)元模型確定之后，一個神經(jīng)網(wǎng)絡(luò)的特性及能力即主要取決于網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)及學(xué)習(xí)方法。人工神經(jīng)網(wǎng)絡(luò)（ANN）可以看成是以人工神經(jīng)元為節(jié)點,用有向加權(quán)弧連接起來的有向圖。

人工神經(jīng)元就是對生物神經(jīng)元的模擬。

有向弧則是軸突—突觸—樹突對的模擬。有向弧的權(quán)值表示相互連接的兩個人工神經(jīng)元之間相互作用的強弱。神經(jīng)元模型確定之后，一個神經(jīng)網(wǎng)絡(luò)的特性及能力即主36人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)基本上分為兩類：遞歸(反饋)網(wǎng)絡(luò)、和前饋網(wǎng)絡(luò)。⑴、遞歸網(wǎng)絡(luò)在遞歸網(wǎng)絡(luò)中，多個神經(jīng)元互連以組織成一個互連神經(jīng)網(wǎng)絡(luò)，如圖所示。有些神經(jīng)元的輸出被反饋至同層或前層神經(jīng)元。因此，信號能夠從正向和反向流通。（Hopfield網(wǎng)絡(luò)）遞歸網(wǎng)絡(luò)又叫做反饋網(wǎng)絡(luò)。Vi

：表示節(jié)點的狀態(tài)xi：節(jié)點的輸入(初始)值xi’：收斂后的輸出值（i=1,2,…,n）人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)基本上分為兩類：遞歸(反饋)網(wǎng)絡(luò)、37⑵、前饋網(wǎng)絡(luò)前饋網(wǎng)絡(luò)具有遞階分層結(jié)構(gòu)，由一些同層神經(jīng)元間不存在互連的層級組成。從輸入層至輸出層的信號通過單向連接流通；(感知器)神經(jīng)元從一層連接至下一層，不存在同層神經(jīng)元間的連接。實線---指明實際信號流通,虛線---表示反向傳播。(連接權(quán)值)⑵、前饋網(wǎng)絡(luò)383、人工神經(jīng)網(wǎng)絡(luò)的主要學(xué)習(xí)方法

人工神經(jīng)網(wǎng)絡(luò)最具有吸引力的特點是它的學(xué)習(xí)能力。1962年，Rosenblatt給出了人工神經(jīng)網(wǎng)絡(luò)著名的學(xué)習(xí)定理：人工神經(jīng)網(wǎng)絡(luò)可以學(xué)會它能表達的任何東西。神經(jīng)網(wǎng)絡(luò)的適應(yīng)性是通過學(xué)習(xí)實現(xiàn)的，學(xué)習(xí)是神經(jīng)網(wǎng)絡(luò)研究的一個重要內(nèi)容，人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程表現(xiàn)為對連接權(quán)值的訓(xùn)練。3、人工神經(jīng)網(wǎng)絡(luò)的主要學(xué)習(xí)方法人工神經(jīng)網(wǎng)絡(luò)最具有吸引39

人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法,涉及到學(xué)習(xí)方式和學(xué)習(xí)規(guī)則的確定，不同的學(xué)習(xí)方法其學(xué)習(xí)方式和學(xué)習(xí)規(guī)則是不同的。⑴、學(xué)習(xí)方式通過向環(huán)境學(xué)習(xí)，獲取知識并改進自身性能，是NN的一個重要特點。一般情況下，性能的改善是按某種預(yù)定的度量，通過調(diào)節(jié)自身參數(shù)（權(quán)值）隨時間逐步達到的。

按環(huán)境提供信息量的多少，學(xué)習(xí)方式有3種：監(jiān)督學(xué)習(xí)（有師學(xué)習(xí)）、非監(jiān)督學(xué)習(xí)（無師學(xué)習(xí)）、再勵學(xué)習(xí)（強化學(xué)習(xí)）。人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法,涉及到學(xué)習(xí)方式和學(xué)習(xí)規(guī)則的確40①監(jiān)督學(xué)習(xí)（有師學(xué)習(xí)）此學(xué)習(xí)方式需要外界存在一個教師，可對給定的一組輸入提供應(yīng)有的輸出結(jié)果(正確答案→已知的輸出）。

輸出數(shù)據(jù)稱為訓(xùn)練樣本集，學(xué)習(xí)系統(tǒng)(ANN)可根據(jù)已知輸出與實際輸出之間的差值(誤差信號)來調(diào)節(jié)系統(tǒng)參數(shù)。①監(jiān)督學(xué)習(xí)（有師學(xué)習(xí)）此學(xué)習(xí)方式需要外界存在一個教41②非監(jiān)督學(xué)習(xí)（無師學(xué)習(xí)）

不存在外部教師，學(xué)習(xí)系統(tǒng)完全按照環(huán)境提供數(shù)據(jù)的某些規(guī)律來調(diào)節(jié)自身參數(shù)或結(jié)構(gòu)（是一種自組織過程），以表示出外部輸入的某種固有特性（如聚類或某種統(tǒng)計上的分布特征）。②非監(jiān)督學(xué)習(xí)（無師學(xué)習(xí)）不存在外部教師，學(xué)習(xí)系統(tǒng)完42③再勵學(xué)習(xí)（強化學(xué)習(xí)）介于有師與無師兩種情況之間。外部環(huán)境對系統(tǒng)輸出結(jié)果只給出評價信息（獎或懲），而不是給出正確答案，學(xué)習(xí)系統(tǒng)通過強化那些受獎的動作來改善自身的性能。③再勵學(xué)習(xí)（強化學(xué)習(xí)）介于有師與無師兩種情況之間。43①誤差糾正學(xué)習(xí)令yk(n)為輸入xk(n)時，神經(jīng)元k在n時刻的實際輸出，dk(n)表示應(yīng)有的輸出，則誤差信號可寫為：誤差糾正學(xué)習(xí)的最終目的：使某一基于ek(n)的目標(biāo)函數(shù)達到最小，以使網(wǎng)絡(luò)中每一輸出單元的實際輸出，在某種意義上逼近應(yīng)有的輸出。⑵、學(xué)習(xí)規(guī)則①誤差糾正學(xué)習(xí)誤差糾正學(xué)習(xí)的最終目的：使某一基于ek(n)44一旦選定了目標(biāo)函數(shù)形式，誤差糾正學(xué)習(xí)就變成了一個典型的“最優(yōu)化”問題。最常用的目標(biāo)函數(shù)是“均方誤差判據(jù)”，定義為誤差平方和的均值。其中，E為求期望算子。上式的前提是被學(xué)習(xí)的過程是寬平穩(wěn)的，具體方法可用“最優(yōu)梯度下降法”。直接用J作為目標(biāo)函數(shù)時,需要知道整個學(xué)習(xí)過程的統(tǒng)計特性,為解決這一問題，通常用J在時刻n的瞬時值ξ(n)代替J，即：各數(shù)據(jù)偏離平均數(shù)的距離的平均數(shù)。（標(biāo)準(zhǔn)差）表示實驗誤差大小的偏差平方和。屬“等精度測量”，即在相同條件下，各次測量值Xi對測定平均值X的偏差平方和后再求和?！?Xi-X)2概率意義下的“加權(quán)平均”。根據(jù)大數(shù)定理，有n次結(jié)果的平均值將趨向數(shù)學(xué)期望值。一旦選定了目標(biāo)函數(shù)形式，誤差糾正學(xué)習(xí)就變成了一個典型45問題變?yōu)椋呵螃?n)對權(quán)值w的極小值，根據(jù)梯度下降法可得：這就是通常所說的誤差糾正學(xué)習(xí)規(guī)則（或稱delta學(xué)習(xí)規(guī)則）。在自適應(yīng)濾波理論中，對這種學(xué)習(xí)的收斂性有較深入的分析。其中，η為學(xué)習(xí)步長。問題變?yōu)椋呵螃?n)對權(quán)值w的極小值，根據(jù)梯度下降法可得：46②Hebb學(xué)習(xí)由神經(jīng)心理學(xué)家Hebb提出的學(xué)習(xí)規(guī)則可歸納為：“當(dāng)某一突觸(連接)兩端的神經(jīng)元同步激活(同為激活\同為抑制)時，該連接的強度應(yīng)為增強，反之減弱”。式中，yk(n)，xj(n)分別為wkj兩端神經(jīng)元的狀態(tài)，其中最常用的一種情況是：因△wkj與yk(n)，xj(n)的相關(guān)成正比，也稱為“相關(guān)學(xué)習(xí)規(guī)則”。用數(shù)學(xué)方式可描述為：②Hebb學(xué)習(xí)式中，yk(n)，xj(n)分別為w47③競爭學(xué)習(xí)網(wǎng)絡(luò)各輸出單元互相競爭，最后只有一個最強者激活。最常見的一種情況是輸出神經(jīng)元之間有“側(cè)向抑制性連接”。即原輸出單元中如有某一單元較強，則它將獲勝并抑制其他單元,最后只有此強者處于激活狀態(tài)。最常用的競爭學(xué)習(xí)規(guī)則可寫為：③競爭學(xué)習(xí)最常用的競爭學(xué)習(xí)規(guī)則可寫為：48當(dāng)學(xué)習(xí)系統(tǒng)(神經(jīng)網(wǎng)絡(luò))所處環(huán)境平穩(wěn)時(統(tǒng)計特性不隨時間變化),理論上通過監(jiān)督學(xué)習(xí)可學(xué)到環(huán)境的統(tǒng)計特性，這些統(tǒng)計特性可被學(xué)習(xí)系統(tǒng)作為經(jīng)驗記住。但若環(huán)境是非平穩(wěn)的(統(tǒng)計特性隨時間變化)，通常的監(jiān)督學(xué)習(xí)沒有能力跟蹤這種變化。為解決此問題，需要網(wǎng)絡(luò)有一定的自適應(yīng)能力，此時對每一個不同輸入都作為一個新的例子來對待。⑶、學(xué)習(xí)與自適應(yīng)當(dāng)學(xué)習(xí)系統(tǒng)(神經(jīng)網(wǎng)絡(luò))所處環(huán)境平穩(wěn)時(統(tǒng)計特性不隨時49此時模型（即ANN）被當(dāng)做一個預(yù)測器，基于前一個時刻輸入x(n-1)和模型在n-1時刻的參數(shù)，它估計n時刻的輸出x’(n)，x’(n)與實際值x(n)（應(yīng)有的正確答案）比較，其差值稱為“信息”。若信息e(n)=0，則不修正模型參數(shù)，否則修正模型參數(shù)，以便跟蹤環(huán)境的變化。此時模型（即ANN）被當(dāng)做一個預(yù)測器，基于前一個時刻504、基于神經(jīng)網(wǎng)絡(luò)的知識表示這里，知識并不像在產(chǎn)生式系統(tǒng)中那樣獨立地表示為每一條規(guī)則，而是將某一問題的若干知識在同一網(wǎng)絡(luò)中表示。例如，在有些神經(jīng)網(wǎng)絡(luò)系統(tǒng)中，知識是用神經(jīng)網(wǎng)絡(luò)所對應(yīng)的有向權(quán)圖的鄰接矩陣及閾值向量表示的。4、基于神經(jīng)網(wǎng)絡(luò)的知識表示這里，知識并不像在產(chǎn)生式系515、基于神經(jīng)網(wǎng)絡(luò)的推理通過網(wǎng)絡(luò)計算實現(xiàn)。把用戶提供的初始證據(jù)用作網(wǎng)絡(luò)的輸入，通過網(wǎng)絡(luò)計算最終得到輸出結(jié)果。

一般來說，正向網(wǎng)絡(luò)推理的步驟：

將已知數(shù)據(jù)，輸入網(wǎng)絡(luò)輸入層的各個節(jié)點；

利用特性函數(shù)，分別計算網(wǎng)絡(luò)中各層的輸出；

用閾值函數(shù)，對輸出層的輸出進行判定，從而得到輸出結(jié)果。5、基于神經(jīng)網(wǎng)絡(luò)的推理通過網(wǎng)絡(luò)計算實現(xiàn)。525.2.3人工神經(jīng)網(wǎng)絡(luò)的典型模型及其算法

人工神經(jīng)網(wǎng)絡(luò)相關(guān)算法,已在智能處理系統(tǒng)中廣泛應(yīng)用。迄今為止，已經(jīng)開發(fā)和應(yīng)用了30多種人工神經(jīng)網(wǎng)絡(luò)模型。在此，我們僅對典型網(wǎng)絡(luò)模型及其算法作簡要介紹。

1、反向傳播(BP)模型2、Hopfield網(wǎng)絡(luò)3、自適應(yīng)共振理論(ART)模型5.2.3人工神經(jīng)網(wǎng)絡(luò)的典型模型及其算法人工神經(jīng)網(wǎng)絡(luò)531、反向傳播(BP)模型神經(jīng)元的網(wǎng)絡(luò)輸入：neti=x1w1i+x2w2i+…+xnwni1、反向傳播(BP)模型神經(jīng)元的網(wǎng)絡(luò)輸入：neti=x54輸入向量、輸出向量的維數(shù)、網(wǎng)絡(luò)隱藏層的層數(shù)和各個隱藏層神經(jīng)元的個數(shù)的決定了網(wǎng)絡(luò)拓?fù)洹?/p>

增加隱藏層的層數(shù)和隱藏層神經(jīng)元個數(shù)不一定總能提高網(wǎng)絡(luò)精度和表達能力。BP網(wǎng)一般都選用二級（3層）網(wǎng)絡(luò)。因為可以證明如果BP網(wǎng)絡(luò)中隱層單元可以根據(jù)需要自由設(shè)定，那么一個三層網(wǎng)絡(luò)可以實現(xiàn)以任意精度近似任意連續(xù)函數(shù)。輸入向量、輸出向量的維數(shù)、網(wǎng)絡(luò)隱藏層的層數(shù)和各個隱藏55將待識別模式的輸入矢量輸入至輸入層，并傳至后面的隱含層，最后通過連接權(quán)輸出到輸出層。網(wǎng)絡(luò)中每個神經(jīng)元通過求輸入權(quán)值和非線性激勵函數(shù)傳遞結(jié)果來工作。其數(shù)學(xué)描述為：式中，outi---所考慮層中第i個神經(jīng)元的輸出。

outj

---前一層中第j個神經(jīng)元的輸出。

φ()

---激勵函數(shù)。

neti

---網(wǎng)絡(luò)中第i個神經(jīng)元。將待識別模式的輸入矢量輸入至輸入層，并傳至后56對非線性激勵函數(shù)φ的使用有幾種常用形式，其中經(jīng)常采用的是前面介紹過的Sigmoid函數(shù)：對非線性激勵函數(shù)φ的使用有幾種常用形式，其中經(jīng)常采用57BP算法基本思想：

樣本集：S={(X1,Y1),(X2,Y2),…,(Xs,Ys)}逐一根據(jù)樣本集中的樣本(Xk,Yk)計算出實際輸出Ok及其誤差E1，然后對各層神經(jīng)元的權(quán)值W(1),W(2),…,W(L)各做一次調(diào)整，重復(fù)這個循環(huán)，直到∑Ep<ε（所有樣本的誤差之和）。用輸出層的誤差調(diào)整輸出層“權(quán)矩陣”，并用此誤差估計輸出層的直接前導(dǎo)層的誤差；再用輸出層前導(dǎo)層誤差估計更前一層的誤差（逐層前推），如此獲得所有其它各層的誤差估計；并用這些估計實現(xiàn)對權(quán)矩陣的修改。形成將輸出端表現(xiàn)出的誤差沿著與輸入信號相反的方向逐級向輸入端傳遞的過程。BP算法基本思想：樣本集：S={(X1,Y1),(X2,Y58BP算法訓(xùn)練過程概述前提---樣本(訓(xùn)練)集(輸入值，理想(期望)輸出值)1、首先定義網(wǎng)絡(luò)誤差對于BP反向傳播訓(xùn)練算法，通常使用的網(wǎng)絡(luò)誤差是熟知的“均方差”。但事實上并不是必須使用均方差，可使用任何連續(xù)可微誤差函數(shù)，不過選擇其他誤差函數(shù)會增加額外的復(fù)雜性。須注意，不論選用哪種函數(shù)作為誤差函數(shù)，必須在網(wǎng)絡(luò)輸出期望值與實際值之間提供一個有意義的度量---距離。假設(shè)這樣的訓(xùn)練集合存在，即可討論怎樣利用它來訓(xùn)練一個網(wǎng)絡(luò)。BP算法訓(xùn)練過程概述前提---樣本(訓(xùn)練)集(輸入值，理想(59均方差定義：式中，Ep是第p個樣本（xp,tp）的誤差；

tpj是第j個神經(jīng)元輸出的期望值（即訓(xùn)練集合）；opj是第j個神經(jīng)元輸出的實際值。上式中，每一項都反映單個輸出神經(jīng)元對整個誤差的影響，取絕對誤差（期望值和實際值之差）的平方。

可以看出：遠離期望值的那些輸出對總誤差影響最大，增加“冪指數(shù)”，影響則更明顯。均方差定義：式中，Ep是第p個樣本（xp,tp）的誤差；60BP反向傳播算法是“梯度下降訓(xùn)練算法”中比較簡單的一種。核心思想：調(diào)整權(quán)值使網(wǎng)絡(luò)總誤差最小。梯度下降法也稱為“最速下降法”。基本思想：從當(dāng)前點出發(fā)，取函數(shù)在該點處下降最快的方向，作為搜索方向。任一點的負(fù)梯度方向，是函數(shù)值在該點下降最快的方向。將n維問題，轉(zhuǎn)換為一系列沿負(fù)梯度方向，用一維搜索方法尋優(yōu)問題。BP反向傳播算法是“梯度下降訓(xùn)練算法”中比較簡單的一種?；?1網(wǎng)絡(luò)中的每個權(quán)值都是N維誤差空間中的一個元素，在誤差空間中權(quán)值作為獨立的變量，且相應(yīng)誤差表面(曲線)的形狀由訓(xùn)練集合和誤差函數(shù)共同決定。權(quán)值的誤差函數(shù)負(fù)梯度指向誤差函數(shù)減小最快的方向。如果在權(quán)值空間沿這個矢量移動，最終將達到極小值(該點梯度為零)。但該點可能是局部極小點，如下圖給出誤差空間中梯度與Ep之間的關(guān)系，形象地指出了誤差函數(shù)達到局部最小值的情形。網(wǎng)絡(luò)中的每個權(quán)值都是N維誤差空間中的一個元素，在誤差62AI第5章-計算智能詳解課件63其中:△pWji表示連接L-1層的源神經(jīng)元i和L層的目的神經(jīng)元j權(quán)值的變化。權(quán)值的這個變化，導(dǎo)致了權(quán)值空間中梯度沿降低誤差方向變化。（正比關(guān)系變化）上述結(jié)果的數(shù)學(xué)描述：權(quán)值誤差函數(shù)負(fù)梯度關(guān)系式：其中:上述結(jié)果的數(shù)學(xué)描述：權(quán)值誤差函數(shù)負(fù)梯度關(guān)系式：64因此，首先必須計算偏微分---/應(yīng)用公式：目標(biāo)：確定如何調(diào)整每個權(quán)值，使網(wǎng)絡(luò)收斂。任務(wù)：將上式轉(zhuǎn)換成適合于計算機實現(xiàn)的微分方程。上式說明：每個權(quán)值Wji將沿著局部誤差表面最速下降的負(fù)梯度方向變化一步的關(guān)系式。因此，首先必須計算偏微分---/應(yīng)用公式：65Opl是對L-1層的所有神經(jīng)元輸出求和得到，因此可計算第二項偏微分：展開：netpj由下式給出：得：Opl是對L-1層的所有神經(jīng)元輸出求和得到，因此可計算第二項66定義誤差信號δpj：兩式合并，得：前述→權(quán)值誤差函數(shù)負(fù)梯度關(guān)系式：式中，常數(shù)η是學(xué)習(xí)速率，它控制在權(quán)值空間中，對應(yīng)每步沿負(fù)梯度方向變化的大小。乘上一個比例常數(shù)η，重寫得：定義誤差信號δpj：兩式合并，得：前述→權(quán)值誤差函數(shù)負(fù)梯度67為了得到可用的微分方程，暫不考慮δpj的變化，運用微分公式：已知，輸出Opj是netpj的函數(shù)，表示為：激勵函數(shù)為計算，必須分別考慮下面兩種情況：

目的神經(jīng)元j是一輸出神經(jīng)元。

目的神經(jīng)元j是一隱含層神經(jīng)元。為了得到可用的微分方程，暫不考慮δpj的變化，運用微分公式：68⑴、輸出層中的目的神經(jīng)元對于輸出層中的目的神經(jīng)元，直接得到以O(shè)pj為自變量的誤差函數(shù)Ep，可得出：可將δpj（輸出層的目的神經(jīng)元）寫成：⑴、輸出層中的目的神經(jīng)元對于輸出層中的目的神經(jīng)元，直69⑵、隱含層中的目的神經(jīng)元對于隱含層中的目的神經(jīng)元，不能直接對誤差函數(shù)微分。利用微分公式：對L+1層中的所有神經(jīng)元求和。根據(jù)netpk的定義，可計算式中第二個因子：⑵、隱含層中的目的神經(jīng)元對于隱含層中的目的神經(jīng)元，不能直接對70得：由定義可以得到：得到：將前述兩式與上式合并：＋隱含層誤差信號δpj可表示為：得：由定義可以得到：得到：將前述兩式與上式合并：＋隱含層誤差71小結(jié)：概括上述結(jié)果，公式

給出了關(guān)于δpj的微分方程，它對隱含層和輸出層權(quán)值都有效。

公式對應(yīng)輸出層和隱含層權(quán)值δpj的表達式。和修正上述公式。分別是公式給出的是對應(yīng)于均方差公式的解。因此，若使用其他誤差函數(shù)，則必須要小結(jié)：概括上述結(jié)果，公式給出了關(guān)于δpj的微分方程，它對隱72為得到適于計算機的微分方程，現(xiàn)僅計算選擇一個特定的輸出函數(shù)。因此，必須，并求函數(shù)的解。利用Sigmoid函數(shù)，得：

由上式和前述公式可改寫為：

為得到適于計算機的微分方程，現(xiàn)僅計算選擇一個特定的輸73對上式求導(dǎo)，得：繼續(xù)計算對上式求導(dǎo)，得：繼續(xù)計算74即：將前述公式代入上式，可將表示為Opj的函數(shù)：將上式與前述公式一同考慮：即：將前述公式代入上式，可將表示為Opj的函數(shù)：將上式與前述75可寫出在計算機上用BP算法對網(wǎng)絡(luò)訓(xùn)練所需的微分方程，其中誤差函數(shù)是均方差函數(shù)，輸出函數(shù)是Sigmoid函數(shù)。從推導(dǎo)過程中可看到，若選擇另外的誤差或激勵函數(shù)，需要對上述公式進行修正。綜上所述，BP反向傳播訓(xùn)練算法所需的微分方程是：其中，η為學(xué)習(xí)速率；

δpj為L層神經(jīng)元j的誤差信號；

Opj為L-1層神經(jīng)元i的輸出?？蓪懗鲈谟嬎銠C上用BP算法對網(wǎng)絡(luò)訓(xùn)練所需的微分方程，76誤差信號δpj可表示為：其中，Opj代表L層神經(jīng)元j的輸出；Opi代表L-1層神經(jīng)元i的輸出；δpk代表L+1層神經(jīng)元k的誤差信號。誤差信號δpj可表示為：其中，Opj代表L層神經(jīng)元j的輸出；77真正的梯度下降是沿著梯度確定的方向，以無窮小步長進行的，很明顯，這是不切實際的。因此定義學(xué)習(xí)速率η，式中確定了沿梯度方向的一個有限步長。這里η是常量，它相當(dāng)于確定步長的增益。其核心思想就是：選擇足夠大的η，使得網(wǎng)絡(luò)迅速收斂，而不會因調(diào)整過度而振蕩。真正的梯度下降是沿著梯度確定的方向，以無窮小步長進行78反向傳播學(xué)習(xí)的全部過程，既包括它的前向路徑，也包括其反向路徑。采用反向傳播算法時，網(wǎng)絡(luò)權(quán)值必須首先用一小隨機值進行檢查初始化。選擇小初始權(quán)值非常重要，若初始權(quán)值選擇太大，會導(dǎo)致網(wǎng)絡(luò)不可訓(xùn)練。初始化后，訓(xùn)練集矢量就可用于網(wǎng)絡(luò)。使網(wǎng)絡(luò)向前運行產(chǎn)生一實際值集合，利用反向傳播可以建立一新權(quán)值集合，總誤差經(jīng)多次迭代后減小，如果不是如此，可調(diào)整訓(xùn)練參數(shù)。反向傳播學(xué)習(xí)的全部過程，既包括它的前向路徑，也包括其79AI第5章-計算智能詳解課件80BP算法中的幾個問題：

收斂速度問題收斂速度很慢，其訓(xùn)練需要很多步迭代。

局部極小點問題逃離/避開局部極小點：修改W的初值并不是總有效。逃離---統(tǒng)計方法；[Wasserman，1986]將Cauchy訓(xùn)練與BP算法結(jié)合起來，可在保證訓(xùn)練速度不被降低的情況下，找到全局極小點。

網(wǎng)絡(luò)癱瘓問題在訓(xùn)練中，權(quán)可能變得很大，這會使神經(jīng)元的網(wǎng)絡(luò)輸入變得很大,從而又使得其激活函數(shù)的導(dǎo)函數(shù)在此點上的取值很小。根據(jù)相應(yīng)式子,此時的訓(xùn)練步長會變得非常小，進而將導(dǎo)致訓(xùn)練速度降得非常低，最終導(dǎo)致網(wǎng)絡(luò)停止收斂。BP算法中的幾個問題：

收斂速度問題81

穩(wěn)定性問題用修改量的綜合實施權(quán)的修改。連續(xù)變化的環(huán)境，它將變成無效的。

步長問題BP網(wǎng)絡(luò)的收斂是基于無窮小的權(quán)修改量。步長太小，收斂就非常慢。步長太大，可能會導(dǎo)致網(wǎng)絡(luò)的癱瘓和不穩(wěn)定。自適應(yīng)步長，使得權(quán)修改量能隨著網(wǎng)絡(luò)的訓(xùn)練而不斷變化。[1988年，Wasserman]

網(wǎng)絡(luò)隱層中神經(jīng)元數(shù)目及層數(shù)的選取尚無理論直到，一般憑借經(jīng)驗

選取。

穩(wěn)定性問題82ArtificialIntelligence(AI)

人工智能第5章計算智能

ComputationalIntelligence

(CI)ArtificialIntelligence(AI)

人83內(nèi)容第5章計算智能1、概述2、神經(jīng)網(wǎng)絡(luò)3、模糊計算4、遺傳算法內(nèi)容第5章計算智能1、概述2、神經(jīng)網(wǎng)絡(luò)3、模糊計算4、84現(xiàn)代科技發(fā)展的一個顯著特點就是學(xué)科間的交叉、滲透和促進。(如生物信息學(xué))

計算智能是另一個有說服力的示例。計算智能涉及神經(jīng)計算、模糊計算、進化計算、粒群計算、蟻群計算、自然計算、免疫計算和人工生命等領(lǐng)域。反映了多學(xué)科交叉與集成的發(fā)展趨勢。5.1概述現(xiàn)代科技發(fā)展的一個顯著特點就是學(xué)科間的交叉、滲透和促85

通過人工方法模仿人類智能已有很長歷史（如仿生學(xué)的眾多成果）,都是人類人工模仿智能的典型例證，而現(xiàn)代人工智能領(lǐng)域則力圖抓住智能的本質(zhì)。

人工神經(jīng)網(wǎng)絡(luò)（ANN）主要是通過Hopfield網(wǎng)絡(luò)的促進和反向傳播(BP)網(wǎng)絡(luò)訓(xùn)練多層感知器來推廣的，將神經(jīng)網(wǎng)絡(luò)(NN)歸類于人工智能可能不太合適，而歸類于計算智能（CI）應(yīng)更能說明問題實質(zhì)。

進化計算、人工生命和模糊邏輯系統(tǒng)的某些課題，也都?xì)w類于計算智能。通過人工方法模仿人類智能已有很長歷史（如仿生學(xué)的眾86第一個對計算智能的定義由貝茲德克（Bezdek）于1992年提出。他認(rèn)為，從嚴(yán)格意義上講，計算智能取決于制造者提供的數(shù)據(jù)數(shù)值，而不依賴于知識；另一方面，人工智能則應(yīng)用知識。他認(rèn)為，人工神經(jīng)網(wǎng)絡(luò)應(yīng)當(dāng)稱為計算神經(jīng)網(wǎng)絡(luò)。第一個對計算智能的定義由貝茲德克（Bezdek）于187

盡管計算智能與人工智能的界限并不十分明顯，但討論它們的區(qū)別和聯(lián)系是有必要的。貝茲德克對相關(guān)術(shù)語給予一定的符號和簡要說明或定義。他給出有趣的ABC：

A－Artificial，表示人工的（非生物的），即人造的。

B－Biological，表示物理的＋化學(xué)的＋(?)＝生物的。

C－Computational，表示數(shù)學(xué)＋計算機。盡管計算智能與人工智能的界限并不十分明顯，但討論它88ABC與神經(jīng)網(wǎng)絡(luò)(NN)、模式識別(PR)和智能(I)之間的關(guān)系:可看出：計算智能是一種智力方式的低層認(rèn)知，它與人工智能的區(qū)別只

是認(rèn)知層次從中層下降至低層而已，中層系統(tǒng)含有知識)，而低層系統(tǒng)則沒有。ABC與神經(jīng)網(wǎng)絡(luò)(NN)、模式識別(PR)和智能(I)之間的89當(dāng)一個系統(tǒng)只涉及數(shù)值(低層)數(shù)據(jù)，含有模式識別部分，不使用人工智能意義上的知識,且具有計算適應(yīng)性、計算容錯性、接近人的速度、近似于人的誤差率這4個特性，則該系統(tǒng)就是計算智能系統(tǒng)。一個計算智能系統(tǒng)以非數(shù)值方式加上知識值，即成為人工智能系統(tǒng)。從學(xué)科范疇看：

計算智能是在神經(jīng)網(wǎng)絡(luò)(NN）、進化計算(EC）及模糊系統(tǒng)(FS）這三個領(lǐng)域發(fā)展相對成熟的基礎(chǔ)上，形成的一個統(tǒng)一的學(xué)科概念。1、什么是計算智能當(dāng)一個系統(tǒng)只涉及數(shù)值(低層)數(shù)據(jù)，含有模式識別部分，90ComputationalIntelligenceDarwinPrincipleCollectiveBehavior

ofSociety

Neural

NetworkEvolutionary

ComputationFuzzy

SystemOthersGenetic

AlgorithmEvolutionary

StrategyEvolutionaryprogrammingGenetic

ProgrammingParticleSwarmAntArtificialSystemComputationalIntelligenceDarw91神經(jīng)網(wǎng)絡(luò)對人類智能的結(jié)構(gòu)模擬方法。通過對大量人工神經(jīng)元的廣泛并行互聯(lián)，構(gòu)造人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)以模擬生物神經(jīng)系統(tǒng)的智能機理。進化計算對人類智能的演化模擬方法。通過對生物遺傳和演化過程的認(rèn)識,用進化算法模擬人類智能的進化規(guī)律。模糊計算對人類智能的邏輯模擬方法，通過對人類處理模糊現(xiàn)象認(rèn)知能力的認(rèn)識，用模糊邏輯模擬人類的智能行為。神經(jīng)網(wǎng)絡(luò)92計算智能不僅涉及神經(jīng)網(wǎng)絡(luò)、模糊系統(tǒng)和進化計算三個主要分支，還包括：粒子群算法蟻群算法人工免疫系統(tǒng)人工生命模擬退火算法粗集理論與粒度計算支持向量機量子計算DNA計算智能agent……計算智能不僅涉及神經(jīng)網(wǎng)絡(luò)、模糊系統(tǒng)和進化計算93生物智能(BiologicalIntelligence，BI)由腦的物理化學(xué)過程反映出來的,腦智能的基礎(chǔ)。人工智能(ArtificialIntelligence，AI)非生物的,人造的,常用符號表示，來源于人類知識的精華。計算智能(ComputationalIntelligence，CI)由數(shù)學(xué)方法和計算機實現(xiàn)的，來源于數(shù)值計算的傳感器。ABC：

Artificial

Biological

Computational2、關(guān)系生物智能(BiologicalIntelligence，94另一種觀點：計算智能和人工智能是不同的范疇。雖然人工智能與計算智能之間有重合，但計算智能是一個全新的學(xué)科領(lǐng)域，無論是生物智能還是機器智能，計算智能都是其最核心的部分,而人工智能則是外層。

實踐證明，只有將AI和CI很好地結(jié)合起來，才能更好地模擬人類智能，才是智能科學(xué)發(fā)展的正確方向。另一種觀點：計算智能和人工智能是不同的范疇。95內(nèi)容提要第5章計算智能1、概述2、神經(jīng)計算3、模糊計算4、遺傳算法內(nèi)容提要第5章計算智能1、概述2、神經(jīng)計算3、模糊計算4、965.2神經(jīng)計算以神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)的計算。廣義上，神經(jīng)網(wǎng)絡(luò)可泛指生物神經(jīng)網(wǎng)絡(luò)，也可指人工神經(jīng)網(wǎng)絡(luò)。

人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetwork）是指模擬人腦神經(jīng)系統(tǒng)的結(jié)構(gòu)和功能，運用大量的處理部件，由人工方式建立起來的網(wǎng)絡(luò)系統(tǒng)。人腦是ANN的原型，ANN是對人腦神經(jīng)系統(tǒng)的模擬。人工智能領(lǐng)域中，在不引起混淆的情況下，神經(jīng)網(wǎng)絡(luò)一般都指的都是ANN。5.2神經(jīng)計算以神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)的計算。97現(xiàn)代計算機雖有很強的計算和信息處理能力，但解決像模式識別、感知、評判和決策等復(fù)雜問題的能力卻遠遠不及人。特別是其只能按人預(yù)先編好的程序機械地執(zhí)行，缺乏向環(huán)境學(xué)習(xí)、適應(yīng)環(huán)境的能力?，F(xiàn)代計算機雖有很強的計算和信息處理能力，但解決98人腦是由大量的基本單元（神經(jīng)元）經(jīng)過復(fù)雜的互連而構(gòu)成的一種高度復(fù)雜、非線性、并行處理的信息處理系統(tǒng),單個神經(jīng)元的反應(yīng)速度在毫秒級，比起計算機的基本單元---邏輯門（反應(yīng)時間在10-9s量級）慢5～6個數(shù)量級。但由于人腦的神經(jīng)元數(shù)量巨大（約為1010個），每個神經(jīng)元可與幾千個其他神經(jīng)元連接（總連接數(shù)約為6×1013），因而對有些問題的處理速度反而比計算機要快得多，且能耗要低得多。由此可見，人腦的性能要比現(xiàn)代計算機高得多。人腦是由大量的基本單元（神經(jīng)元）經(jīng)過復(fù)雜的互連99所謂人工神經(jīng)網(wǎng)絡(luò)，是模仿人腦工作方式而設(shè)計的一種機器，可用電子或光電元件實現(xiàn)，也可用軟件在常規(guī)計算機上仿真?；蛘哒f是一種具有大量連接的并行分布處理器，具有通過學(xué)習(xí)獲取知識并解決問題的能力，且知識是分布存儲在連接權(quán)（對應(yīng)于生物神經(jīng)元的突觸）中，而不是像常規(guī)計算機那樣按地址存儲在特定的存儲單元中。所謂人工神經(jīng)網(wǎng)絡(luò)，是模仿人腦工作方式而設(shè)計的一100符號（功能）主義：符號邏輯推理聯(lián)結(jié)（結(jié)構(gòu)）主義：人工神經(jīng)網(wǎng)絡(luò)行為主義：智能行為模擬，“模式-動作”聯(lián)結(jié)主義的觀點：智能的寓所在大腦皮層，是由大量非線

性神經(jīng)元互聯(lián)而成并行處理的神經(jīng)網(wǎng)絡(luò)。人工智能的各種學(xué)派：符號（功能）主義：符號邏輯推理人工智能的各種學(xué)派：101總體而言，人工神經(jīng)網(wǎng)絡(luò)（ANN）是反映人腦結(jié)構(gòu)及功能的一種抽象數(shù)學(xué)模型，是由大量神經(jīng)元節(jié)點互連而成的復(fù)雜網(wǎng)絡(luò)，用以模擬人類進行知識的表示與存儲以及利用知識進行推理的行為。簡單地講，ANN是一個數(shù)學(xué)模型，可用電子電路實現(xiàn)，也可用計算機程序來模擬，是人工智能研究的一種方法。人工神經(jīng)網(wǎng)絡(luò)力求從四個方面模擬人腦的智能行為：物理結(jié)構(gòu)，計算模擬，存儲與操作，訓(xùn)練?？傮w而言，人工神經(jīng)網(wǎng)絡(luò)（ANN）是反映人腦結(jié)構(gòu)及功能1025.2.1人工神經(jīng)網(wǎng)絡(luò)研究的進展1、萌芽期（20世紀(jì)40年代）1890年，美國生物學(xué)家W.James首次闡明了有關(guān)人腦結(jié)構(gòu)及其功能,以及相關(guān)學(xué)習(xí)、聯(lián)想、記憶的基本規(guī)律。1943年，心理學(xué)家McCulloch和數(shù)學(xué)家Pitts建立起了著名的閾值加權(quán)和模型，簡稱為M-P模型。1949年，心理學(xué)家D.O.Hebb提出，神經(jīng)元之間突觸聯(lián)系是可變的假說---Hebb學(xué)習(xí)律。5.2.1人工神經(jīng)網(wǎng)絡(luò)研究的進展1、萌芽期（20世紀(jì)41032、第一高潮期（1950-1968）以Minsky，Rosenblatt，Widrow等為代表人物。1957年Rosenblatt定義了一個神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，稱為感知器。將神經(jīng)網(wǎng)絡(luò)研究從純理論的探討推向工程實現(xiàn)，在IBM計算機上進行了模擬，并可用電子線路模擬。3、反思期（1969-1982）1969年Minsky和Papert在《感知機》一書中指出感知機的缺陷(異或運算不可表示)，使得神經(jīng)網(wǎng)絡(luò)的研究從興起期進入了停滯期。芬蘭學(xué)者Kohonen提出了自組織映射理論(SOM)，美國學(xué)者Grossberg提出了自適應(yīng)諧振理論(ART)，這些研究成果對神經(jīng)網(wǎng)絡(luò)以后的發(fā)展產(chǎn)生了重要影響。2、第一高潮期（1950-1968）1044、第二高潮期（1983-1990）1982年，Hopfield提出Hopfield模型。1984年，Hopfield設(shè)計研制了Hopfield網(wǎng)的電路。較好地解決了著名的TSP問題，引起了較大轟動。1985年，Hinton、Sejnowsky、Rumelhart等人在Hopfield網(wǎng)絡(luò)中引入隨機機制，提出Boltzmann機。1986年，Rumelhart,Hinton提出多層感知機與反向傳播(BP)學(xué)習(xí)算法，該方法克服了感知器非線性不可分類問題，給神經(jīng)網(wǎng)絡(luò)研究帶來了新的希望。

1990年12月中國首屆神經(jīng)網(wǎng)絡(luò)大會在北京舉行。4、第二高潮期（1983-1990）1055、成熟期（1991-）平穩(wěn)發(fā)展，應(yīng)用廣泛，與其他領(lǐng)域的結(jié)合：與進化計算結(jié)合、與模糊邏輯結(jié)合、……。

實際應(yīng)用：計算機視覺、自然語言理解、優(yōu)化計算、智能控制等。

5、成熟期（1991-）106并行分布處理：并行結(jié)構(gòu)，耐故障。(實時、動態(tài))非線性映射：任意非線性映射能力。(非線性問題)通過訓(xùn)練進行學(xué)習(xí)：通過數(shù)據(jù)記錄進行訓(xùn)練，能處理由數(shù)學(xué)模型或描述規(guī)則難以處理的問題。適應(yīng)與集成：自適應(yīng)和信息融合能力。(復(fù)雜、大規(guī)模、多變量)硬件實現(xiàn)：快速和大規(guī)模處理能力。(并行處理)人工神經(jīng)網(wǎng)絡(luò)的特性：并行分布處理：并行結(jié)構(gòu)，耐故障。(實時、動態(tài))人工神經(jīng)網(wǎng)絡(luò)的107神經(jīng)網(wǎng)絡(luò)的生物學(xué)機理。⑴、神經(jīng)元結(jié)構(gòu)包括四個部分

胞體：神經(jīng)細(xì)胞的本體，維持細(xì)胞生存功能

樹突：接收來自其他神經(jīng)元的信號（輸入）

軸突：輸出信號

突觸：與另一個神經(jīng)元相聯(lián)系的特殊部位5.2.2人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)的生物學(xué)機理。5.2.2人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)108

一個神經(jīng)元有兩種狀態(tài)：興奮、抑制。

平時處于抑制狀態(tài)的神經(jīng)元，其樹突和胞體接收其它神經(jīng)元由突觸傳來的興奮電位，多個輸入在神經(jīng)元中以代數(shù)和的方式疊加。

如果輸入的興奮電位總量超過某個閾值，神經(jīng)元會被激發(fā)進入興奮狀態(tài)，發(fā)出輸出脈沖，并由突觸傳遞給其他神經(jīng)元。

神經(jīng)元被觸發(fā)后進入不應(yīng)期，在不應(yīng)期內(nèi)不能被觸發(fā)，然后閾值逐漸下降，恢復(fù)抑制狀態(tài)。⑵、神經(jīng)元的基本工作機制（簡化）

一個神經(jīng)元有兩種狀態(tài)：興奮、抑制。⑵、神經(jīng)元的基本工作機109

神經(jīng)元及其連接。

神經(jīng)元之間的連接強度決定信號傳遞的強弱。

神經(jīng)元之間的連接強度可以隨訓(xùn)練改變。

信號可以起刺激作用，也可以起抑制作用。

一個神經(jīng)元接受信號的累積效果決定該神經(jīng)元的狀態(tài)。

每個神經(jīng)元有一個“閾值”。⑶、生物神經(jīng)網(wǎng)絡(luò)的六個基本特征

神經(jīng)元及其連接。⑶、生物神經(jīng)網(wǎng)絡(luò)的六個基本特征110MP模型：一種人工神經(jīng)元的數(shù)學(xué)模型，是最早的神經(jīng)元模型之一。

是大多數(shù)神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)。

MP模型示意圖：1、神經(jīng)元及其特性輸入輸出中間狀態(tài)MP模型：1、神經(jīng)元及其特性輸入輸出中間狀態(tài)111人工神經(jīng)元是仿照生物神經(jīng)元提出的，神經(jīng)元可以有N個輸入：每個輸入端與神經(jīng)元之間有一定的連接權(quán)值：神經(jīng)元總的輸入為對每個輸入的加權(quán)求和，同時減去閾值θ。u代表神經(jīng)元的活躍值，即神經(jīng)元狀態(tài)：人工神經(jīng)元是仿照生物神經(jīng)元提出的，神經(jīng)元可以有N個輸入：每個112神經(jīng)元的輸出y是對u的映射：二值函數(shù)f

稱為輸出函數(shù)(激勵函數(shù)，激活函數(shù))，有幾種形式：神經(jīng)元的輸出y是對u的映射：二值函數(shù)f稱為輸出函數(shù)(激勵函113S型函數(shù)雙曲正切函數(shù)S型函數(shù)雙曲正切函數(shù)114輸出函數(shù)“f”的作用：

控制輸入對輸出的激活作用。

對輸入、輸出進行函數(shù)轉(zhuǎn)換。

將可能無限域的輸入變換成有限范圍內(nèi)的輸出。輸出函數(shù)“f”的作用：1152、人工神經(jīng)網(wǎng)絡(luò)的基本特性和結(jié)構(gòu)

結(jié)構(gòu)由基本處理單元及其互連方法決定。

人工神經(jīng)網(wǎng)絡(luò)由神經(jīng)元模型構(gòu)成。這種由許多神經(jīng)元組成的信息處理網(wǎng)絡(luò)具有并行分布結(jié)構(gòu)，每個神經(jīng)元具有單一輸出，并且能夠與其它神經(jīng)元連接。存在許多(多重)輸出連接方法，每種連接方法對應(yīng)一個連接權(quán)系數(shù)。2、人工神經(jīng)網(wǎng)絡(luò)的基本特性和結(jié)構(gòu)結(jié)構(gòu)由基本處理單元及116嚴(yán)格地說，人工神經(jīng)網(wǎng)絡(luò)是一種具有下列特性的有向圖：(1)對于每個節(jié)點i存在一個狀態(tài)變量xi；(2)從節(jié)點i至節(jié)點j，存在一個連接權(quán)系數(shù)wij；(3)對于每個節(jié)點i，存在一個閾值i；(4)對于每個節(jié)點i，定義一個變換函數(shù)

fi(xi,wij,i)；

對于最一般的情況，此函數(shù)的形式為：嚴(yán)格地說，人工神經(jīng)網(wǎng)絡(luò)是一種具有下列特性的有向圖：117

神經(jīng)元模型確定之后，一個神經(jīng)網(wǎng)絡(luò)的特性及能力即主要取決于網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)及學(xué)習(xí)方法。人工神經(jīng)網(wǎng)絡(luò)（ANN）可以看成是以人工神經(jīng)元為節(jié)點,用有向加權(quán)弧連接起來的有向圖。

人工神經(jīng)元就是對生物神經(jīng)元的模擬。

有向弧則是軸突—突觸—樹突對的模擬。有向弧的權(quán)值表示相互連接的兩個人工神經(jīng)元之間相互作用的強弱。神經(jīng)元模型確定之后，一個神經(jīng)網(wǎng)絡(luò)的特性及能力即主118人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)基本上分為兩類：遞歸(反饋)網(wǎng)絡(luò)、和前饋網(wǎng)絡(luò)。⑴、遞歸網(wǎng)絡(luò)在遞歸網(wǎng)絡(luò)中，多個神經(jīng)元互連以組織成一個互連神經(jīng)網(wǎng)絡(luò)，如圖所示。有些神經(jīng)元的輸出被反饋至同層或前層神經(jīng)元。因此，信號能夠從正向和反向流通。（Hopfield網(wǎng)絡(luò)）遞歸網(wǎng)絡(luò)又叫做反饋網(wǎng)絡(luò)。Vi

：表示節(jié)點的狀態(tài)xi：節(jié)點的輸入(初始)值xi’：收斂后的輸出值（i=1,2,…,n）人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)基本上分為兩類：遞歸(反饋)網(wǎng)絡(luò)、119⑵、前饋網(wǎng)絡(luò)前饋網(wǎng)絡(luò)具有遞階分層結(jié)構(gòu)，由一些同層神經(jīng)元間不存在互連的層級組成。從輸入層至輸出層的信號通過單向連接流通；(感知器)神經(jīng)元從一層連接至下一層，不存在同層神經(jīng)元間的連接。實線---指明實際信號流通,虛線---表示反向傳播。(連接權(quán)值)⑵、前饋網(wǎng)絡(luò)1203、人工神經(jīng)網(wǎng)絡(luò)的主要學(xué)習(xí)方法

人工神經(jīng)網(wǎng)絡(luò)最具有吸引力的特點是它的學(xué)習(xí)能力。1962年，Rosenblatt給出了人工神經(jīng)網(wǎng)絡(luò)著名的學(xué)習(xí)定理：人工神經(jīng)網(wǎng)絡(luò)可以學(xué)會它能表達的任何東西。神經(jīng)網(wǎng)絡(luò)的適應(yīng)性是通過學(xué)習(xí)實現(xiàn)的，學(xué)習(xí)是神經(jīng)網(wǎng)絡(luò)研究的一個重要內(nèi)容，人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程表現(xiàn)為對連接權(quán)值的訓(xùn)練。3、人工神經(jīng)網(wǎng)絡(luò)的主要學(xué)習(xí)方法人工神經(jīng)網(wǎng)絡(luò)最具有吸引121

人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法,涉及到學(xué)習(xí)方式和學(xué)習(xí)規(guī)則的確定，不同的學(xué)習(xí)方法其學(xué)習(xí)方式和學(xué)習(xí)規(guī)則是不同的。⑴、學(xué)習(xí)方式通過向環(huán)境學(xué)習(xí)，獲取知識并改進自身性能，是NN的一個重要特點。一般情況下，性能的改善是按某種預(yù)定的度量，通過調(diào)節(jié)自身參數(shù)（權(quán)值）隨時間逐步達到的。

按環(huán)境提供信息量的多少，學(xué)習(xí)方式有3種：監(jiān)督學(xué)習(xí)（有師學(xué)習(xí)）、非監(jiān)督學(xué)習(xí)（無師學(xué)習(xí)）、再勵學(xué)習(xí)（強化學(xué)習(xí)）。人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法,涉及到學(xué)習(xí)方式和學(xué)習(xí)規(guī)則的確122①監(jiān)督學(xué)習(xí)（有師學(xué)習(xí)）此學(xué)習(xí)方式需要外界存在一個教師，可對給定的一組輸入提供應(yīng)有的輸出結(jié)果(正確答案→已知的輸出）。

輸出數(shù)據(jù)稱為訓(xùn)練樣本集，學(xué)習(xí)系統(tǒng)(ANN)可根據(jù)已知輸出與實際輸出之間的差值(誤差信號)來調(diào)節(jié)系統(tǒng)參數(shù)。①監(jiān)督學(xué)習(xí)（有師學(xué)習(xí)）此學(xué)習(xí)方式需要外界存在一個教123②非監(jiān)督學(xué)習(xí)（無師學(xué)習(xí)）

不存在外部教師，學(xué)習(xí)系統(tǒng)完全按照環(huán)境提供數(shù)據(jù)的某些規(guī)律來調(diào)節(jié)自身參數(shù)或結(jié)構(gòu)（是一種自組織過程），以表示出外部輸入的某種固有特性（如聚類或某種統(tǒng)計上的分布特征）。②非監(jiān)督學(xué)習(xí)（無師學(xué)習(xí)）不存在外部教師，學(xué)習(xí)系統(tǒng)完124③再勵學(xué)習(xí)（強化學(xué)習(xí)）介于有師與無師兩種情況之間。外部環(huán)境對系統(tǒng)輸出結(jié)果只給出評價信息（獎或懲），而不是給出正確答案，學(xué)習(xí)系統(tǒng)通過強化那些受獎的動作來改善自身的性能。③再勵學(xué)習(xí)（強化學(xué)習(xí)）介于有師與無師兩種情況之間。125①誤差糾正學(xué)習(xí)令yk(n)為輸入xk(n)時，神經(jīng)元k在n時刻的實際輸出，dk(n)表示應(yīng)有的輸出，則誤差信號可寫為：誤差糾正學(xué)習(xí)的最終目的：使某一基于ek(n)的目標(biāo)函數(shù)達到最小，以使網(wǎng)絡(luò)中每一輸出單元的實際輸出，在某種意義上逼近應(yīng)有的輸出。⑵、學(xué)習(xí)規(guī)則①誤差糾正學(xué)習(xí)誤差糾正學(xué)習(xí)的最終目的：使某一基于ek(n)126一旦選定了目標(biāo)函數(shù)形式，誤差糾正學(xué)習(xí)就變成了一個典型的“最優(yōu)化”問題。最常用的目標(biāo)函數(shù)是“均方誤差判據(jù)”，定義為誤差平方和的均值。其中，E為求期望算子。上式的前提是被學(xué)習(xí)的過程是寬平穩(wěn)的，具體方法可用“最優(yōu)梯度下降法”。直接用J作為目標(biāo)函數(shù)時,需要知道整個學(xué)習(xí)過程的統(tǒng)計特性,為解決這一問題，通常用J在時刻n的瞬時值ξ(n)代替J，即：各數(shù)據(jù)偏離平均數(shù)的距離的平均數(shù)。（標(biāo)準(zhǔn)差）表示實驗誤差大小的偏差平方和。屬“等精度測量”，即在相同條件下，各次測量值Xi對測定平均值X的偏差平方和后再求和?！?Xi-X)2概率意義下的“加權(quán)平均”。根據(jù)大數(shù)定理，有n次結(jié)果的平均值將趨向數(shù)學(xué)期望值。一旦選定了目標(biāo)函數(shù)形式，誤差糾正學(xué)習(xí)就變成了一個典型127問題變?yōu)椋呵螃?n)對權(quán)值w的極小值，根據(jù)梯度下降法可得：這就是通常所說的誤差糾正學(xué)習(xí)規(guī)則（或稱delta學(xué)習(xí)規(guī)則）。在自適應(yīng)濾波理論中，對這種學(xué)習(xí)的收斂性有較深入的分析。其中，η為學(xué)習(xí)步長。問題變?yōu)椋呵螃?n)對權(quán)值w的極小值，根據(jù)梯度下降法可得：128②Hebb學(xué)習(xí)由神經(jīng)心理學(xué)家Hebb提出的學(xué)習(xí)規(guī)則可歸納為：“當(dāng)某一突觸(連接)兩端的神經(jīng)元同步激活(同為激活\同為抑制)時，該連接的強度應(yīng)為增強，反之減弱”。式中，yk(n)，xj(n)分別為wkj兩端神經(jīng)元的狀態(tài)，其中最常用的一種情況是：因△wkj與yk(n)，xj(n)的相關(guān)成正比，也稱為“相關(guān)學(xué)習(xí)規(guī)則”。用數(shù)學(xué)方式可描述為：②Hebb學(xué)習(xí)式中，yk(n)，xj(n)分別為w129③競爭學(xué)習(xí)網(wǎng)絡(luò)各輸出單元互相競爭，最后只有一個最強者激活。最常見的一種情況是輸出神經(jīng)元之間有“側(cè)向抑制性連接”。即原輸出單元中如有某一單元較強，則它將獲勝并抑制其他單元,最后只有此強者處于激活狀態(tài)。最常用的競爭學(xué)習(xí)規(guī)則可寫為：③競爭學(xué)習(xí)最常用的競爭學(xué)習(xí)規(guī)則可寫為：130當(dāng)學(xué)習(xí)系統(tǒng)(神經(jīng)網(wǎng)絡(luò))所處環(huán)境平穩(wěn)時(統(tǒng)計特性不隨時間變化),理論上通過監(jiān)督學(xué)習(xí)可學(xué)到環(huán)境的統(tǒng)計特性，這些統(tǒng)計特性可被學(xué)習(xí)系統(tǒng)作為經(jīng)驗記住。但若環(huán)境是非平穩(wěn)的(統(tǒng)計特性隨時間變化)，通常的監(jiān)督學(xué)習(xí)沒有能力跟蹤這種變化。為解決此問題，需要網(wǎng)絡(luò)有一定的自適應(yīng)能力，此時對每一個不同輸入都作為一個新的例子來對待。⑶、學(xué)習(xí)與自適應(yīng)當(dāng)學(xué)習(xí)系統(tǒng)(神經(jīng)網(wǎng)絡(luò))所處環(huán)境平穩(wěn)時(統(tǒng)計特性不隨時131此時模型（即ANN）被當(dāng)做一個預(yù)測器，基于前一個時刻輸入x(n-1)和模型在n-1時刻的參數(shù)，它估計n時刻的輸出x’(n)，x’(n)與實際值x(n)（應(yīng)有的正確答案）比較，其差值稱為“信息”。若信息e(n)=0，則不修正模型參數(shù)，否則修正模型參數(shù)，以便跟蹤環(huán)境的變化。此時模型（即ANN）被當(dāng)做一個預(yù)測器，基于前一個時刻1324、基于神經(jīng)網(wǎng)絡(luò)的知識表示這里，知識并不像在產(chǎn)生式系統(tǒng)中那樣獨立地表示為每一條規(guī)則，而是將某一問題的若干知識在同一網(wǎng)絡(luò)中表示。例如，在有些神經(jīng)網(wǎng)絡(luò)系統(tǒng)中，知識是用神經(jīng)網(wǎng)絡(luò)所對應(yīng)的有向權(quán)圖的鄰接矩陣及閾值向量表示的。4、基于神經(jīng)網(wǎng)絡(luò)的知識表示這里，知識并不像在產(chǎn)生式系1335、基于神經(jīng)網(wǎng)絡(luò)的推理通過網(wǎng)絡(luò)計算實現(xiàn)。把用戶提供的初始證據(jù)用作網(wǎng)絡(luò)的輸入，通過網(wǎng)絡(luò)計算最終得到輸出結(jié)果。

一般來說，正向網(wǎng)絡(luò)推理的步驟：

將已知數(shù)據(jù)，輸入網(wǎng)絡(luò)輸入層的各個節(jié)點；

利用特性函數(shù)，分別計算網(wǎng)絡(luò)中各層的輸出；

用閾值函數(shù)，對輸出層的輸出進行判定，從而得到輸出結(jié)果。5、基于神經(jīng)網(wǎng)絡(luò)的推理通過網(wǎng)絡(luò)計算實現(xiàn)。1345.2.3人工神經(jīng)網(wǎng)絡(luò)的典型模型及其算法

人工神經(jīng)網(wǎng)絡(luò)相關(guān)算法,已在智能處理系統(tǒng)中廣泛應(yīng)用。迄今為止，已經(jīng)開發(fā)和應(yīng)用了30多種人工神經(jīng)網(wǎng)絡(luò)模型。在此，我們僅對典型網(wǎng)絡(luò)模型及其算法作簡要介紹。

1、反向傳播(BP)模型2、Hopfield網(wǎng)絡(luò)3、自適應(yīng)共振理論(ART)模型5.2.3人工神經(jīng)網(wǎng)絡(luò)的典型模型及其算法人工神經(jīng)網(wǎng)絡(luò)1351、反向傳播(BP)模