第4章連接主義：人工神經(jīng)網(wǎng)絡(luò)教材：

王萬良《人工智能通識(shí)導(dǎo)論》高等教育出版社，20252第4章連接主義：人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)是對(duì)人腦或生物神經(jīng)網(wǎng)絡(luò)若干基本特性的抽象和模擬。神經(jīng)網(wǎng)絡(luò)理論為許多問題的研究提供了一條新的思路，目前已經(jīng)在模式識(shí)別、機(jī)器視覺、語音識(shí)別、機(jī)器翻譯、圖像處理、聯(lián)想記憶、自動(dòng)控制、信號(hào)處理、軟測量、決策分析、智能計(jì)算、組合優(yōu)化、數(shù)據(jù)挖掘等方面獲得成功應(yīng)用。本章著重介紹人工神經(jīng)元數(shù)學(xué)模型、應(yīng)用廣泛的BP神經(jīng)網(wǎng)絡(luò)、Hopfield神經(jīng)網(wǎng)絡(luò)、隨機(jī)神經(jīng)網(wǎng)絡(luò)及其應(yīng)用，也為下一章介紹深度學(xué)習(xí)奠定基礎(chǔ)。3第4章連接主義：人工神經(jīng)網(wǎng)絡(luò)●

19世紀(jì)末20世紀(jì)初，西班牙神經(jīng)解破學(xué)家卡哈爾，在意大利醫(yī)學(xué)家高爾基發(fā)現(xiàn)神經(jīng)細(xì)胞的基礎(chǔ)上，描繪了神經(jīng)元的組織結(jié)構(gòu)和它們之間的聯(lián)系。人類大腦的活動(dòng)是由這種聯(lián)系產(chǎn)生的。為此，1906年他們共同獲得了諾貝爾生理學(xué)或醫(yī)學(xué)獎(jiǎng)。●

生物神經(jīng)網(wǎng)絡(luò)(naturalneuralnetwork,NNN):由中樞神經(jīng)系統(tǒng)（腦和脊髓）及周圍神經(jīng)系統(tǒng)（感覺神經(jīng)、運(yùn)動(dòng)神經(jīng)等）所構(gòu)成的錯(cuò)綜復(fù)雜的神經(jīng)網(wǎng)絡(luò)，其中最重要的是腦神經(jīng)系統(tǒng)。●人工神經(jīng)網(wǎng)絡(luò)(artificialneuralnetworks,ANN):模擬人腦神經(jīng)系統(tǒng)的結(jié)構(gòu)和功能，運(yùn)用大量簡單處理單元經(jīng)廣泛連接而組成的人工網(wǎng)絡(luò)系統(tǒng)。神經(jīng)網(wǎng)絡(luò)方法：隱式的知識(shí)表示方法4第4章連接主義：人工神經(jīng)網(wǎng)絡(luò)4.1人工神經(jīng)元與人工神經(jīng)網(wǎng)絡(luò)4.2機(jī)器學(xué)習(xí)的先驅(qū)——Hebb學(xué)習(xí)規(guī)則4.3掀起人工神經(jīng)網(wǎng)絡(luò)第一次高潮的感知器4.4掀起人工神經(jīng)網(wǎng)絡(luò)第二次高潮的BP學(xué)習(xí)算法4.5BP學(xué)習(xí)算法的應(yīng)用4.6Hopfield神經(jīng)網(wǎng)絡(luò)與玻爾茲曼機(jī)4.7Hopfield神經(jīng)網(wǎng)絡(luò)聯(lián)想記憶4.8Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法54.1人工神經(jīng)元與人工神經(jīng)網(wǎng)絡(luò)4.1.1生物神經(jīng)元的結(jié)構(gòu)4.1.2生物神經(jīng)元數(shù)學(xué)模型4.1.3人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)與學(xué)習(xí)64.1.1生物神經(jīng)元的結(jié)構(gòu)●人腦由一千多億（1011億－1014億）個(gè)神經(jīng)細(xì)胞（神經(jīng)元）交織在一起的網(wǎng)狀結(jié)構(gòu)組成，其中大腦皮層約140億個(gè)神經(jīng)元，小腦皮層約1000億個(gè)神經(jīng)元。●神經(jīng)元約有1000種類型，每個(gè)神經(jīng)元大約與103－104個(gè)其他神經(jīng)元相連接，形成極為錯(cuò)綜復(fù)雜而又靈活多變的神經(jīng)網(wǎng)絡(luò)。●人腦構(gòu)造:

皮層（cortex）中腦（midbrain）腦干（brainstem）小腦（cerebellum）74.1.1生物神經(jīng)元的結(jié)構(gòu)（輸入）（輸出）軸突樹突細(xì)胞體突觸神經(jīng)細(xì)胞利用電-化學(xué)過程交換信號(hào)84.1.1生物神經(jīng)元的結(jié)構(gòu)

●工作狀態(tài)：

興奮狀態(tài)：細(xì)胞膜電位>

動(dòng)作電位的閾值→神經(jīng)沖動(dòng)

抑制狀態(tài)：細(xì)胞膜電位<動(dòng)作電位的閾值

●學(xué)習(xí)與遺忘：由于神經(jīng)元結(jié)構(gòu)的可塑性，突觸的傳遞作用可增強(qiáng)和減弱

。94.1人工神經(jīng)元與人工神經(jīng)網(wǎng)絡(luò)4.1.1生物神經(jīng)元的結(jié)構(gòu)4.1.2生物神經(jīng)元的數(shù)學(xué)模型4.1.3人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)與學(xué)習(xí)10人工神經(jīng)元模型1943年，麥克洛奇和皮茲提出M－P模型?！?1（權(quán)重/突觸）（細(xì)胞體）（閾值）（神經(jīng)沖動(dòng)）人工神經(jīng)元i的模型圖激勵(lì)函數(shù)4.1.2生物神經(jīng)元的數(shù)學(xué)模型114.1.2生物神經(jīng)元的數(shù)學(xué)模型一般模型：124.1.2生物神經(jīng)元數(shù)學(xué)模型非線性激勵(lì)函數(shù)（傳輸函數(shù)、輸出變換函數(shù)）

（硬極限函數(shù)或階躍函數(shù)）（對(duì)稱硬極限函數(shù)）134.1.2生物神經(jīng)元數(shù)學(xué)模型●非線性激勵(lì)函數(shù)（傳輸函數(shù)、輸出變換函數(shù)）

（對(duì)數(shù)-S形函數(shù)或S型函數(shù)）（雙曲正切S形函數(shù)）144.1.2生物神經(jīng)元數(shù)學(xué)模型Sigmoid函數(shù)的缺點(diǎn)：在輸入的絕對(duì)值大于某個(gè)閾值后，過快進(jìn)入飽和狀態(tài)（即函數(shù)值趣于1或者-1，而不再有顯著的變化），出現(xiàn)梯度消失情況,即梯度會(huì)趨于0，在實(shí)際模型訓(xùn)練中會(huì)導(dǎo)致模型收斂緩慢，性能不夠理想。（3）ReLU函數(shù)154.1人工神經(jīng)元與人工神經(jīng)網(wǎng)絡(luò)4.1.1生物神經(jīng)元的結(jié)構(gòu)4.1.2生物神經(jīng)元的數(shù)學(xué)模型4.1.3人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)與學(xué)習(xí)161.人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)（1）前饋型（前向型）

4.1.3人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)與學(xué)習(xí)17

1.人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)（2）反饋型（Hopfield神經(jīng)網(wǎng)絡(luò)）4.1.3人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)與學(xué)習(xí)182.人工神經(jīng)網(wǎng)絡(luò)的工作方式●同步（并行）方式：任一時(shí)刻神經(jīng)網(wǎng)絡(luò)中所有神經(jīng)元同時(shí)調(diào)整狀態(tài)。●異步（串行）方式：任一時(shí)刻只有一個(gè)神經(jīng)元調(diào)整狀態(tài)，而其它神經(jīng)元的狀態(tài)保持不變。3.人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)●神經(jīng)網(wǎng)絡(luò)方法是一種知識(shí)表示方法和推理方法。●神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)是指調(diào)整神經(jīng)網(wǎng)絡(luò)的連接權(quán)值或者結(jié)構(gòu)，使輸入輸出具有需要的特性。4.1.3人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)與學(xué)習(xí)19第4章連接主義：人工神經(jīng)網(wǎng)絡(luò)4.1人工神經(jīng)元與人工神經(jīng)網(wǎng)絡(luò)4.2機(jī)器學(xué)習(xí)的先驅(qū)——Hebb學(xué)習(xí)規(guī)則4.3掀起人工神經(jīng)網(wǎng)絡(luò)第一次高潮的感知器4.4掀起人工神經(jīng)網(wǎng)絡(luò)第二次高潮的BP學(xué)習(xí)算法4.5BP學(xué)習(xí)算法的應(yīng)用4.6Hopfield神經(jīng)網(wǎng)絡(luò)與玻爾茲曼機(jī)4.7Hopfield神經(jīng)網(wǎng)絡(luò)聯(lián)想記憶4.8Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法204.2機(jī)器學(xué)習(xí)的先驅(qū)——赫布學(xué)習(xí)規(guī)則●1944年赫布（Hebb）提出了改變神經(jīng)元連接強(qiáng)度的Hebb學(xué)習(xí)規(guī)則。●Hebb學(xué)習(xí)規(guī)則：當(dāng)某一突觸兩端的神經(jīng)元同時(shí)處于興奮狀態(tài)，那么該連接的權(quán)值應(yīng)該增強(qiáng)?！馠ebb學(xué)習(xí)規(guī)則與“條件反射”機(jī)理一致，并且已經(jīng)得到了神經(jīng)細(xì)胞學(xué)說的證實(shí)。●Hebb學(xué)習(xí)規(guī)則是一個(gè)無監(jiān)督學(xué)習(xí)規(guī)則。21第4章連接主義：人工神經(jīng)網(wǎng)絡(luò)4.1人工神經(jīng)元與人工神經(jīng)網(wǎng)絡(luò)4.2機(jī)器學(xué)習(xí)的先驅(qū)——Hebb學(xué)習(xí)規(guī)則4.3掀起人工神經(jīng)網(wǎng)絡(luò)第一次高潮的感知器4.4掀起人工神經(jīng)網(wǎng)絡(luò)第二次高潮的BP學(xué)習(xí)算法4.5BP學(xué)習(xí)算法的應(yīng)用4.6Hopfield神經(jīng)網(wǎng)絡(luò)與玻爾茲曼機(jī)4.7Hopfield神經(jīng)網(wǎng)絡(luò)聯(lián)想記憶4.8Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法22●1957年，美國康奈爾大學(xué)的實(shí)驗(yàn)心理學(xué)家、計(jì)算科學(xué)家弗蘭克·羅森布拉特，受Hebb學(xué)習(xí)規(guī)則的啟發(fā)，提出了感知器（Perceptron），并在一臺(tái)IBM-704計(jì)算機(jī)上模擬實(shí)現(xiàn)了感知器神經(jīng)網(wǎng)絡(luò)模型。4.3掀起人工神經(jīng)網(wǎng)絡(luò)第一次高潮的感知器保羅·沃波斯23感知器是線性分類器：4.3掀起人工神經(jīng)網(wǎng)絡(luò)第一次高潮的感知器保羅·沃波斯24感知器的不足：不能解決非線性分類問題。單層神經(jīng)網(wǎng)絡(luò)無法解決不可線性分割的問題。例如，無法實(shí)現(xiàn)簡單的異或門電路（XORCircuit）。4.3掀起人工神經(jīng)網(wǎng)絡(luò)第一次高潮的感知器保羅·沃波斯25解決的思路：增加感知器的隱層，形成多層感知器，能夠分類非線性分類問題。例如異或問題。當(dāng)時(shí)的困難：（1）缺少相應(yīng)的學(xué)習(xí)算法；（2）利用當(dāng)時(shí)最先進(jìn)的計(jì)算機(jī)也沒有足夠計(jì)算力，完成多層感知器訓(xùn)練所需的超大計(jì)算量。4.3掀起人工神經(jīng)網(wǎng)絡(luò)第一次高潮的感知器保羅·沃波斯26人工智能冬天：●圖靈獎(jiǎng)獲得者明斯基在1969年的論斷，直接使人工智能的研究進(jìn)入長達(dá)近二十年的低潮，史稱“人工智能冬天”?！裥莶疇柡屯蔂柕热藢?duì)大腦的深入認(rèn)識(shí)，啟迪了計(jì)算機(jī)科學(xué)家，為科研人員從“觀察大腦”到“重現(xiàn)大腦”搭起了橋梁，提出了深度學(xué)習(xí)。●美國電氣電子工程師協(xié)會(huì)（IEEE）于2004年設(shè)立了羅森布拉特獎(jiǎng)，以獎(jiǎng)勵(lì)在神經(jīng)網(wǎng)絡(luò)領(lǐng)域的杰出研究。4.3掀起人工神經(jīng)網(wǎng)絡(luò)第一次高潮的感知器保羅·沃波斯27第4章連接主義：人工神經(jīng)網(wǎng)絡(luò)4.1人工神經(jīng)元與人工神經(jīng)網(wǎng)絡(luò)4.2機(jī)器學(xué)習(xí)的先驅(qū)——Hebb學(xué)習(xí)規(guī)則4.3掀起人工神經(jīng)網(wǎng)絡(luò)第一次高潮的感知器4.4掀起人工神經(jīng)網(wǎng)絡(luò)第二次高潮的BP學(xué)習(xí)算法4.5BP學(xué)習(xí)算法的應(yīng)用4.6Hopfield神經(jīng)網(wǎng)絡(luò)與玻爾茲曼機(jī)4.7Hopfield神經(jīng)網(wǎng)絡(luò)聯(lián)想記憶4.8Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法281974年，哈佛大學(xué)博士生保羅·沃波斯(PaulWerbos)在其博士論文《ParallelDistributedProcessing》中證明，在感知器神經(jīng)網(wǎng)絡(luò)中再多加一層，并利用誤差反向傳播（BackPropagation，簡稱BP）來訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)，可以解決XOR問題。4.4.1BP學(xué)習(xí)算法的提出保羅·沃波斯保羅·沃波斯：Werbos獲得神經(jīng)網(wǎng)絡(luò)先驅(qū)獎(jiǎng)，曾任ISSN主席、IEEEtnn主編和美國自然科學(xué)基金委員會(huì)信息學(xué)部主任。291985年，加拿大多倫多大學(xué)教授辛頓和魯梅爾哈特等重新設(shè)計(jì)了BP學(xué)習(xí)算法，在多層感知器中使用Sigmoid激活函數(shù)代替原來的階躍函數(shù)。1986年，發(fā)表了具有里程碑意義的經(jīng)典論文：通過誤差反向傳播學(xué)習(xí)表示，實(shí)現(xiàn)了Minsky多層感知器的設(shè)想。4.4.1BP學(xué)習(xí)算法的提出保羅·沃波斯BP學(xué)習(xí)算法喚醒了沉睡多年的人工智能研究，又一次掀起了神經(jīng)網(wǎng)絡(luò)高潮。304.4.2BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)與學(xué)習(xí)

BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)

314.4.2BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)與學(xué)習(xí)●學(xué)習(xí)與工作過程

第一階段或網(wǎng)絡(luò)訓(xùn)練階段：

N組輸入輸出樣本：xi=[xi1,xi2,…,xip1]Tdi=[di1,di2,…,dipm]T

i=1,2,…,N

對(duì)網(wǎng)絡(luò)的連接權(quán)進(jìn)行學(xué)習(xí)和調(diào)整，以使該網(wǎng)絡(luò)實(shí)現(xiàn)給定樣本的輸入輸出映射關(guān)系。

第二階段或稱工作階段：把實(shí)驗(yàn)數(shù)據(jù)或?qū)嶋H數(shù)據(jù)輸入到網(wǎng)絡(luò)，網(wǎng)絡(luò)在誤差范圍內(nèi)預(yù)測計(jì)算出結(jié)果。

32（1）是否存在一個(gè)BP神經(jīng)網(wǎng)絡(luò)能夠逼近給定的樣本或者函數(shù)。BP定理：給定任意

，對(duì)于任意的連續(xù)函數(shù)，存在一個(gè)3層前向神經(jīng)網(wǎng)絡(luò)，它可以在任意

平方誤差精度內(nèi)逼近連續(xù)函數(shù)。4.4.2BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)與學(xué)習(xí)●兩個(gè)問題：（2）如何調(diào)整BP神經(jīng)網(wǎng)絡(luò)的連接權(quán)，使網(wǎng)絡(luò)的輸入與輸出與給定的樣本相同。

1986年，魯梅爾哈特（D.Rumelhart）等提出BP學(xué)習(xí)算法。334.4.3BP算法的設(shè)計(jì)

●訓(xùn)練數(shù)據(jù)預(yù)處理：將所有的特征變換到[0，1]或者[-1，1]區(qū)間內(nèi)，使得在每個(gè)訓(xùn)練集上，每個(gè)特征的均值為0，并且具有相同的方差。

●后處理過程：將輸出值編碼成所謂的名義變量，具體的值對(duì)應(yīng)類別標(biāo)號(hào)。

●初始權(quán)值的影響及設(shè)置：一般以一個(gè)均值為0的隨機(jī)分布設(shè)置BP神經(jīng)網(wǎng)絡(luò)的初始權(quán)值。34第4章連接主義：人工神經(jīng)網(wǎng)絡(luò)4.1人工神經(jīng)元與人工神經(jīng)網(wǎng)絡(luò)4.2機(jī)器學(xué)習(xí)的先驅(qū)——Hebb學(xué)習(xí)規(guī)則4.3掀起人工神經(jīng)網(wǎng)絡(luò)第一次高潮的感知器4.4掀起人工神經(jīng)網(wǎng)絡(luò)第二次高潮的BP學(xué)習(xí)算法4.5BP學(xué)習(xí)算法的應(yīng)用4.6Hopfield神經(jīng)網(wǎng)絡(luò)與玻爾茲曼機(jī)4.7Hopfield神經(jīng)網(wǎng)絡(luò)聯(lián)想記憶4.8Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法35●主要模式識(shí)別研究用計(jì)算機(jī)模擬生物、人的感知，對(duì)模式信息，如圖像、文字、語音等，進(jìn)行識(shí)別和分類。●傳統(tǒng)人工智能的研究部分地顯示了人腦的歸納、推理等智能。但對(duì)人類底層的智能，如視覺、聽覺、觸覺等，現(xiàn)代計(jì)算機(jī)系統(tǒng)信息處理能力還不如一個(gè)幼兒。●人工神經(jīng)網(wǎng)絡(luò)模擬人腦神經(jīng)系統(tǒng)的特點(diǎn)：處理單元的廣泛連接；并行分布式信息儲(chǔ)存、處理；自適應(yīng)學(xué)習(xí)能力等?！袢斯ど窠?jīng)網(wǎng)絡(luò)模式識(shí)別方法具有較強(qiáng)的容錯(cuò)能力、自適應(yīng)學(xué)習(xí)能力、并行信息處理能力。4.5BP學(xué)習(xí)算法的應(yīng)用36例4.1

設(shè)計(jì)一個(gè)3層BP網(wǎng)絡(luò)對(duì)數(shù)字0至9進(jìn)行分類。

●每個(gè)數(shù)字用9

7的網(wǎng)格表示，灰色像素代表0，黑色像素代表1。將每個(gè)網(wǎng)格表示為0，1的長位串。位映射由左上角開始向下直到網(wǎng)格的整個(gè)一列，然后重復(fù)其他列。●選擇BP網(wǎng)絡(luò)結(jié)構(gòu)為63-6-9。97個(gè)輸入結(jié)點(diǎn)，對(duì)應(yīng)上述網(wǎng)格的映射。9個(gè)輸出結(jié)點(diǎn)對(duì)應(yīng)10種分類?！袷褂玫膶W(xué)習(xí)步長為0.3。訓(xùn)練600個(gè)周期，如果輸出結(jié)點(diǎn)的值大于0.9，則取為1，如果輸出結(jié)點(diǎn)的值小于0.1，則取為0。4.5BP學(xué)習(xí)算法的應(yīng)用37●測試結(jié)果表明：除了8以外，所有被測的數(shù)字都能夠被正確地識(shí)別。●對(duì)于數(shù)字8，神經(jīng)網(wǎng)絡(luò)的第6個(gè)結(jié)點(diǎn)的輸出值為0.53，第8個(gè)結(jié)點(diǎn)的輸出值為0.41，表明第8個(gè)樣本是模糊的，可能是數(shù)字6，也可能是數(shù)字8，但也不完全確信是兩者之一。

●當(dāng)訓(xùn)練成功后，對(duì)如圖所示測試數(shù)據(jù)進(jìn)行測試。●測試數(shù)據(jù)都有一個(gè)或者多個(gè)位丟失。4.5BP學(xué)習(xí)算法的應(yīng)用38第4章連接主義：人工神經(jīng)網(wǎng)絡(luò)4.1人工神經(jīng)元與人工神經(jīng)網(wǎng)絡(luò)4.2機(jī)器學(xué)習(xí)的先驅(qū)——Hebb學(xué)習(xí)規(guī)則4.3掀起人工神經(jīng)網(wǎng)絡(luò)第一次高潮的感知器4.4掀起人工神經(jīng)網(wǎng)絡(luò)第二次高潮的BP學(xué)習(xí)算法4.5BP學(xué)習(xí)算法的應(yīng)用4.6Hopfield神經(jīng)網(wǎng)絡(luò)與玻爾茲曼機(jī)4.7Hopfield神經(jīng)網(wǎng)絡(luò)聯(lián)想記憶4.8Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法394.6Hopfield神經(jīng)網(wǎng)絡(luò)與玻爾茲曼機(jī)●瑞典皇家科學(xué)院2024年10月8日宣布，將2024年諾貝爾物理學(xué)獎(jiǎng)授予霍普菲爾德和欣頓，表彰他們?cè)谑褂萌斯ど窠?jīng)網(wǎng)絡(luò)進(jìn)行機(jī)器學(xué)習(xí)的基礎(chǔ)性發(fā)現(xiàn)和發(fā)明?！駜晌猾@獎(jiǎng)?wù)邚?0世紀(jì)80年代起就開展了與物理學(xué)相關(guān)的人工神經(jīng)網(wǎng)絡(luò)的重要工作?！窕羝辗茽柕聞?chuàng)造了一種關(guān)聯(lián)記憶，它能夠存儲(chǔ)和重構(gòu)圖像以及其他模式類型。●欣頓將霍普菲爾德網(wǎng)絡(luò)的想法應(yīng)用于一種新網(wǎng)絡(luò)：玻爾茲曼機(jī)。玻爾茲曼機(jī)可以學(xué)習(xí)給定數(shù)據(jù)類型的特征元素，可以用來分類圖像或創(chuàng)建新材料。●上述工作推動(dòng)了當(dāng)今機(jī)器學(xué)習(xí)的快速發(fā)展。40●1982年，霍普菲爾德提出以他名字命名的Hopfield神經(jīng)網(wǎng)絡(luò)。●Hopfield神經(jīng)網(wǎng)絡(luò)是全互聯(lián)反饋神經(jīng)網(wǎng)絡(luò)：每一個(gè)神經(jīng)元和其它神經(jīng)元都相連接，也就是說其中的每一個(gè)神經(jīng)元的輸出都反饋到其它神經(jīng)元的輸入端作為輸入信號(hào)。4.6.1離散Hopfield神經(jīng)網(wǎng)絡(luò)模型41離散Hopfield神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖……12(狀態(tài)）(閾值）（連接權(quán)值）4.6.1離散Hopfield神經(jīng)網(wǎng)絡(luò)模型42

●穩(wěn)定性定義：若從某一時(shí)刻開始，網(wǎng)絡(luò)中所有神經(jīng)元的狀態(tài)不再改變，則稱該網(wǎng)絡(luò)是穩(wěn)定的。

Hopfield神經(jīng)網(wǎng)絡(luò)是高維非線性系統(tǒng)，可能有許多個(gè)穩(wěn)定優(yōu)態(tài)。從任何初始狀態(tài)開始運(yùn)動(dòng)，可以到達(dá)某個(gè)穩(wěn)定狀態(tài)。通過改變網(wǎng)絡(luò)參數(shù)可以得到不同的穩(wěn)定狀態(tài)。4.6.1離散Hopfield神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性43

●穩(wěn)定性定理證明：1983年，科恩（Cohen）、葛勞斯伯格（S.Grossberg）。

●穩(wěn)定性定理（Hopfield）4.6.1離散Hopfield神經(jīng)網(wǎng)絡(luò)W：對(duì)稱陣神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性444.6.2連續(xù)型Hopfield神經(jīng)網(wǎng)絡(luò)及其VLSI實(shí)現(xiàn)1.連續(xù)Hopfield神經(jīng)網(wǎng)絡(luò)模型●1984年，霍普菲爾德提出連續(xù)Hopfield神經(jīng)網(wǎng)絡(luò)。在這種網(wǎng)絡(luò)中，神經(jīng)元的狀態(tài)可以取0至1之間的任一實(shí)數(shù)值?！襁B續(xù)型Hopfield神經(jīng)網(wǎng)絡(luò)準(zhǔn)確地保留了生物神經(jīng)網(wǎng)絡(luò)的動(dòng)態(tài)和非線性特征。454.6.3玻爾茲曼機(jī)隨機(jī)神經(jīng)網(wǎng)絡(luò)Hopfield神經(jīng)網(wǎng)絡(luò)中，神經(jīng)元狀態(tài)為1是根據(jù)其輸入是否大于閾值確定的，是確定性的。隨機(jī)神經(jīng)網(wǎng)絡(luò)中，神經(jīng)元狀態(tài)為1是隨機(jī)的，服從一定的概率分布。例如，服從玻爾茲曼(Boltzmann)、高斯(Gaussian)、柯西(Cauchy)分布等，從而構(gòu)成玻爾茲曼機(jī)、高斯機(jī)、柯西機(jī)等隨機(jī)機(jī)。46Boltzmann機(jī)

1985年，加拿大多倫多大學(xué)教授欣頓(Hinton)等人借助統(tǒng)計(jì)物理學(xué)的概念和方法，提出了Boltzmann機(jī)神經(jīng)網(wǎng)絡(luò)模型。

Boltzmann機(jī)是離散Hopfield神經(jīng)網(wǎng)絡(luò)的一種變型，通過對(duì)離散Hopfield神經(jīng)網(wǎng)絡(luò)加以擾動(dòng)，使其以概率的形式表達(dá)，而網(wǎng)絡(luò)的模型方程不變，只是輸出值類似于Boltzmann分布以概率分布取值。

Boltzmann機(jī)是按Boltzmann概率分布動(dòng)作的神經(jīng)網(wǎng)絡(luò)。4.6.3玻爾茲曼機(jī)隨機(jī)神經(jīng)網(wǎng)絡(luò)47Boltzmann機(jī)（續(xù)）離散Hopfield神經(jīng)網(wǎng)絡(luò)的輸出：

Boltzman機(jī)的內(nèi)部狀態(tài)：神經(jīng)元輸出值為0和1時(shí)的概率：4.6.3玻爾茲曼機(jī)隨機(jī)神經(jīng)網(wǎng)絡(luò)48如何實(shí)現(xiàn)HNN的聯(lián)想記憶功能?

網(wǎng)絡(luò)能夠通過聯(lián)想來輸出和輸入模式最為相似的樣本模式。4.7Hopfield神經(jīng)網(wǎng)絡(luò)在聯(lián)想記憶中的應(yīng)用49（異步或同步方式）初態(tài)：穩(wěn)態(tài)：4.7.1聯(lián)想記憶中的概念50（異步或同步方式）初態(tài)記憶樣本的部分信息穩(wěn)態(tài)記憶樣本

聯(lián)想記憶4.7.2基于Hopfield神經(jīng)網(wǎng)絡(luò)的聯(lián)想記憶51

傳感器輸出：[外形，質(zhì)地，重量]T

4.7.3基于Hopfield神經(jīng)網(wǎng)絡(luò)的分類器52

樣本:

步驟：

（1）設(shè)計(jì)DHNN結(jié)構(gòu)（2）設(shè)計(jì)連接權(quán)矩陣（3）測試具體怎樣實(shí)現(xiàn)聯(lián)想記憶？4.7.3基于Hopfield神經(jīng)網(wǎng)絡(luò)的分類器53

樣本:

（1）設(shè)計(jì)DHNN結(jié)構(gòu)3神經(jīng)元的DHNN結(jié)構(gòu)圖注：4.7.3基于Hopfield神經(jīng)網(wǎng)絡(luò)的分類器54

（2）設(shè)計(jì)連接權(quán)矩陣4.7.3基于Hopfield神經(jīng)網(wǎng)絡(luò)的分類器55

輸入：[1，1，1]T

輸出?

（3）測試4.7.3基于Hopfield神經(jīng)網(wǎng)絡(luò)的分類器56

輸入：[1，1，1]T

輸出：[1，0，1]T

4.7.3基于Hopfield神經(jīng)網(wǎng)絡(luò)