1、霍普菲爾德（Hopfield）神經(jīng)網(wǎng)絡(luò),1、網(wǎng)絡(luò)結(jié)構(gòu)形式 2、非線性系統(tǒng)狀態(tài)演變的形式 3、離散型的霍普菲爾德網(wǎng)絡(luò)（DHNN） 4、連續(xù)性的霍普菲爾德網(wǎng)絡(luò)（CHNN）,網(wǎng)絡(luò)結(jié)構(gòu)形式,Hopfield網(wǎng)絡(luò)是單層對(duì)稱全反饋網(wǎng)絡(luò)，根據(jù)激活函數(shù)選取的不同，可分為離散型和連續(xù)性兩種 （ DHNN,CHNN）。 DHNN：作用函數(shù)為hadlim，主要用于聯(lián)想記憶。 CHNN：作用函數(shù)為S型函數(shù)，主要用于優(yōu)化計(jì)算。 反饋網(wǎng)絡(luò)的結(jié)構(gòu)如圖2.8.1所示。,圖2.8.1,Hopfield網(wǎng)絡(luò)結(jié)構(gòu),非線性系統(tǒng)狀態(tài)演變的形式,在Hopfield網(wǎng)絡(luò)中，由于反饋的存在，其加權(quán) 輸入和ui，i=1n為網(wǎng)絡(luò)狀態(tài)，網(wǎng)絡(luò)的輸出

2、為y1yn， 則u,y的變化過程為一個(gè)非線性動(dòng)力學(xué)系統(tǒng)?？捎梅蔷€性差（微）分方程來描述。一般有如下的幾種狀態(tài)演變形式： （1）漸進(jìn)穩(wěn)定 （2）極限環(huán) （3）混沌現(xiàn)象 （4）狀態(tài)軌跡發(fā)散,Hopfield網(wǎng)絡(luò)的穩(wěn)定性可用能量函數(shù)進(jìn)行分析。 目前，人工神經(jīng)網(wǎng)絡(luò)常利用漸進(jìn)穩(wěn)定點(diǎn)來解決 某些問題。例如，如果把系統(tǒng)的穩(wěn)定點(diǎn)視為一個(gè) 記憶的話，那么從初態(tài)朝這個(gè)穩(wěn)定點(diǎn)的演變過程 就是尋找記憶的過程。初態(tài)可以認(rèn)為是給定的有 關(guān)記憶的部分信息。如果把系統(tǒng)的穩(wěn)定點(diǎn)視為一 個(gè)能量函數(shù)的極小點(diǎn)，把能量函數(shù)視為一個(gè)優(yōu)化 問題的目標(biāo)函數(shù)，那么從初態(tài)朝這個(gè)穩(wěn)定點(diǎn)的演 變過程就是一個(gè)求該優(yōu)化問題的過程。這樣的優(yōu) 點(diǎn)在于它的解

3、并不需要真的去計(jì)算，而只要構(gòu)成 這種反饋網(wǎng)絡(luò)，適當(dāng)?shù)脑O(shè)計(jì)其連接值和輸入就可 達(dá)到目的。,離散型的 Hopfield神經(jīng)網(wǎng)絡(luò),1、I/O關(guān)系 2、兩種工作方式 3、網(wǎng)絡(luò)的穩(wěn)定性分析 4、DHNN網(wǎng)絡(luò)設(shè)計(jì),網(wǎng)絡(luò)結(jié)構(gòu)及I/O關(guān)系,圖2.8.2是一個(gè)有三個(gè)節(jié)點(diǎn)的DHNN結(jié)構(gòu)。 對(duì)于以符號(hào)函數(shù)為激活 函數(shù)的網(wǎng)絡(luò)，網(wǎng)絡(luò)的方程可 寫為： 圖2.8.2,兩種工作方式,DHNN主要有以下兩種工作方式： （1）串行工作方式 在某一時(shí)刻只有一個(gè)神經(jīng)元按照上式改變狀態(tài)，而其它神經(jīng)元的輸出不變。這一變化的神經(jīng)元可以按照隨機(jī)的方式或預(yù)定的順序來選擇。 （2）并行工作方式 在某一時(shí)刻有N個(gè)神經(jīng)元 按照上式改變狀態(tài)，而其它的

4、神經(jīng)元的輸出不變。 變化的這一組神經(jīng)元可以按照隨機(jī)方式或某種規(guī) 則來選擇。當(dāng)N=n時(shí)，稱為全并行方式。,DHNN的穩(wěn)定工作點(diǎn),Xi(t+1)= Xi(t)=sgn(j=1nWijXi(t)-i ) i=1,2,n,網(wǎng)絡(luò)的穩(wěn)定性分析,DHNN的能量函數(shù)定義為：,關(guān)于DHNN的穩(wěn)定性有如下的定理： 當(dāng)網(wǎng)絡(luò)工作在串行方式下時(shí)，若W為對(duì)稱陣，且其對(duì)角元素非負(fù)，則其能量函數(shù)單調(diào)下降，網(wǎng)絡(luò)總能收斂到一個(gè)穩(wěn)定點(diǎn)。,全并行方式下也有同樣的結(jié)論。,DHNN網(wǎng)絡(luò)設(shè)計(jì),用 DHNN實(shí)現(xiàn)聯(lián)想記憶需要考慮兩個(gè)重要的問題： 怎樣按記憶確定網(wǎng)絡(luò)的W和；網(wǎng)絡(luò)給定之后如何分析它的記憶容量。下面將分別討論。 1、權(quán)值設(shè)計(jì)的方法

5、2、記憶容量分析 3、權(quán)值修正的其它方法 在MATLAB中，用函數(shù)newhop.m來設(shè)計(jì)一個(gè)Hopfield網(wǎng)絡(luò)： net = newhop(T),權(quán)值設(shè)計(jì)的方法,權(quán)值設(shè)計(jì)的方法有外積法、偽逆法、正交設(shè)計(jì)法等。下面僅介紹外積法，它是一種比較簡(jiǎn)單，在一定條件下行之有效的方法。,例 設(shè)計(jì)DHNN，并考察其聯(lián)想性能。 說明所設(shè)計(jì)的網(wǎng)絡(luò)沒有準(zhǔn)確的記憶所有期望的模式。,記憶容量分析,當(dāng)網(wǎng)絡(luò)只記憶一個(gè)穩(wěn)定的模式時(shí)，該模式肯定被網(wǎng)絡(luò)準(zhǔn)確無誤的記憶住。但當(dāng)所要記憶的模式增加時(shí)，情況則發(fā)生了變化，主要表現(xiàn)在下列兩點(diǎn)上： 1、權(quán)值移動(dòng) 2、交叉干擾,權(quán)值移動(dòng),在網(wǎng)絡(luò)的學(xué)習(xí)過程中，網(wǎng)絡(luò)對(duì)權(quán)值的記憶實(shí)際上是逐個(gè)實(shí)現(xiàn)的

6、。即對(duì)權(quán)值W，有程序: 當(dāng)網(wǎng)絡(luò)準(zhǔn)確的X1時(shí)，為了記憶X2,需要在記憶樣本X1 的權(quán)值上加上對(duì)樣本X2的記憶項(xiàng)X2 X2T-I，將權(quán)值在 原來值的基礎(chǔ)上產(chǎn)生了移動(dòng)。這樣網(wǎng)絡(luò)有可能部分 得遺忘了以前以記憶住的模式。,(,),end,I,X,X,W,W,q,k,for,W,T,K,K,-,+,=,=,=,1,0,從動(dòng)力學(xué)的角度來看，k值較小時(shí)，網(wǎng)絡(luò)Hebb學(xué)習(xí)規(guī)則，可以使輸入學(xué)習(xí)樣本成為其吸引子。隨著k值的增加，不但難以使后來的樣本成為網(wǎng)絡(luò)的吸引子，而且有可能使已記憶住的吸引子的吸引域變小，使原來處于吸引子位置上的樣本從吸引子的位置移動(dòng)。對(duì)一記憶的樣本發(fā)生遺忘，這種現(xiàn)象稱為“疲勞”。,交叉干擾,網(wǎng)絡(luò)

7、在學(xué)習(xí)多個(gè)樣本后，在回憶階段即驗(yàn)證該記憶樣本時(shí)，所產(chǎn)生的干擾，稱為交叉干擾。 對(duì)外積型設(shè)計(jì)而言，如果輸入樣本是彼此正交的，n個(gè)神經(jīng)元的網(wǎng)絡(luò)其記憶容量的上界為n。但是在大多數(shù)情況下，學(xué)習(xí)樣本不可能是正交的，因而網(wǎng)絡(luò)的記憶容量要比n小得多，一般為(0.130.15)n，n為神經(jīng)元數(shù)。,權(quán)值修正的其它方法,1、學(xué)習(xí)規(guī)則 2、偽逆法 3、正交化權(quán)值設(shè)計(jì),學(xué)習(xí)規(guī)則,學(xué)習(xí)規(guī)則基本公式是： 即通過計(jì)算該神經(jīng)元節(jié)點(diǎn)的實(shí)際激活值A(chǔ)(t)，與期望狀態(tài)T(t)進(jìn)行比較，若不滿足要求，將兩者的誤差的一部分作為調(diào)整量，若滿足要求，則相應(yīng)的權(quán)值保持不變。,偽逆法,正交化權(quán)值設(shè)計(jì),這一方法的基本思想和出發(fā)點(diǎn)是為了滿足下面四

8、個(gè)要求： 1）保證系統(tǒng)在異步工作時(shí)的穩(wěn)定性，即它的權(quán)值是對(duì)稱的； 2）保證所有要求記憶的穩(wěn)定平衡點(diǎn)都能收斂到自己； 3）使偽穩(wěn)定點(diǎn)的數(shù)目盡可能的少； 4）使穩(wěn)定點(diǎn)的吸引域盡可能的大。 MATLAB函數(shù) w,b=solvehop(T);,連續(xù)性的Hopfield網(wǎng)絡(luò),CHNN是在DHNN的基礎(chǔ)上提出的，它的原理 和DHNN相似。由于CHNN是以模擬量作為網(wǎng)絡(luò)的 輸入輸出量，各神經(jīng)元采用并行方式工作，所以 它在信息處理的并行性、聯(lián)想性、實(shí)時(shí)性、分布 存儲(chǔ)、協(xié)同性等方面比DHNN更接近于生物神經(jīng) 網(wǎng)絡(luò)。我們將從以下幾點(diǎn)來討論CHNN。 1、網(wǎng)絡(luò)模型 2、CHNN方程的解及穩(wěn)定性分析 3、關(guān)于Hopf

9、ield能量函數(shù)的幾點(diǎn)說明 4、關(guān)于CHNN的幾點(diǎn)結(jié)論,CHNN的網(wǎng)絡(luò)模型,圖2.8.3是Hopfield動(dòng)態(tài)神經(jīng)元模型。 對(duì)于神經(jīng)元，放大器的I/O關(guān)系可用如下的方程來描述： 圖2.8.4是CHNN的結(jié)構(gòu)圖。,Hopfield動(dòng)態(tài)神經(jīng)元模型,圖2.8.4,u1,對(duì)上述方程變形得：,CHNN方程的解及穩(wěn)定性分析,對(duì)于CHNN來說，關(guān)心的同樣是穩(wěn)定性問題。在所有影響電路系統(tǒng)穩(wěn)定的所有參數(shù)種，一個(gè)比較特殊的參數(shù)值是放大器的放大倍數(shù)。從前面的分析中可以看出，當(dāng)放大器的放大倍數(shù)足夠大時(shí)，網(wǎng)絡(luò)由連續(xù)性轉(zhuǎn)化成離散型，狀態(tài)與輸出之間的關(guān)系表現(xiàn)了激活函數(shù)的形狀，而正是激活函數(shù)代表了一個(gè)網(wǎng)絡(luò)的特點(diǎn)，所以，下面著

10、重分析不同激活函數(shù)關(guān)系對(duì)系統(tǒng)的穩(wěn)定性的影響。 1、激活函數(shù)為線性函數(shù)時(shí) 2、激活函數(shù)為非線性函數(shù)時(shí),當(dāng)激活函數(shù)為線性函數(shù)時(shí)，即,對(duì)于非線性系統(tǒng)進(jìn)行穩(wěn)定性分析，方法之一就是在系統(tǒng)的平衡點(diǎn)附近對(duì)系統(tǒng)進(jìn)行線性化處理。也可以基于網(wǎng)絡(luò)的能量函數(shù)。下面介紹Hopfield能量函數(shù)法。,此定理表明，隨著時(shí)間的演化，網(wǎng)絡(luò)的狀態(tài)總是朝能量減少的方向運(yùn)動(dòng)。網(wǎng)絡(luò)的平衡點(diǎn)就是E的極小點(diǎn)。,關(guān)于Hopfield能量函數(shù)的幾點(diǎn)說明,當(dāng)對(duì)反饋網(wǎng)絡(luò)應(yīng)用能量函數(shù)后，從任一初始狀態(tài)開始，因?yàn)樵诿看蔚蠖寄軡M足E0，所以網(wǎng)絡(luò)的能量將會(huì)越來越小，最后趨于穩(wěn)定點(diǎn)E=0。 Hopfield能量函數(shù)的物理意義是：在那些漸進(jìn)穩(wěn)定點(diǎn)的吸引域

11、內(nèi)，離吸引點(diǎn)越遠(yuǎn)的狀態(tài)，所具有的能量越大，由于能量函數(shù)的單調(diào)下降特性，保證狀態(tài)的運(yùn)動(dòng)方向能從遠(yuǎn)離吸引點(diǎn)處，不斷地趨于吸引點(diǎn)，直到達(dá)到穩(wěn)定點(diǎn)。,幾點(diǎn)說明： 1）能量函數(shù)為反饋網(wǎng)絡(luò)的重要概念。根據(jù)能量函數(shù)可以方便的判斷系統(tǒng)的穩(wěn)定性； 2）能量函數(shù)與李雅普諾夫函數(shù)的區(qū)別在于：李氏被限定在大于零的范圍內(nèi)，且要求在零點(diǎn)值為零； 3）Hopfield選擇的能量函數(shù)，只是保證系統(tǒng)穩(wěn)定和漸進(jìn)穩(wěn)定的充分條件，而不是必要條件，其能量函數(shù)也不是唯一的。,關(guān)于CHNN的幾點(diǎn)結(jié)論,1）具有良好的收斂性； 2）具有有限個(gè)平衡點(diǎn)； 3）如果平衡點(diǎn)是穩(wěn)定的，那么它也一定是漸進(jìn)穩(wěn)定的； 4）漸進(jìn)穩(wěn)定平衡點(diǎn)為其能量函數(shù)的局部極小

12、點(diǎn)； 5）能將任意一組希望存儲(chǔ)的正交化矢量綜合為網(wǎng)絡(luò)的漸進(jìn)平衡點(diǎn)； 6）網(wǎng)絡(luò)的存儲(chǔ)信息表現(xiàn)為神經(jīng)元之間互連的分布式動(dòng)態(tài)存儲(chǔ)； 7）網(wǎng)絡(luò)以大規(guī)模、非線性、連續(xù)時(shí)間并行方式處理信息，其計(jì)算時(shí)間就是網(wǎng)絡(luò)趨于平衡點(diǎn)的時(shí)間。,Hopfield網(wǎng)絡(luò)在組合優(yōu)化中的應(yīng)用,組合優(yōu)化問題，就是在給定約束條件下，求出使目標(biāo)函數(shù)極小（或極大）的變量組合問題。 將Hopfield網(wǎng)絡(luò)應(yīng)用于求解組合優(yōu)化問題，就是把目標(biāo)函數(shù)轉(zhuǎn)化為網(wǎng)絡(luò)的能量函數(shù)，把問題的變量對(duì)應(yīng)于網(wǎng)絡(luò)的狀態(tài)。這樣當(dāng)網(wǎng)絡(luò)的能量函數(shù)收斂于極小值時(shí)，問題的最優(yōu)解也隨之求出。,旅行商問題，簡(jiǎn)稱TSP（Traveling Salesman Problem）。問題的提

13、法是：設(shè)有N個(gè)城市， ,記為： ,用dij表示ci和cj之間的距離， dij0,(i,j=1,2,n) 。 有一旅行商從某一城市出發(fā)，訪問各城市一次且僅一次后再回到原出發(fā)城市。要求找出一條最短的巡回路線。,N=5 TSP Probelm,N=5，并用字母A、B、C、D、E、分別代表這5個(gè)城市。當(dāng)任選一條路徑如B-D-E-A-C,，則其總路徑長(zhǎng)度可表示為 第一步就是將問題映照到一個(gè)神經(jīng)網(wǎng)絡(luò)。假定每個(gè)神經(jīng)元的放大器有很高的放大倍數(shù)，神經(jīng)元的輸出限制在二值0和1上，則映照問題可以用一個(gè)換位矩陣（Permutation Matrix）來進(jìn)行，換位矩陣可如下圖所示。,換位矩陣,約束條件和最優(yōu)條件,矩陣的每個(gè)元素對(duì)應(yīng)于神經(jīng)網(wǎng)絡(luò)中的每個(gè)神經(jīng)元，則這個(gè)問題可用N2=52=25個(gè)神經(jīng)元組成的Hop-field網(wǎng)絡(luò)來求解。 問題的約束條件和最優(yōu)條件如下： （1) 一個(gè)城市只能被訪問一次=換位矩陣每行只有一個(gè)“1”。 （2）一次只能訪問一個(gè)城市=換拉矩陣每列