Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法第1頁Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法10.1人工神經(jīng)網(wǎng)絡(luò)模型10.2Hopfield神經(jīng)網(wǎng)絡(luò)10.3Hopfield網(wǎng)絡(luò)與最優(yōu)化問題2Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法第2頁人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)是指由大量簡單人工神經(jīng)元互聯(lián)而成一個計算結(jié)構(gòu)。它能夠在某種程度上模擬生物神經(jīng)系統(tǒng)工作過程,從而含有處理實際問題能力。人工神經(jīng)網(wǎng)絡(luò)因為其大規(guī)模并行處理、學(xué)習、聯(lián)想和記憶等功效,以及它高度自組織和自適應(yīng)能力,已成為處理很多工程問題有力工具,多年來得到了飛速發(fā)展。3Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法第3頁生物神經(jīng)系統(tǒng)生物神經(jīng)系統(tǒng)是一個有高度組織和相互作用數(shù)目龐大細胞組織群體。這些細胞被稱為神經(jīng)細胞,也稱作神經(jīng)元。4Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法第4頁人工神經(jīng)元模型人工神經(jīng)元是組成人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)單元,是對生物神經(jīng)元特征及功效一個數(shù)學(xué)抽象,通常為一個多輸入單輸出器件。5Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法第5頁人工神經(jīng)元模型輸入與輸出信號:s1、s2、….sn為輸入,vi為輸出。輸出也稱為單元狀態(tài)。6Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法第6頁人工神經(jīng)元模型權(quán)值:給不一樣輸入信號一定權(quán)值,用wij表示。通常權(quán)值為‘+’表示激活,為‘-’表示抑制;7Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法第7頁人工神經(jīng)元模型求和器:用表示,以計算各輸入信號加權(quán)和,其效果等同于一個線性組合;8Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法第8頁人工神經(jīng)元模型激活函數(shù):圖中f(),關(guān)鍵起非線性映射作用,另外還能夠作為限幅器將神經(jīng)元輸出幅度限制在一定范圍內(nèi);9Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法第9頁人工神經(jīng)元模型閾值:控制激活函數(shù)輸出開關(guān)量,用i表示。10Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法第10頁人工神經(jīng)元模型上述作用可用數(shù)學(xué)方法表示以下:i=1,2,…,n

式中,sj為輸入信號;wij為神經(jīng)元i對輸入信號sj權(quán)值;ui為線性組合結(jié)果;i為閾值;f()為激活函數(shù);vi為神經(jīng)元i輸出。11Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法第11頁激活函數(shù)若干形式（1）閾值函數(shù),即階躍函數(shù)于是神經(jīng)元i對應(yīng)輸出為:式中,12Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法第12頁激活函數(shù)若干形式（2）分段線性函數(shù)特點:類似于系數(shù)為1非線性放大器,當工作于線性區(qū)時它是一個線性組合器,放大系數(shù)趨于無窮大時變成一個閾值單元13Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法第13頁激活函數(shù)若干形式（3）sigmoid函數(shù)

式中,c為大于0參數(shù),可控制曲線斜率14Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法第14頁10.1.3人工神經(jīng)網(wǎng)絡(luò)互連模式依據(jù)連接方法不一樣,將現(xiàn)有各類神經(jīng)網(wǎng)絡(luò)分為以下2種形式:前饋型網(wǎng)絡(luò),反饋型網(wǎng)絡(luò)（1）前饋型網(wǎng)絡(luò)各神經(jīng)元接收前一層輸入,并輸出給下一層,沒有反饋。結(jié)點分為兩類,即輸入單元和計算單元,每一計算單元可有任意個輸入,但只有一個輸出（它可耦合到任意多個其她結(jié)點作為輸入）?？煞譃椴灰粯訉?第i-1層輸出是第i層輸入,輸入和輸出結(jié)點與外界相連,而其她中間層稱為隱層。關(guān)鍵起函數(shù)映射作用,常見于模式識別和函數(shù)迫近。15Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法第15頁（2）反饋型網(wǎng)絡(luò)全部結(jié)點都是計算單元,同時也可接收輸入,并向外界輸出。若總單元數(shù)為n,則每一個結(jié)點有n-1個輸入、—個輸出,如圖10-7形式。反饋網(wǎng)絡(luò)按對能量函數(shù)極小點利用分為兩類:一類是能量函數(shù)全部極小點都起作用,關(guān)鍵用作多種聯(lián)想存放器;第二類只利用全局極小點,關(guān)鍵用于優(yōu)化問題求解。Hopfield模型、波爾茲曼機（BM）模型等能夠完成這類計算。16Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法第16頁10.2Hopfield神經(jīng)網(wǎng)絡(luò)-HNN

網(wǎng)絡(luò)中引入了反饋,所以它是一個非線性動力學(xué)系統(tǒng).非線性動力學(xué)系統(tǒng)著重關(guān)心是系統(tǒng)穩(wěn)定性問題。在Hopfield模型中,神經(jīng)網(wǎng)絡(luò)之間聯(lián)絡(luò)總是設(shè)為對稱,這確保了系統(tǒng)最終會達成一個固定有序狀態(tài),即穩(wěn)定狀態(tài)。特點:17Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法第17頁Hopfield網(wǎng)絡(luò)基礎(chǔ)結(jié)構(gòu):其中,I1,I2,...,In是外部對網(wǎng)絡(luò)輸入;v1,v2,...,vn是網(wǎng)絡(luò)系統(tǒng)輸出;u1,u2,...,un是對對應(yīng)神經(jīng)元輸入,wij是從第j個神經(jīng)元對第i個神經(jīng)元輸入權(quán)值,wji=wij,wii=0。f(?)是特征函數(shù),決定了網(wǎng)絡(luò)是離散還是連續(xù)。18Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法第18頁離散型Hopfield網(wǎng)絡(luò)定義:對圖10-8中特征函數(shù)f(?)取閾值函數(shù)（見圖10-3）等硬限函數(shù),使神經(jīng)元輸出取離散值,就得到離散型Hopfield神經(jīng)網(wǎng)絡(luò)。工作原理:設(shè)有n個神經(jīng)元,v為神經(jīng)網(wǎng)絡(luò)狀態(tài)矢量,為第i個神經(jīng)元輸出,輸出取值為0或者為l二值狀態(tài)。對任一神經(jīng)元i,為第i個神經(jīng)元內(nèi)部未加權(quán)輸入,它們對該神經(jīng)元影響程度用連接權(quán)wij表示。為第i個神經(jīng)元閾值。（10-6）19Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法第19頁離散型Hopfield網(wǎng)絡(luò)2種狀態(tài)更新方法:異步方法:在任一時刻t,只有某一個神經(jīng)元按式（10-6）發(fā)生改變,而其它n-1個神經(jīng)元狀態(tài)保持不變。同時方法:在任一時刻t,有部分神經(jīng)元按式（10-6）改變（部分同時）或全部神經(jīng)元按式（10-6）改變（全并行方法）。一旦給出Hopfield網(wǎng)絡(luò)權(quán)值和神經(jīng)元閾值,則網(wǎng)絡(luò)狀態(tài)轉(zhuǎn)移序列就確定了。20Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法第20頁離散型Hopfield網(wǎng)絡(luò)定義10.1若神經(jīng)元i在更新過程中,輸出變量v不再改變,則稱神經(jīng)元i已穩(wěn)定。若Hopfield網(wǎng)絡(luò)從t=0任意一個初始輸出狀態(tài)開始,存在一個有限時間,此時間點后系統(tǒng)中全部神經(jīng)元都是穩(wěn)定,即網(wǎng)絡(luò)狀態(tài)不再發(fā)生改變,則稱該系統(tǒng)是穩(wěn)定,即:,對全部。21Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法第21頁離散型Hopfield網(wǎng)絡(luò)定理10.1若神經(jīng)網(wǎng)絡(luò)連接權(quán)矩陣W是零主對角元素對稱矩陣,即滿足wij=wji且wii＝0,i＝l,2,…,n,網(wǎng)絡(luò)狀態(tài)按串行異步方法更新,則網(wǎng)絡(luò)必收斂于狀態(tài)空間中某一穩(wěn)定狀態(tài)。能量函數(shù)與穩(wěn)定性之間關(guān)系:假如網(wǎng)絡(luò)是穩(wěn)定,則在滿足一定參數(shù)條件下,某種能量函數(shù)在網(wǎng)絡(luò)運行過程中是不停降低并最終趨于穩(wěn)定平衡狀態(tài)——網(wǎng)絡(luò)中任意一個神經(jīng)元節(jié)點狀態(tài)發(fā)生改變時,能量E都將減小。22Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法第22頁能量函數(shù)與穩(wěn)定性假設(shè)第i個神經(jīng)元節(jié)點狀態(tài)的變化量記為，相應(yīng)的能量變化量記為。能量隨狀態(tài)變化而減小意味著總是負值?？疾靸煞N情況：由0變?yōu)?時，＞0，必有xi＞0。（1）當狀態(tài)由1變?yōu)?時，＜0，必有xi＜0。（2）當狀態(tài)可見與xi的積總是正的。=-xi=故節(jié)點i的能量可定義為：

對于離散型網(wǎng)絡(luò)方程,Hopfield將網(wǎng)絡(luò)整體能量函數(shù)定義為:23Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法第23頁能量函數(shù)與穩(wěn)定性輕易證實它滿足Lyapunov函數(shù)三個條件:①函數(shù)連續(xù)可導(dǎo);②函數(shù)正定以及;③函數(shù)導(dǎo)數(shù)半負定。①從可以看出E對于所有V的分量是連續(xù)的。

②嚴格來說,式（10-9）并不能滿足Lyapunov函數(shù)正定條件。不過,對于神經(jīng)元有界神經(jīng)網(wǎng)絡(luò)穩(wěn)定性來說,正定條件能夠退化為只要求該函數(shù)有界。③即前面已討論過“E隨狀態(tài)改變而嚴格單調(diào)遞減”24Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法第24頁能量函數(shù)與穩(wěn)定性W和（由n個i組成列向量）都是有確定值矩陣和向量,且有界,所以E有下界:因為式（10-9）E是有界函數(shù),從而可知式（10-9）是正定,即網(wǎng)絡(luò)將最終達成穩(wěn)定狀態(tài)。訂正:P15525Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法第25頁能量函數(shù)與穩(wěn)定性離散Hopfield模型穩(wěn)定狀態(tài)與能量函數(shù)E在狀態(tài)空間局部極小點是一一對應(yīng)。需要指出:通常在Hopfield神經(jīng)網(wǎng)絡(luò)中,能量函數(shù)可能存在局部最小值,如圖10-9所表示。26Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法第26頁能量函數(shù)與穩(wěn)定性例10-1試計算一個有8個神經(jīng)元離散Hopfield網(wǎng)絡(luò),其網(wǎng)絡(luò)權(quán)值W和閾值向量以下:試確定網(wǎng)絡(luò)最終平衡狀態(tài)。27Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法第27頁能量函數(shù)與穩(wěn)定性例10-1試計算一個有8個神經(jīng)元離散Hopfield網(wǎng)絡(luò),其網(wǎng)絡(luò)權(quán)值W和閾值向量以下:解:1．計算步驟以下:（1）按式（10-9）確定以下能量函數(shù):（2）隨機選擇神經(jīng)元i,按下式判定該神經(jīng)元輸出狀態(tài)vi（即采取了閾值為0雙極硬限函數(shù)）,按串行工作方法,直至狀態(tài)不變,計算終止:若神經(jīng)元i狀態(tài)>0,則取vi=1<0,則取vi=-1若神經(jīng)元i狀態(tài)28Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法第28頁能量函數(shù)與穩(wěn)定性例10-1試計算一個有8個神經(jīng)元離散Hopfield網(wǎng)絡(luò),其網(wǎng)絡(luò)權(quán)值W和閾值向量以下:2．計算結(jié)果（1） 初始解按v0=[-11-11-1111]T最終狀態(tài):v=[11111111]T最小能量:E=-15.165。（2） 初始解按v0=[1-11-11-11-1]T最終狀態(tài):v=[-1-1-1-1-1-1-1-1]T最小能量:E=-7.564998。經(jīng)嘗試不一樣初始狀態(tài),該網(wǎng)絡(luò)系統(tǒng)最終收斂到（1）和（2）兩個狀態(tài)之一。其中,狀態(tài)1為最優(yōu)解,而狀態(tài)2為局部最優(yōu)解。解畢。29Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法第29頁10.2.2離散Hopfield網(wǎng)絡(luò)用于聯(lián)想記憶反饋網(wǎng)絡(luò)能夠收斂于其穩(wěn)定狀態(tài),所以它可用作聯(lián)想記憶。穩(wěn)定狀態(tài)是給定,經(jīng)過網(wǎng)絡(luò)學(xué)習求適宜權(quán)矩陣W（對稱陣）。一旦學(xué)習完成后,以計算方法進行聯(lián)想。Hopfield網(wǎng)絡(luò),能夠采取Hebb學(xué)習規(guī)則和誤差型學(xué)習算法等學(xué)習方法。30Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法第30頁Hebb學(xué)習規(guī)則給定M個待存放模式,按Hebb學(xué)習規(guī)則,Hopfield網(wǎng)絡(luò)有以下學(xué)習過程:（10-11）按上述規(guī)則求出權(quán)矩陣后,能夠認為網(wǎng)絡(luò)已經(jīng)將這M個模式存入網(wǎng)絡(luò)連接權(quán)中。在聯(lián)想過程中,與求解優(yōu)化問題一樣,先給出一個原始模式m0,使網(wǎng)絡(luò)處于某種初始狀態(tài)下,用網(wǎng)絡(luò)方程動態(tài)運行,最終達成一個穩(wěn)定狀態(tài)。假如此穩(wěn)定狀態(tài)對應(yīng)于網(wǎng)絡(luò)已存貯M個模式中某個模式mk,則稱模式mk是由模式m0聯(lián)想起來。31Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法第31頁聯(lián)想記憶例10-2對于一個4神經(jīng)元網(wǎng)絡(luò),取閾值為0。給定兩個模式存放于網(wǎng)絡(luò)中。試確定網(wǎng)絡(luò)權(quán)值矩陣W。

m1=m0=

32Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法第32頁聯(lián)想記憶解:可據(jù)式（10-11）結(jié)構(gòu)出權(quán)值矩陣W以下:給出用于聯(lián)想原始模式:ma=則得到穩(wěn)定狀態(tài)v=而這個穩(wěn)定狀態(tài)恰好是網(wǎng)絡(luò)已記憶模式m1,由此能夠認為m1是由模式ma聯(lián)想起來。33Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法第33頁聯(lián)想記憶例10-3給出下面三個存放模式,試確定網(wǎng)絡(luò)權(quán)值矩陣W,并討論其聯(lián)想記憶特點。解:依據(jù)式（10-11）結(jié)構(gòu)出權(quán)值矩陣W:34Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法第34頁對于本例,給出模式m3,但網(wǎng)絡(luò)運行穩(wěn)定在m2,而非其本身模式m3。Hopfield網(wǎng)絡(luò)用于記憶聯(lián)想要受其記憶容量和樣本差異制約:>若記憶模式較少,同時模式之間差異較大,則聯(lián)想結(jié)果就比較正確;而當需記憶模式較多時,網(wǎng)絡(luò)抵達穩(wěn)定狀態(tài)往往不是己記憶模式,亦即輕易引發(fā)混淆;>再者,當模式間差異較小時,網(wǎng)絡(luò)可能無法分辨出正確模式,此時即便采取已記憶模式作為聯(lián)想模式（自聯(lián)想）,也仍可能犯錯,如本例所表示。注意:本例m1和m2是該網(wǎng)絡(luò)兩個穩(wěn)定狀態(tài)?？沈炞C,對于該網(wǎng)絡(luò)其它6個網(wǎng)絡(luò)狀態(tài)中任何一個,都可在一次運行后收斂于這兩個狀態(tài)中一個。解畢。35Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法第35頁10.2.3連續(xù)型Hopfield網(wǎng)絡(luò)將離散Hopfield神經(jīng)網(wǎng)絡(luò)模型擴展到連續(xù)時間動力學(xué)模型,其網(wǎng)絡(luò)連接方法不變,仍然是全互連對稱結(jié)構(gòu),特征函數(shù)f()選擇Sigmoid函數(shù),使神經(jīng)元輸出取連續(xù)值。連續(xù)Hopfield網(wǎng)絡(luò)可與一電子線路對應(yīng),如圖10-10所表示。36Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法第36頁10.2.3連續(xù)型Hopfield網(wǎng)絡(luò)圖10-11表示由運算放大器實現(xiàn)一個節(jié)點模型。對于該模型，其電路方程可寫為：（10-12）37Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法第37頁式中，為系統(tǒng)的外部激勵。經(jīng)過整理，得：

（10-13）式中，令，有：38Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法第38頁定義10.2對式（10-14）連續(xù)Hopfield網(wǎng)絡(luò),其能量函數(shù)E(t)為（10-15）證實式（10-15）表示能量函數(shù)滿足李雅普諾夫函數(shù)前兩個條件是很輕易事。第三個條件滿足則可用式（10-15）推導(dǎo)得到。從式（10-15）不難看出:連續(xù)Hopfield網(wǎng)絡(luò)收斂性（10-16）于是,為Sigmoid函數(shù)時,其逆函數(shù)為非減函數(shù),即當39Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法第39頁（10-18）故。注意,式（10-15）最終一項在Sigmoid函數(shù)值高增益下因為靠近限幅器而能夠忽略不計。40Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法第40頁定理10.2對于連續(xù)Hopfield網(wǎng)絡(luò),假如f--1()為單調(diào)遞增連續(xù)函數(shù),Ci>0,wij=wji,則沿系統(tǒng)運動軌道有（10-19）當且僅當時,,(i=1,2,…,n)由定理10.2可知,連續(xù)Hopfield網(wǎng)絡(luò)隨時間推移其能量函數(shù)總是在不停地降低。網(wǎng)絡(luò)平衡點就是E(t)極小值點。41Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法第41頁連續(xù)Hopfield網(wǎng)絡(luò)工作方法有以下結(jié)論:系統(tǒng)過程從任意非平衡狀態(tài)出發(fā),最終收斂于平衡狀態(tài),平衡點有限。假如平衡點是穩(wěn)定,那么一定是漸近穩(wěn)定。漸近穩(wěn)定平衡點為其能量函數(shù)極小點;經(jīng)過合適學(xué)習,該網(wǎng)絡(luò)能將任意一級正交矢量存放起來作為漸近穩(wěn)定平衡點;連續(xù)Hopfield網(wǎng)絡(luò)信息存放表現(xiàn)為神經(jīng)元之間互連分布動態(tài)存放;連續(xù)Hopfield網(wǎng)絡(luò)以大規(guī)模非線性連續(xù)時間并行方法處理信息,其計算時間就是系統(tǒng)趨于平衡點時間。42Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法第42頁連續(xù)Hopfield網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)迭代過程框圖初始化在每個周期（掃描）重復(fù)下列步驟：是否到達穩(wěn)定狀態(tài)①隨機抽取一個在此周期中尚未更新的神經(jīng)元。

③ vi+=sgm(ui+)。停止否是② 計算43Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法第43頁10.3Hopfield網(wǎng)絡(luò)與最優(yōu)化問題假如把一個動態(tài)系統(tǒng)穩(wěn)定點視為—個能量函數(shù)極小點,而把能量函數(shù)視為一個優(yōu)化問題目標函數(shù),那么從初態(tài)朝這個穩(wěn)定點演變過程就是一個求解該優(yōu)化問題過程。反饋網(wǎng)絡(luò)用于優(yōu)化計算和作為聯(lián)想存放這兩個問題是對偶:用于優(yōu)化計算時權(quán)矩陣W已知,目是尋求E以達成最小穩(wěn)定狀態(tài);而作聯(lián)想存放時穩(wěn)定狀態(tài)則是給定（對應(yīng)于待存模式向量）,要經(jīng)過學(xué)習來尋求適宜W。44Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法第44頁旅行商問題（TSP）給定N個城市和它們兩兩之間直達距離,找出一個閉合旅程,使每個城市只經(jīng)過一次,且總旅行距離必需為最短。Hopfield與Tank將N城市TSP問題映射到連續(xù)Hopfield網(wǎng)絡(luò)中,經(jīng)過這N個城市一個旅程次序表給出問題一個可行解。在旅程次序表中,一個旅程城市次序由一組神經(jīng)元輸出狀態(tài)表示。建立能量方程使最優(yōu)旅程次序表對應(yīng)網(wǎng)絡(luò)穩(wěn)定終止狀態(tài)。45Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法第45頁旅行商問題（TSP）對一個N城市TSP問,因為有N個城市,并對應(yīng)有N種次序,所以要有NN個神經(jīng)元。在圖10-13（a）給出了一個路徑,其旅程總距離d為d=dBH+dHS+dSG+dGC+dCX+dXB,其中B是第一個被訪問,隨即依次為H、S、G、C和X。這里,dIJ表示從I市到J市直達距離。46Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法第46頁旅行商問題（TSP）用換位矩陣來表示TSP一條路徑方法:在該矩陣中,每一列只有一個元素為l,其它為0,列大小表示對某城市訪問次序。一樣每一行也只有一個元素為1,其它為0。經(jīng)過這么矩陣,可惟一地確定一條旅行路線。47Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法第47頁對于用Hopfield網(wǎng)絡(luò)來求解TSP問題,就是要合適地結(jié)構(gòu)一個能量函數(shù),使得Hopfield網(wǎng)絡(luò)中n個神經(jīng)元能夠求得問題解,并使其能量處于最低狀態(tài)。為此,結(jié)構(gòu)能量函數(shù)需考慮以下兩個問題:（1）能量函數(shù)要含有適合于換位矩陣穩(wěn)定狀態(tài)（約束條件）。（2）能量函數(shù)要有利于表示在TSP全部正當旅行路線中最短路線解（目標函數(shù)）。能量函數(shù)正當形式能夠經(jīng)過考慮神經(jīng)元輸出是0或1來實現(xiàn)。先考慮第（2）個問題。定義優(yōu)化目標函數(shù)為:48Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法第48頁旅行商問題（TSP）TSP可表示為以下優(yōu)化問題:

（10-21）（10-22）（10-23）(10-24)

s.t.糾正P162‘yj’49Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法第49頁旅行商問題（TSP）寫在一起,其目標函數(shù)為（10-25）此即描述TSPHopfield神經(jīng)網(wǎng)絡(luò)能量函數(shù)。糾正P162‘yj’50Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法第50頁旅行商問題（TSP）比較式（10-25）與式（10-15）同一變量兩端系數(shù),可得到網(wǎng)絡(luò)連接權(quán)和閾值表示式（這里需要注意是,因為網(wǎng)絡(luò)是二維,每個變量有兩個下標,而且求和符號也對應(yīng)增加一倍）:（10-26）式中,為Kronecker函數(shù),糾正P163‘xi,yj’-Cn51Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法第51頁旅行商問題（TSP）對應(yīng)神經(jīng)網(wǎng)絡(luò)動力學(xué)方程為（10-27）選擇適宜參數(shù)A,B,C,D和初始狀態(tài),用式（10-27）引導(dǎo)網(wǎng)絡(luò)狀態(tài)改變,就可得到用其穩(wěn)定網(wǎng)絡(luò)狀態(tài)所表示TSP最優(yōu)解。糾正P16352Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法第52頁二分圖最優(yōu)化問題定義:給定n（n為偶數(shù)）個節(jié)點,選擇任意兩節(jié)點進行相互連線,由此連成一個線圖;對于此線圖,用分割線將全部節(jié)點分為二等份,從而取得一個二分圖,要求該分割線跨越這兩組之間連線最少。如圖10-14線圖中,給出了兩種不一樣分割方法,分割1有10條跨越連線,分割2有2條跨越連線（此為最小值）。二分圖問題在超大規(guī)模集成電路（VLSI）布線設(shè)計中有廣泛應(yīng)用。圖10-14 二分圖示例53Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法第53頁二分圖最優(yōu)化問題可用以下連接矩陣表示圖10-14連接方法:（10-28）式中,糾正P16454Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法第54頁二分圖最優(yōu)化問題記分割節(jié)點后形成兩個區(qū)為A和B,定義一個在節(jié)點i處神經(jīng)元為:式中,n是節(jié)點數(shù),是一個常數(shù)（拉格朗日參數(shù)）,且wij=cij-。（10-30）這一問題Hopfield網(wǎng)絡(luò)能量函數(shù)為:（10-31）糾正P16455Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法第55頁二分圖最優(yōu)化問題可證實該函數(shù)是李雅普諾夫函數(shù)。（10-32）按二值硬限函數(shù)建立更新規(guī)則,有:（10-33）每個神經(jīng)元凈輸入為56Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法神經(jīng)網(wǎng)絡(luò)優(yōu)化方法Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法第56頁二分圖最優(yōu)化問題第一項是目標函數(shù),為全部不一樣節(jié)點對目標