1、Hopfield神經(jīng)網(wǎng)絡(luò)模型與學(xué)習(xí)算法 10/12/20221概述 Hopfield網(wǎng)絡(luò)是神經(jīng)網(wǎng)絡(luò)發(fā)展歷史上的一個(gè)重要的里程碑。由美國加州理工學(xué)院物理學(xué)家J.J.Hopfield教授于1982年提出，是一種單層反饋神經(jīng)網(wǎng)絡(luò)。Hopfield網(wǎng)絡(luò)是一種由非線性元件構(gòu)成的反饋系統(tǒng)，其穩(wěn)定狀態(tài)的分析比前向神經(jīng)網(wǎng)絡(luò)要復(fù)雜得多。1984年，Hopfield設(shè)計(jì)并研制了網(wǎng)絡(luò)模型的電路，并成功地解決了旅行商(TSP)計(jì)算難題(優(yōu)化問題)。 Hopfield網(wǎng)絡(luò)分為離散型和連續(xù)型兩種網(wǎng)絡(luò)模型，分別記作DHNN (Discrete Hopfield Neural Network) 和CHNN (Continue

2、s Hopfield Neural Network) 。 Hello,Im John Hopfield10/12/202222.9.1離散Hopfield 神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)模型表示法一10/12/202232.9.1離散Hopfield 神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)模型表示法二10/12/202242.9.1離散Hopfield 神經(jīng)網(wǎng)絡(luò)相關(guān)參數(shù)說明任意神經(jīng)元 與 間的突觸權(quán)值 為，神經(jīng)元之間連接是對(duì)稱的，神經(jīng)元自身無連接. 每個(gè)神經(jīng)元都同其他的神經(jīng)元相連,其輸出信號(hào)經(jīng)過其他神經(jīng)元又有可能反饋給自己 設(shè)Hopfield網(wǎng)絡(luò)中有n個(gè)神經(jīng)元，其中任意神經(jīng)元的輸入用 表示，輸出 用表示，它們都是時(shí)間的函數(shù)，其中 也稱為

3、神經(jīng)元在時(shí)刻 的狀態(tài)。 10/12/202252.9.1離散Hopfield 神經(jīng)網(wǎng)絡(luò)離散Hopfield網(wǎng)絡(luò)的運(yùn)行規(guī)則(1)串行(異步)工作方式 在任時(shí)刻，只有某神經(jīng)元 (隨機(jī)的或確定的選擇)依上式變化，而其他神經(jīng)元的狀態(tài)不變。(2)并行(同步)工作方式 在任一時(shí)刻，部分神經(jīng)元或全部神經(jīng)元的狀態(tài)同時(shí)改變。10/12/202272.9.1離散Hopfield 神經(jīng)網(wǎng)絡(luò)串行(異步)工作方式運(yùn)行步驟第一步 對(duì)網(wǎng)絡(luò)進(jìn)行初始化；第二步 從網(wǎng)絡(luò)中隨機(jī)選取一個(gè)神經(jīng)元；第三步 按式(2-5)求出該神經(jīng)元i的輸出；第四步 按式(2-6)求出該神經(jīng)元經(jīng)激活函數(shù)處理后的輸出，此時(shí)網(wǎng)絡(luò)中的其他神經(jīng)元的輸出保持不變；

4、第五步 判斷網(wǎng)絡(luò)是否達(dá)到穩(wěn)定狀態(tài)，若達(dá)到穩(wěn)定狀態(tài)或滿足給定條件則結(jié)束；否則轉(zhuǎn)到第二步繼續(xù)運(yùn)行。 10/12/202282.9.1離散Hopfield 神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)中神經(jīng)元能量函數(shù)變化量Hopfield網(wǎng)絡(luò)狀態(tài)向著能量函數(shù)減小的方向演化。由于能量函數(shù)有界，所以系統(tǒng)必然會(huì)趨于穩(wěn)定狀態(tài) 。10/12/2022102.9.2 連續(xù)Hopfield 神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)模型10/12/2022112.9.2 連續(xù)Hopfield 神經(jīng)網(wǎng)絡(luò)穩(wěn)定性分析將下式代入得：因?yàn)檫B續(xù)Hopfield網(wǎng)絡(luò)模型是穩(wěn)定的10/12/2022122.9.3 Hopfield 神經(jīng)網(wǎng)絡(luò)的MATLAB實(shí)現(xiàn)函 數(shù) 名功 能satlin(

5、)飽和線性傳遞函數(shù)satlins( )對(duì)稱飽和線性傳遞函數(shù)newhop( )生成一個(gè)Hopfield回歸網(wǎng)絡(luò)nnt2hop( )更新NNT 2.0 Hopfield回歸網(wǎng)絡(luò)MATLAB中Hopfield網(wǎng)絡(luò)的重要函數(shù)和功能 10/12/2022142.9.3 Hopfield 神經(jīng)網(wǎng)絡(luò)的MATLAB實(shí)現(xiàn) MATLAB中與Hopfield網(wǎng)絡(luò)有關(guān)的重要函數(shù)和功能 newhop( )功能 生成一個(gè)Hopfield回歸網(wǎng)絡(luò)。格式 net = newhop(T)說明 net為生成的神經(jīng)網(wǎng)絡(luò)，具有在T中的向量上穩(wěn)定的點(diǎn)；T是具有Q個(gè)目標(biāo)向量的R*Q矩陣（元素必須為-1或1）。Hopfield神經(jīng)網(wǎng)絡(luò)經(jīng)常被應(yīng)用于模式的聯(lián)想記憶中。Hopfield神經(jīng)網(wǎng)絡(luò)僅有一層，其激活函數(shù)用satlins( )函數(shù)，層中的神經(jīng)元有來自它自身的連接權(quán)和閾值。 10/12/2022152.9.3 Hopfield 神經(jīng)網(wǎng)絡(luò)的MATLAB實(shí)現(xiàn)例2-8 設(shè)印刷體數(shù)字由10 10點(diǎn)陣構(gòu)成，就是將數(shù)字分成很多小方塊，每個(gè)方塊就對(duì)應(yīng)數(shù)字的一部分，構(gòu)成數(shù)字本部分的方塊用1表示，空白處用-1表示。試設(shè)計(jì)一個(gè)Hopfield網(wǎng)絡(luò)，能夠正確識(shí)別印刷體的數(shù)字。 由點(diǎn)陣構(gòu)成的數(shù)字1由點(diǎn)陣構(gòu)成的數(shù)字210/12/202217例2-8程序10/12/202218小結(jié)