1、第五章聯(lián)想記憶第1頁，共50頁。5.1 簡介 (1)在大腦中可以找到聽覺、視覺、與運動等相關(guān)之區(qū)域，但找不到負(fù)責(zé)記憶的區(qū)域。對於負(fù)責(zé)記憶的區(qū)域，沒有一個完整且令人信服的理論可以說明個中原理 。三種記憶的生理過程理論： (1) 訊息乃物理性地被紀(jì)錄在神經(jīng)元中。 (2) 訊息以電訊方式被傳導(dǎo)與儲存。 (3) 訊息改變了神經(jīng)元的結(jié)構(gòu)。第2頁，共50頁。5.1 簡介 (2)記憶可能是藉由神經(jīng)元間的聯(lián)接形態(tài)來儲存，而非透過單一神經(jīng)元本身的變化來紀(jì)錄。柏克萊大學(xué)的 Rosenzwieg 博士對於記憶所提出的理論 每當(dāng)一個人學(xué)到一件新的事物時，神經(jīng)元便改變它們的伸展範(fàn)圍，使得訊息更容易透過相關(guān)的突觸，而傳遞

2、至相連接的神經(jīng)元，新的聯(lián)結(jié)形成之後，舊的便消失，彼此消長之間，便形成所謂的記憶。史丹福大學(xué)的卡爾、帕瑞巴博士提出所謂的 “全圖像理論 (hologram)” 所有的記憶都被儲存在大腦的所有區(qū)域中，而任何一段片段便能夠使整體的記憶再現(xiàn)。第3頁，共50頁。摘自：大腦的秘密檔案 洪蘭 譯第4頁，共50頁。5.1 簡介 (3)人類的記憶，根據(jù)儲存的期間長短又分為三種： (1) 立即計憶 (immediate memory) ； (2) 短程記憶 (short-term memory) ； (3) 長程記憶 (long-term memory) 。 第5頁，共50頁。5.1 簡介 (4)立即計憶 (im

3、mediate memory): (1) 功能: 使我們注意到淺在之變化，以進(jìn)行連續(xù)性之活動。 (2) 容量: 數(shù)以千計，總體印象。 (3) 時間: 兩秒或更短。第6頁，共50頁。5.1 簡介 (5)短程記憶 (short-term memory)： (1) 功能: 使我們把東西連接在一起，創(chuàng)造情境並指定意義。 (2) 容量: 七件事。 (3) 時間: 三十秒到兩天。第7頁，共50頁。簡單實驗 (1)E P G L A K S第8頁，共50頁。簡單實驗 (2)L O D T M X H R U第9頁，共50頁。簡單實驗 (3)8 D W O S U N Z H 第10頁，共50頁。簡單實驗 (

4、4)J 9 D T H X Q第11頁，共50頁。5.1 簡介 (6)長程記憶 (long-termmemory): (1) 功能: 使我們記住事件(情節(jié)式型態(tài) episodic)及知識(語意式型態(tài) semantic)。 (2) 容量: 無限。 (3) 時間: 永久。第12頁，共50頁。5.1 簡介 (7)海馬體受損會影響記憶。內(nèi)視丘負(fù)責(zé)記憶類型的最初統(tǒng)合。長期記憶是隨著前突觸末端的增加而出現(xiàn)，也與新關(guān)聯(lián)的建立有關(guān)。改善記性的方法： (1) 利用聯(lián)想 (2) 置身於同樣情境 (3) 喝牛奶第13頁，共50頁。5.1 簡介 (8)有關(guān)記憶的三個重要歷程為： 登錄 (registration)：從

5、各種外界的刺激中挑選出感興趣的訊息。 保留 (retention)：將所注意到的訊息，從短程記憶的強記，轉(zhuǎn)化成久儲存的長程記憶。 提取 (retrieve)：如何從大腦中提取所儲存的資訊，主要是靠所謂的 “聯(lián)想 (associations)” 。從 1950 年代開始，就有許許多多的學(xué)者專家，投注大量心血，希望能用類神經(jīng)網(wǎng)路的模式來模擬聯(lián)想記憶，實現(xiàn)的方式可分為線性與非線性兩種 。第14頁，共50頁。5.2線性聯(lián)想記憶 (1)假設(shè)有一組輸入/輸出對， ，xi 與 yi 的維度分別為 p 和 r。我們的目標(biāo)是想將這 N 個輸入/輸出對，用聯(lián)想記憶的方式予以儲存起來，也就是說，當(dāng)輸入為 xi或是加

6、了一些雜訊的 xi+ni ( 代表雜訊)，輸出會是 yi 。 一、網(wǎng)路學(xué)習(xí) 二、網(wǎng)路回想 圖5.1為實現(xiàn)線性聯(lián)想記憶的類神經(jīng)網(wǎng)路示意圖。 第15頁，共50頁。5.2線性聯(lián)想記憶 (2)如果輸入 彼此之間為正規(guī)化正交 (orthonormal)，即 假設(shè)現(xiàn)在的輸入為 xk，則網(wǎng)路的輸出為： 假設(shè) xk 只是長度為 1 的單位向量，那麼網(wǎng)路輸出可重寫為： 其中 k 是所謂的 “雜訊向量 (noise vector)” 或稱為 “交互影響 (crosstalk)”。 如果鍵結(jié)值矩陣是由下式計算而得的，那麼這些雜訊向量 k 會降到最小： 其中 ， 以及 X+ 稱為 的虛擬反矩陣。 第16頁，共50頁。

7、範(fàn)例5.1：聯(lián)想記憶 (1)假設(shè)我們想要儲存以下三個輸入/輸出對： 經(jīng)由前述之公式可知 如果網(wǎng)路現(xiàn)在的輸入是 ，那麼網(wǎng)路的輸出為 第17頁，共50頁。5.3Hopfield 網(wǎng)路 (1)如果輸入及輸出向量都是由二元值（0與1）或雙極值（-1與1）所構(gòu)成的向量，那麼式 (5.8) 的輸出雜訊向量可以藉助下述的非線性轉(zhuǎn)換技術(shù)達(dá)到抑制雜訊的效果： (1) 將輸出取閥值 (thresholding) 以及 (2) 將取閥值後的輸出，轉(zhuǎn)輸入回網(wǎng)路，然後重覆這兩 項步驟直到收斂為止。這種有回授的類神經(jīng)網(wǎng)路被稱為 “循環(huán)類神經(jīng)網(wǎng)路 (recurrent neural networks)”，而離散的 Hopf

8、ield 網(wǎng)路 (discrete Hopfield networks) 便是此種網(wǎng)路的代表。 第18頁，共50頁。5.3Hopfield 網(wǎng)路 (2)一、網(wǎng)路學(xué)習(xí) :假設(shè)有 N 筆輸入向量 要用自聯(lián)想的方式儲存至離散 Hopfield 網(wǎng)路上 或者 圖5.2：離散的 Hopfield 網(wǎng)路。 第19頁，共50頁。5.3Hopfield 網(wǎng)路 (3)二、網(wǎng)路回想 假若此時有一輸入 x 進(jìn)入此網(wǎng)路，我們將此時的輸入視做網(wǎng)路的初始輸出 x (0)，緊接著，每個類神經(jīng)元的後續(xù)輸出是由下式計算離散 Hopfield 網(wǎng)路是用非同步 (asynchronization) 的方式來變更類神經(jīng)元的輸出，整個

9、聯(lián)想過程可以用下列之鏈狀關(guān)係來描述： 如果我們用同步 (synchronization) 的方式來變更網(wǎng)路輸出，結(jié)果會有些不同 第20頁，共50頁。範(fàn)例5.2：聯(lián)想記憶中的記憶提取 假設(shè)我們要儲存下列兩筆資料： 第21頁，共50頁。範(fàn)例5.2：聯(lián)想記憶中的記憶提取 (2)假設(shè)此時輸入為 x=(1,1,-1)T，我們想知道哪一筆資料會被聯(lián)想起來？ 1. 若我們依序利用下式來更新類神經(jīng)元的輸出狀態(tài)： 2. 若我們使用同步的方式來更新網(wǎng)路輸出狀態(tài)： 疊代次數(shù)類神經(jīng)元 輸出 11 (x1)(-1,1,-1)T22 (x2) (-1,1,-1)T33 (x3) (-1,1,-1)T41 (x1) (-1

10、,1,-1)T52 (x2) (-1,1,-1)T63 (x3) (-1,1,-1)T 疊代次數(shù)輸出 1(-1,1,-1)T2(-1,1,-1)T第22頁，共50頁。範(fàn)例5.3：離散 Hopfield 網(wǎng)路應(yīng)用於字聯(lián)想 (1) 圖5.3：(a) 測試離散 Hopfield 網(wǎng)路的六個樣本圖樣。 第23頁，共50頁。第24頁，共50頁。範(fàn)例5.3：離散 Hopfield 網(wǎng)路應(yīng)用於數(shù)字聯(lián)想 (1)在本實驗中，以個類神經(jīng)元、個鍵結(jié)值來記憶如圖5.3(a)的八個樣本圖樣 。每個圖樣都是由120個像素所組成，樣本圖樣是以二元的灰階值表示，輸入至網(wǎng)路時以 +1 代表黑點、以 -1 代表白點。我們以 0.

11、25 的機率將其灰階值由 +1 變 -1，或由 -1 變 +1，並且以這個被雜訊干擾過的新圖樣來作為網(wǎng)路的輸入圖樣，以測試網(wǎng)路是否能夠從被雜訊干擾過的圖樣中，以訓(xùn)練完成的鍵結(jié)值，來正確地回想出原來的樣本圖樣？ 第25頁，共50頁。圖5.3：(a) 測試離散 Hopfield 網(wǎng)路的八個樣本圖樣。 圖5.3：(b) 原樣本圖樣“6”被雜訊干擾後，經(jīng)由網(wǎng)路收斂至圖樣“6”(完全正確回想)。 第26頁，共50頁。圖5.3：(c) 原樣本圖樣“2”被雜訊干擾後，經(jīng)由網(wǎng)路收斂至圖樣“6”(錯誤回想)。 圖5.3：(d) 原樣本圖樣“9”被雜訊干擾後，經(jīng)由網(wǎng)路收斂至圖樣“9”(部份錯誤回想)。(本圖摘自：

12、S. Haykin, Neural Networks第27頁，共50頁。5.3.1離散 Hopfield 網(wǎng)路的特性 (1)如果類神經(jīng)元輸出的更新是採用非同步模式，則網(wǎng)路必定會收斂至某一穩(wěn)定狀態(tài)。 動態(tài)系統(tǒng)的穩(wěn)定度分析，最直接的方式是解出系統(tǒng)方程式分析。Hopfield 網(wǎng)路是否穩(wěn)定通常採用 Lyapunov 法 。 首先，我們定義離散 Hopfield 網(wǎng)路的能量函數(shù)為： 假設(shè)第 i 個類神經(jīng)元的輸出於時間 k 時產(chǎn)生了變化，即 由於 xi(k) 的產(chǎn)生，導(dǎo)致網(wǎng)路的能量於時間 k+1 時變成 第28頁，共50頁。5.3.1離散 Hopfield 網(wǎng)路的特性 (2)因此，網(wǎng)路能量的變化量為 接

13、著，我們將下標(biāo) h 改為下標(biāo) j，又因為 wij=wji，因此可以將上式為 第29頁，共50頁。5.3.1離散 Hopfield 網(wǎng)路的特性 (3)由於 xi(k) 的值只有三種可能，現(xiàn)在我們就分三種情況來分析 E1. xi(k) = 2：即 xi(k+1) = 1 且 xi(k) = -1 xi(k+1) = 1代表 ，因此 E02. xi(k) = -2：即 xi(k+1) = -1 且 xi(k) = 1 xi(k+1) = -1代表 ，因此 E03. xi(k) = 0：即 xi(k+1) = xi(k) xi(k+1) = xi(k)代表 ，因此 E=0綜合上列三種情況，我們得知 E

14、=0第30頁，共50頁。5.3.1離散 Hopfield 網(wǎng)路的特性 (4)離散 Hopfield 網(wǎng)路利用能量函數(shù)的局部極小特性來儲存資料。我們利用 Hebbian 規(guī)則來調(diào)整網(wǎng)路的鍵結(jié)值，有可能會使得網(wǎng)路能量之局部極小值的數(shù)目會超過原先儲存的資料數(shù)目，也就是會有”偽造狀態(tài)(Spurious states)”的產(chǎn)生。 離散 Hopfield 網(wǎng)路的記憶容量有其上限，若類神經(jīng)元的數(shù)目是 p，在記憶提取有 99% 正確率的情況下，則可儲存的資料筆數(shù)不會超過下式 。 記憶容量 圖5.4：離散 Hopfield 網(wǎng)路的收斂特性。 第31頁，共50頁。5.3.2連續(xù) Hopfield 網(wǎng)路 (1)Ho

15、pfield 於 1984 年提出了連續(xù) Hopfield 網(wǎng)路 (analog or continuous Hopfield networks) 11。網(wǎng)路中的類神經(jīng)元採用 S 曲線的活化函數(shù)，網(wǎng)路的狀態(tài)以及輸出可以用下列之微分方程式來描述： 其中，對第 i 個類神經(jīng)元來說，Ci 代表細(xì)胞膜的電容性，Ri 是細(xì)胞膜的電阻性，Ii 是外界輸入電流(代表閥值項)，yi 是類神經(jīng)元的輸出電位差，ui 代表軸突丘的細(xì)胞膜電位差，以及 wij 代表第 j 個類神經(jīng)元至第 i 個類神經(jīng)元的鍵結(jié)值，(.) 是個嚴(yán)格遞增的 S-型活化函數(shù)。 第32頁，共50頁。5.3.2連續(xù) Hopfield 網(wǎng)路 (2)

16、根據(jù)克希荷夫電流定律 (Kirchhoff equation) 其中 代表非線性放大器的輸入電阻性。如果我們定義 可以將式(5.27)轉(zhuǎn)換成如下 上式再加上 就等同於式(5.25) 圖5.5：以超大型積體電路 (VLSI) 的技術(shù)來實現(xiàn)連續(xù) Hopfield 網(wǎng)路。 第33頁，共50頁。5.3.3 Hopfield 網(wǎng)路的應(yīng)用 (1) Hopfield 網(wǎng)路的應(yīng)用範(fàn)圍很廣，譬如說，有些人把它應(yīng)用於類比/數(shù)位轉(zhuǎn)換器的設(shè)計。另一個廣受注意的應(yīng)用就是用來解決最佳化的問題，主要的關(guān)鍵技術(shù)就是想辦法將欲最佳化的目標(biāo)函數(shù) (object function) 整理成 Hopfield 網(wǎng)路的 Lyapuno

17、v 函數(shù)，然後便可發(fā)現(xiàn)鍵結(jié)值應(yīng)如何設(shè)定，最後我們初始化網(wǎng)路的輸出值，然後隨著時間的變化，網(wǎng)路會收斂至穩(wěn)定狀態(tài)，而此穩(wěn)定狀態(tài)便是目標(biāo)函數(shù)的極小值，在此強調(diào)一點，我們無法保證它是全域極小值 (global minima)。 第34頁，共50頁。範(fàn)例5.4：推銷員旅途長度問題 (TSP) (1)如何設(shè)計一條最短的行程以便走過 N 個城市，而每個城市只能去一次，並且最後要回到原先出發(fā)的城市。類神經(jīng)元被安排成 N N 的矩陣，行 (column) 代表旅途的順序，列 (row) 代表城市名稱，而矩陣的每一個元素 亦即類神經(jīng)元的輸出，都是單極性的二元值，若矩陣的第 元素為 1，則代表城市 y 是第 i 站

18、。圖5.6顯示這麼一條路徑：B D A C (B)。圖5.6：推銷員旅途長度問題的解答之一：B D A C (B)。 第35頁，共50頁。範(fàn)例5.4：推銷員旅途長度問題 (TSP) (1)(1) 每個城市只能去一次： (2) 一次只能去一個城市： (3) 所有城市都要被經(jīng)過： (4) 路途距離最短： 其中 代表城市 y 與城市 z 的距離。 第36頁，共50頁。範(fàn)例5.4：推銷員旅途長度問題 (TSP) (2)現(xiàn)在我們想要同時將 E1、E2、E3 以及 E4 最小化，因此可以將上述四個函數(shù)乘上不同的權(quán)值，以便合併考慮： 我們將含有 N N 個類神經(jīng)元的 Hopfield 網(wǎng)路的能量函數(shù)寫於下式

19、： 比較式(5.36)與式(5.37)，我們便可知道鍵結(jié)值 w (y,i), (z,j) (第 (y,i) 個類神經(jīng)元與第 (z,j) 個類神經(jīng)元的聯(lián)結(jié)鍵結(jié)值) 以及閥值 (y,i)應(yīng)照下列式子設(shè)定： (5.36)(5.37)第37頁，共50頁。範(fàn)例5.4：推銷員旅途長度問題 (TSP) (3)假設(shè)城市數(shù)目N=4，所以鍵結(jié)值矩陣是個1616的矩陣 (因為共有16個類神經(jīng)元在這44的Hopfield網(wǎng)路)，dA,B = dB,C = dC,D = dD,A = 1 km，dA,C = dB,D = km，並且讓w1 = w2 = w3 = w4 = 0.6，根據(jù)式 (5.38)-(5.40)，我

20、們得到： 01000010100000010100001010000001如果我們採用同步疊代方式來更新網(wǎng)路狀態(tài)，那麼根據(jù)式(5.15) ，網(wǎng)路的新狀態(tài)變成 第38頁，共50頁。5.4雙向聯(lián)想記憶 (1)雙向聯(lián)想記憶 (bidirectional associative memory, 簡稱 BAM) 是一種執(zhí)行異聯(lián)想 (heteroassociation) 的雙層類神經(jīng)網(wǎng)路。 它可被用來儲存N個輸入/輸出向量對，(xi,yi)，i=1,N, xi 與 yi 分別為 p 維與 r 維的向量，其基本架構(gòu)如圖5.7所示。它利用順反兩個方向的資訊傳輸方式，使得網(wǎng)路的兩層類神經(jīng)元的輸出，以一種反覆出現(xiàn)

21、的模式達(dá)到穩(wěn)定狀態(tài)，藉此完成異聯(lián)想的工作。圖5.7：雙向聯(lián)想記憶類神經(jīng)網(wǎng)路的基本架構(gòu)。 第39頁，共50頁。5.4.1 BAM網(wǎng)路的記憶及回想 (1)假設(shè) Y 層的類神經(jīng)元在時間k時的輸出為 y(k)，這時 y(k) 便被視為位於 X 層的類神經(jīng)元的輸入，然後這些類神經(jīng)元 ( X 層) 便根據(jù)下式來更新類神經(jīng)元的輸出： 其中 第40頁，共50頁。5.4.1 BAM網(wǎng)路的記憶及回想 (2)然後將 x(k+1) 視為位於 Y 層的類神經(jīng)元的輸入，並根據(jù)下式來計算類神經(jīng)元 (Y 層) 新的輸出：這個過程會一直反覆持續(xù)下去，直到收斂為止，整個回想過程可以用以下的步驟來總結(jié)。 第 1 次反饋傳輸：第 1

22、 次前饋傳輸：第 2 次反饋傳輸：第 2 次前饋傳輸：第 k/2 次反饋傳輸：第 k/2 次前饋傳輸：第41頁，共50頁。5.4.1 BAM網(wǎng)路的記憶及回想 (3)採用 Hebbian 學(xué)習(xí)規(guī)則 我們可以看出 WT=W，亦即 wji=wij。所謂的雙向穩(wěn)定就是網(wǎng)路經(jīng)過多次雙向疊代之後，會有以下的情況發(fā)生： 其中 第42頁，共50頁。5.4.1 BAM網(wǎng)路的記憶及回想 (4)網(wǎng)路的 Lyapunov 函數(shù)為 (為了簡化問題，我們令閥值項 )： 我們發(fā)現(xiàn)更動 或 中的任一個位元資訊(例如從 +1 -1 或從 -1 +1)，會導(dǎo)致網(wǎng)路能量變化如下： 第43頁，共50頁。5.4.1 BAM網(wǎng)路的記憶及

23、回想 (5)而 與 的變化量不外乎以下三種： 我們很輕易地發(fā)現(xiàn)， xi 和 同號以及 yj 和 同 號，再加上有一個負(fù)號，所以 和 ，除此之外，E(x,y)有 下限 ( )，所以可以得到這個結(jié)論 BAM 會隨著時間的演進(jìn)而往網(wǎng)路能量低的方向移動，最後收斂至雙向穩(wěn)定狀態(tài)，而此狀態(tài)便是能量函數(shù)的局部極小點。值得一提的是，BAM也會有所謂的”偽造狀態(tài)”的出現(xiàn)。 第44頁，共50頁。5.4.1 BAM網(wǎng)路的記憶及回想 (6)如果將離散 BAM 的差分狀態(tài)改變規(guī)則，如式(5.42)及式(5.44)改成下列的微分方程式，則會變成所謂的連續(xù) BAM (continuous bidirectional associative memory)： 其中，Ii 以及 Ij 為正值常數(shù)。 第