1、第四章自組織神經(jīng)網(wǎng)絡(luò)模型 概述 神經(jīng)網(wǎng)絡(luò)的一個(gè)重要特點(diǎn)就是它具有學(xué)習(xí)能力。在前面兩節(jié)中介紹的神經(jīng)網(wǎng)絡(luò)模型（Hopfield神經(jīng)網(wǎng)絡(luò)模型除外）的學(xué)習(xí)都是有監(jiān)督的，在這一章中我們將詳細(xì)介紹自適應(yīng)諧振理論神經(jīng)網(wǎng)絡(luò)模型、自組織映射神經(jīng)網(wǎng)絡(luò)模型、對(duì)流神經(jīng)網(wǎng)絡(luò)模型三種無監(jiān)督學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，它們可以自動(dòng)地向環(huán)境學(xué)習(xí)，都是自組織神經(jīng)網(wǎng)絡(luò)模型。內(nèi)容提要 自適應(yīng)諧振理論（ART） 自組織映射神經(jīng)網(wǎng)絡(luò)模型（SOM） 對(duì)流神經(jīng)網(wǎng)絡(luò)模型（CPN） 應(yīng)用實(shí)例分析第一節(jié)自適應(yīng)諧振理論概述 自適應(yīng)諧振理論（簡稱ART）的目的是為人類的心理和認(rèn)知活動(dòng)建立一個(gè)統(tǒng)一的數(shù)學(xué)理論。自適應(yīng)諧振理論神經(jīng)網(wǎng)絡(luò)模型就是這一理論的核心經(jīng)過發(fā)展而得

2、到的一種對(duì)隨機(jī)輸入模式進(jìn)行自穩(wěn)定識(shí)別編碼的模型結(jié)構(gòu)。它主要包含ART1、ART2和ART3幾種模型。ART1主要用于二值輸入模式，ART2和ART3主要用于連續(xù)信號(hào)輸入模式。ART模型的結(jié)構(gòu)ART模型的工作過程之注意子系統(tǒng) 經(jīng)過預(yù)處理的信號(hào)I進(jìn)入注意子 系統(tǒng)中F1的輸入端，經(jīng)F1中的 處理單元變換成激勵(lì)模式X， 在完成了特征檢測之后，F(xiàn)1中 激勵(lì)最大的處理單元就會(huì)輸出 信號(hào)到F2，形成F1的輸出模式 S。S經(jīng)過F1到F2的LTM加權(quán)組合變換成模式T而作用于F2的輸入端。F2接收到T后，通過其中神經(jīng)元間的相互作用，迅速產(chǎn)生對(duì)比度增強(qiáng)了的模式Y(jié)。ART模型的工作過程之注意子系統(tǒng) 一旦自下而上變換X

3、Y完 成之后，Y就會(huì)產(chǎn)生自上 而下的激勵(lì)信號(hào)模式U， 并向F1傳送，只有足夠大 的激勵(lì)才會(huì)向反饋通路傳 送信號(hào)U。U經(jīng)過F2到F1的LTM加權(quán)組合變成模式V，V稱為自上而下的模板或?qū)W習(xí)期望。ART模型的工作過程之調(diào)整子系統(tǒng)ART模型的工作過程之調(diào)整子系統(tǒng) 輸入模式在產(chǎn)生X的同時(shí)也會(huì)激發(fā)調(diào)整子系統(tǒng)A，但是F1中的X會(huì)在調(diào)整子系統(tǒng)A產(chǎn)生輸出之前禁止它起作用。當(dāng)F2的反饋模式V與F1的輸入模式I失配（不匹配）時(shí)，就會(huì)大大減弱這一禁止作用，當(dāng)減弱到一定程度時(shí)，調(diào)整子系統(tǒng)A被激活，這樣A向F2送出一重置波，并作用于F2的全部處理單元，從而改變F2的狀態(tài)，取消原來自上而下的模板V，結(jié)束V與I的匹配。輸入I

4、一直起作用，然后F2產(chǎn)生新的狀態(tài)Y ，Y產(chǎn)生新的自上而下的模板V，如果V仍與I失配，調(diào)整子系統(tǒng)還會(huì)起作用，這樣一系列的搜索、匹配和重置過程一直繼續(xù)，直到F2送回的自上而下模板與外界輸入I相匹配為止。ART模型的工作過程之增益控制 在上述過程中，注意子系統(tǒng)的增益控制在F1與F2之間起到了協(xié)調(diào)作用。比如,若F2被激發(fā)，向F1送學(xué)習(xí)模板，增益控制則會(huì)給出禁止作用來影響F1對(duì)輸入響應(yīng)的靈敏度，使F1能夠區(qū)分這一激勵(lì)是來自輸入還是F2。ART模型工作過程之2/3規(guī)則 F1有三個(gè)信號(hào)源：F2的自上而下模板輸入、F1增益控制輸入和外界輸入I，F(xiàn)1 必須在其增益控制輸入和外界輸入I同時(shí)起作用時(shí)，才會(huì)產(chǎn)生自下而

5、上的輸出信號(hào)。在自下而上的過程中，F(xiàn)1同時(shí)接收其增益控制作用的輸入和外界輸入，從而產(chǎn)生自下而上的輸出；在自上而下的過程中，增益控制輸入被自上而下的通道禁止，雖然輸入信號(hào)I在繼續(xù)作用于F1，但是F1并不被提前激發(fā)， 失配部分不會(huì)被激活，使得F1中的STM激發(fā)作用減少。ART神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) ART神經(jīng)網(wǎng)絡(luò)模型是一個(gè)兩層神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)，下層為輸入神經(jīng)元，上層為輸出神經(jīng)元，記從上到下神經(jīng)元間連接權(quán)值為bij，從下到上神經(jīng)元間連接權(quán)值為fij。其中i=1,，n；j=1,，m。ART神經(jīng)網(wǎng)絡(luò)模型的學(xué)習(xí)初始化階段匹配階段比較和搜索階段權(quán)值調(diào)整階段ART神經(jīng)網(wǎng)絡(luò)模型的學(xué)習(xí)過程初始化階段 對(duì)所有的i，j(i=1,，

6、n；j=1,，m)，設(shè)置 。置 為(0,1)區(qū)間內(nèi)的一個(gè)值。 其中：n為輸入處理單元個(gè)數(shù)；m為輸出單元個(gè)數(shù)； 為警戒線值，表示兩個(gè)樣本擬合程度多大才認(rèn)為是匹配的。ART神經(jīng)網(wǎng)絡(luò)模型的學(xué)習(xí)過程匹配階段 將一新的樣本向量X送入輸入神經(jīng)元。 計(jì)算匹配度，也就是計(jì)算輸出神經(jīng)元的輸出值： 其中：oj是輸出神經(jīng)元的輸出；xi是輸入神經(jīng)元i的輸入，取值為0或1。ART神經(jīng)網(wǎng)絡(luò)模型的學(xué)習(xí)過程比較搜索階段 選擇一最佳匹配： 警戒線檢查：ART神經(jīng)網(wǎng)絡(luò)模型的學(xué)習(xí)過程比較搜索階段 若 ，則轉(zhuǎn)向權(quán)值調(diào)整階段； 若 ，則重新尋求最佳匹配。把剛找到的最佳匹配處理單元置上標(biāo)志，下次選擇較優(yōu)匹配時(shí)不予參加，選擇下一較優(yōu)匹配，

7、重復(fù)上述過程。ART神經(jīng)網(wǎng)絡(luò)模型的學(xué)習(xí)過程比較搜索階段 如果在上述比較搜索過程中沒有找到一個(gè)滿足警戒線檢測條件的神經(jīng)元。則生成一個(gè)新的輸出神經(jīng)元，并將其從上至下的連接權(quán)值設(shè)置為輸入向量的各個(gè)分量值，輸入神經(jīng)元到它的連接權(quán)值按初始化階段設(shè)置權(quán)值的方法進(jìn)行設(shè)置。并結(jié)束對(duì)該樣本的學(xué)習(xí)。否則轉(zhuǎn)入權(quán)值調(diào)整階段。ART神經(jīng)網(wǎng)絡(luò)模型的學(xué)習(xí)過程權(quán)值調(diào)整階段 網(wǎng)絡(luò)自上而下權(quán)值 和網(wǎng)絡(luò)自下而上權(quán)值 按如下兩式進(jìn)行調(diào)整：ART神經(jīng)網(wǎng)絡(luò)模型的回憶過程 輸入模式向量，可以根據(jù)網(wǎng)絡(luò)自興奮側(cè)抑制競爭機(jī)制判決輸入模式的類別。 根據(jù)需要，也可按照上述過程動(dòng)態(tài)加入新的模式類別。從而該神經(jīng)網(wǎng)絡(luò)具有自適應(yīng)聚類和識(shí)別的能力。ART神經(jīng)

8、網(wǎng)絡(luò)模型的一些說明權(quán)值初始化是十分必要的 設(shè)置從上至下的神經(jīng)網(wǎng)絡(luò)權(quán)值是為了對(duì)模式進(jìn)行相似性測量時(shí)能夠正確地計(jì)算其相似性；設(shè)置從下至上的神經(jīng)網(wǎng)絡(luò)權(quán)值是為了保證輸入向量能夠收斂到其所屬類別，而不會(huì)輕易增加新的輸出神經(jīng)元。ART神經(jīng)網(wǎng)絡(luò)模型的一些說明對(duì)警戒線取值的認(rèn)識(shí) 警戒線是人為的取值方式，其值的大小直接影響著模式聚類的類別數(shù)和分類精度。如果警戒線值越大，表示分類越精細(xì)，模式聚類的類別數(shù)越多；如果警戒線值越小，表示對(duì)分類要求的精度不高，模式聚類的類別數(shù)較少?；诖?，也可認(rèn)為ART神經(jīng)網(wǎng)絡(luò)為有導(dǎo)師學(xué)習(xí)網(wǎng)絡(luò)。ART神經(jīng)網(wǎng)絡(luò)模型的一些說明比較搜索階段十分必要；ART神經(jīng)網(wǎng)絡(luò)模型的學(xué)習(xí)算法幾乎是實(shí)時(shí)的。A

9、RT神經(jīng)網(wǎng)絡(luò)模型的能力 ART神經(jīng)網(wǎng)絡(luò)模型可以完成對(duì)隨機(jī)輸入模式的實(shí)時(shí)響應(yīng)識(shí)別編碼，且可適應(yīng)非平穩(wěn)的環(huán)境，對(duì)已學(xué)過的模式它具有穩(wěn)定的快速識(shí)別能力，同時(shí)也能對(duì)未學(xué)過的模式進(jìn)行穩(wěn)定編碼，不需要知道模式的標(biāo)準(zhǔn)輸出結(jié)果，所以它的學(xué)習(xí)是一種非監(jiān)督學(xué)習(xí)方式。它的容量也不受輸入通道的限制，而且存儲(chǔ)的模式不要求是正交的。自適應(yīng)諧振理論神經(jīng)網(wǎng)絡(luò)模型廣泛應(yīng)用于對(duì)任意多和任意復(fù)雜的二維模式進(jìn)行自組織、自穩(wěn)定和大規(guī)模并行處理，可用于如雷達(dá)、聲納信號(hào)識(shí)別等領(lǐng)域。ART神經(jīng)網(wǎng)絡(luò)應(yīng)用實(shí)例分析5個(gè)輸入神經(jīng)元；30個(gè)輸出神經(jīng)元；對(duì)30個(gè)樣本進(jìn)行模式聚類分析和識(shí)別。觀測不同的警戒線取值對(duì)分類的影響。第二節(jié)自組織映射神經(jīng)網(wǎng)絡(luò)模型S

10、OMSOM模型提出的生物背景 在人的感覺通道上一個(gè)很重要的組織原理是神經(jīng)元有序地排列著，并且往往可以反映出所感覺到外界刺激的某些物理特性。如在聽覺通道的每一個(gè)層次上，其神經(jīng)元與神經(jīng)纖維在結(jié)構(gòu)上的排列與外界刺激的頻率關(guān)系十分密切，對(duì)于某個(gè)頻率，相應(yīng)的神經(jīng)元具有最大的響應(yīng)，這種聽覺通道上的有序排列一直延續(xù)到聽覺皮層，盡管許多低層次上的組織是預(yù)先排好的，但高層次上的神經(jīng)組織則是通過學(xué)習(xí)自組織而形成的。SOM模型的技術(shù)要點(diǎn)神經(jīng)元陣列。 陣列中每個(gè)神經(jīng)元從事件空間中接收相干的輸入，并形成這些輸入信號(hào)的簡單辨識(shí)（Discriminant）函數(shù)。一種比較辨識(shí)函數(shù)。 并選擇一個(gè)具有最大函數(shù)輸出值的處理單元的機(jī)

11、制。SOM模型的技術(shù)要點(diǎn)局部互連作用。 這種局部互連作用同時(shí)刺激被選擇的處理單元及其最相鄰的鄰接處理單元。一個(gè)自適應(yīng)過程。 這個(gè)自適應(yīng)過程修正被激勵(lì)的處理單元的參數(shù)，以增加其相應(yīng)于特定輸入的辨識(shí)函數(shù)輸出值。二維SOM模型的結(jié)構(gòu)SOM模型結(jié)構(gòu)描述 二維自組織映射神經(jīng)網(wǎng)絡(luò)模型中。所有的輸入信號(hào)xi 與一相應(yīng)的輸入神經(jīng)元相聯(lián)系，每一輸入單元與二維陣列每一個(gè)神經(jīng)元均互連，二維陣列上的神經(jīng)元也稱為輸出單元，每個(gè)輸出單元與其相鄰的神經(jīng)元相連。SOM模型計(jì)算的基本原理 當(dāng)某類模式輸入時(shí)，其輸出層某一神經(jīng)元得到最大刺激而競爭獲勝，同時(shí)該獲勝神經(jīng)元周圍的一些神經(jīng)元也因側(cè)向相互作用而受到較大刺激。這時(shí)，修改這些神

12、經(jīng)元和輸入神經(jīng)元之間的連接權(quán)值。當(dāng)輸入模式發(fā)生變化時(shí)，二維平面上獲勝的輸出神經(jīng)元也發(fā)生改變，通過神經(jīng)網(wǎng)絡(luò)權(quán)值的調(diào)整，使得輸出層特征圖能夠反映輸入樣本的分布情況。SOM模型計(jì)算的基本原理 因此，根據(jù)SOM模型的輸出狀態(tài)，不但能夠判斷輸入模式所屬的類別，并使得輸出神經(jīng)元代表某一模式類別，還能夠得到整個(gè)數(shù)據(jù)區(qū)域的大體分布情況，即從樣本數(shù)據(jù)中獲得數(shù)據(jù)分布的大體本質(zhì)特征。SOM模型的輸入、輸出 同一組輸入信號(hào) x1,x2,xn連接到所有的輸入神經(jīng)元，這組輸入信號(hào)可以用向量表示為：X=(x1，x2，xn)T。輸出神經(jīng)元i與所有輸入神經(jīng)元之間連接的權(quán)向量為：Wi=(wi1，wi2，win)T，相應(yīng)地，輸出神

13、經(jīng)元i的輸出值oi可以寫作：SOM模型學(xué)習(xí)算法概述SOM模型學(xué)習(xí)算法描述初始化 輸入神經(jīng)元與輸出神經(jīng)元連接的所有權(quán)值可以隨機(jī)地選取某一個(gè)較小的值。各個(gè)輸出神經(jīng)元j的鄰接輸出神經(jīng)元集合NEj的選取如圖。NEj(t)表示在時(shí)刻t時(shí)輸出單元j的鄰接單元的集合,它是隨時(shí)間的增長而不斷縮小的。SOM模型學(xué)習(xí)算法描述輸入 輸入單元接受一組新的輸入X=(x1，x2，x3，.，xn) 計(jì)算輸入X和每個(gè)輸出神經(jīng)元連接權(quán)向量Wj之間的距離djSOM模型學(xué)習(xí)算法描述選擇具有最小距離的輸出神經(jīng)元j*作為獲勝結(jié)點(diǎn)。調(diào)整輸出神經(jīng)元j*及其鄰域Nej*(t)內(nèi)的神經(jīng)元所連接的權(quán)值向量。 為學(xué)習(xí)常數(shù)，隨時(shí)間單調(diào)下降。SOM模

14、型的說明假設(shè)樣本輸入和連接權(quán)值都是歸一化的，則選擇最小距離的神經(jīng)元就是選擇具有最大輸出的神經(jīng)元。上面的二維SOM模型可以推廣到更高維映射的情況。SOM模型的特征映射是一種有序的映射，因此它更加適合于進(jìn)行特征提取和特征變換。SOM模型應(yīng)用實(shí)例1二維拓?fù)渑判騿栴}2個(gè)輸入神經(jīng)元；55個(gè)輸出神經(jīng)元；將輸出神經(jīng)元的權(quán)值向量表示出來。觀測有序拓?fù)涞男纬?。SOM模型應(yīng)用實(shí)例2SOM模型在TSP問題求解中的應(yīng)用 網(wǎng)絡(luò)由兩層神經(jīng)元組成，第一層神經(jīng)元相互連接（同時(shí)也和它們自己相連），該層神經(jīng)元之間的權(quán)值由下式給定： 其中： 為兩個(gè)神經(jīng)元之間的距離， 為學(xué)習(xí)常數(shù)。SOM模型應(yīng)用實(shí)例2SOM模型在TSP問題求解中的應(yīng)

15、用 第二層神經(jīng)元和第一層神經(jīng)元之間相互連接，其連接權(quán)值給定為：SOM模型應(yīng)用實(shí)例2求解TSP問題的主要步驟：1、構(gòu)造神經(jīng)網(wǎng)絡(luò) 第一層神經(jīng)元為k個(gè)（假設(shè)有k個(gè)城市），每一神經(jīng)元均和一個(gè)城市的坐標(biāo)值對(duì)應(yīng)。第二層神經(jīng)元為2個(gè)（輸入的是城市的 坐標(biāo)）。將所有的連接權(quán)值初始化為一個(gè)隨機(jī)值。SOM模型應(yīng)用實(shí)例22、送入輸入樣本 將第二層神經(jīng)元的設(shè)置為一個(gè)城市的坐標(biāo)值。 注意：隨機(jī)選擇城市坐標(biāo)輸入。SOM模型應(yīng)用實(shí)例23、選擇競爭獲勝的神經(jīng)元 選取的原則是 SOM模型應(yīng)用實(shí)例24、修改連接權(quán)值 修改第一層中所有神經(jīng)元和第二層神經(jīng)元之間的連接權(quán)值。 其中： 為學(xué)習(xí)參數(shù)。SOM模型應(yīng)用實(shí)例25、降低 和 。重新

16、計(jì)算：6、轉(zhuǎn)2，直至收斂。SOM模型應(yīng)用實(shí)例3圖形可視化 觀測顏色的有序排列。第三節(jié)對(duì)流神經(jīng)網(wǎng)絡(luò)模型（CPN）對(duì)流神經(jīng)網(wǎng)絡(luò)模型概述 CPN是由SOM模型和Grossberg外星網(wǎng)絡(luò)組合而形成的一種神經(jīng)網(wǎng)絡(luò)模型。是由美國Hecht-Nielsen和Robert-Nielsen提出來的。一般認(rèn)為，這種由兩種或多種網(wǎng)絡(luò)組合而成的新型網(wǎng)絡(luò)往往具有比原網(wǎng)絡(luò)模型更強(qiáng)的能力，它能夠克服單個(gè)網(wǎng)絡(luò)的缺陷，而且學(xué)習(xí)時(shí)間較短。CPN網(wǎng)絡(luò)的結(jié)構(gòu)CPN模型的學(xué)習(xí)算法學(xué)習(xí)的樣本是向量對(duì)： (A1,B1)、(A2,B2)、(An,Bn)競爭層訓(xùn)練階段： 訓(xùn)練SOM模型，實(shí)質(zhì)是提取特征。Grossberg層訓(xùn)練階段： 訓(xùn)練的目的，是為了形成正確的聯(lián)想。CPN網(wǎng)絡(luò)模型的訓(xùn)練Grossberg層訓(xùn)練方法 假設(shè)競爭層的輸出分別是z1、z2、zn。則Grossberg層第i個(gè)神經(jīng)元Gi的輸出為：CPN網(wǎng)絡(luò)模型的訓(xùn)練Grossberg層