第08講自組織競爭人工神經(jīng)網(wǎng)絡(luò)zoujiang@鄒江第08講自組織競爭人工神經(jīng)網(wǎng)絡(luò)zoujiang@pub1在實際的神經(jīng)網(wǎng)絡(luò)中，比如人的視網(wǎng)膜中，存在著一種“側(cè)抑制”現(xiàn)象，即一個神經(jīng)細(xì)胞興奮后，通過它的分支會對周圍其他神經(jīng)細(xì)胞產(chǎn)生抑制。自組織競爭人工神經(jīng)網(wǎng)絡(luò)正是基于上述生物結(jié)構(gòu)和現(xiàn)象形成的。它能夠?qū)斎肽Ｊ竭M(jìn)行自組織訓(xùn)練和判斷，并將其最終分為不同的類型。與BP網(wǎng)絡(luò)相比，這種自組織自適應(yīng)的學(xué)習(xí)能力進(jìn)一步拓寬了人工神經(jīng)網(wǎng)絡(luò)在模式識別、分類方面的應(yīng)用，另一方面，競爭學(xué)習(xí)網(wǎng)絡(luò)的核心——競爭層，又是許多種其他神經(jīng)網(wǎng)絡(luò)模型的重要組成部分。在實際的神經(jīng)網(wǎng)絡(luò)中，比如人的視網(wǎng)膜中，存在著一種“側(cè)抑制”現(xiàn)28．1幾種聯(lián)想學(xué)習(xí)規(guī)則格勞斯貝格(S．Grossberg)提出了兩種類型的神經(jīng)元模型：內(nèi)星與外星，用以來解釋人類及動物的學(xué)習(xí)現(xiàn)象。內(nèi)星可以被訓(xùn)練來識別矢量；外星可以被訓(xùn)練來產(chǎn)生矢量。8．1幾種聯(lián)想學(xué)習(xí)規(guī)則格勞斯貝格(S．Grossberg)3圖8.1格勞斯貝格內(nèi)星模型圖內(nèi)星是通過聯(lián)接權(quán)矢量W接受一組輸入信號P圖8.1格勞斯貝格內(nèi)星模型圖內(nèi)星是通過聯(lián)接權(quán)矢量W接受4圖8．2格勞斯貝格外星模型圖外星則是通過聯(lián)接權(quán)矢量向外輸出一組信號A。它們之所以被稱為內(nèi)星和外星，主要是因為其網(wǎng)絡(luò)的結(jié)構(gòu)像星形，且內(nèi)星的信號流向星的內(nèi)部；而外星的信號流向星的外部。圖8．2格勞斯貝格外星模型圖外星則是通過聯(lián)接權(quán)矢量向外58．1．1內(nèi)星學(xué)習(xí)規(guī)則實現(xiàn)內(nèi)星輸入／輸出轉(zhuǎn)換的激活函數(shù)是硬限制函數(shù)?？梢酝ㄟ^內(nèi)星及其學(xué)習(xí)規(guī)則來訓(xùn)練某一神經(jīng)元節(jié)點只響應(yīng)特定的輸入矢量P，它是借助于調(diào)節(jié)網(wǎng)絡(luò)權(quán)矢量W近似于輸入矢量P來實現(xiàn)的。單內(nèi)星中對權(quán)值修正的格勞斯貝格內(nèi)星學(xué)習(xí)規(guī)則為：(8．1)由(8．1)式可見，內(nèi)星神經(jīng)元聯(lián)接強(qiáng)度的變化Δw1j是與輸出成正比的。如果內(nèi)星輸出a被某一外部方式而維護(hù)高值時，那么通過不斷反復(fù)地學(xué)習(xí)，權(quán)值將能夠逐漸趨近于輸入矢量pj的值，并趨使Δw1j逐漸減少，直至最終達(dá)到w1j＝pj，從而使內(nèi)星權(quán)矢量學(xué)習(xí)了輸入矢量P，達(dá)到了用內(nèi)星來識別一個矢量的目的。另一方面，如果內(nèi)星輸出保持為低值時，網(wǎng)絡(luò)權(quán)矢量被學(xué)習(xí)的可能性較小，甚至不能被學(xué)習(xí)。8．1．1內(nèi)星學(xué)習(xí)規(guī)則單內(nèi)星中對權(quán)值修正的格勞斯貝格內(nèi)星學(xué)習(xí)6現(xiàn)在來考慮當(dāng)不同的輸入矢量p1和p2分別出現(xiàn)在同一內(nèi)星時的情況。首先，為了訓(xùn)練的需要，必須將每一輸入矢量都進(jìn)行單位歸一化處理。當(dāng)?shù)谝粋€矢量p1輸入給內(nèi)星后，網(wǎng)絡(luò)經(jīng)過訓(xùn)練，最終達(dá)到W＝(p1)T。此后，給內(nèi)星輸入另一個輸入矢量p2，此時內(nèi)星的加權(quán)輸入和為新矢量p2與已學(xué)習(xí)過矢量p1的點積，即：因為輸入矢量的模已被單位化為1，所以內(nèi)星的加權(quán)輸入和等于輸入矢量p1和p2之間夾角的余弦?，F(xiàn)在來考慮當(dāng)不同的輸入矢量p1和p2分別出現(xiàn)在同一內(nèi)星時的情7根據(jù)不同的情況，內(nèi)星的加權(quán)輸入和可分為如下幾種情況：1)p2等于p1，即有θ12＝0，此時，內(nèi)星加權(quán)輸入和為1； 2)p2不等于p1，內(nèi)星加權(quán)輸入和為0； 3)當(dāng)p2＝-p1，即θ12＝180°時，內(nèi)星加權(quán)輸入和達(dá)到最小值-1。由此可見，對于一個已訓(xùn)練過的內(nèi)星網(wǎng)絡(luò)，當(dāng)輸入端再次出現(xiàn)該學(xué)習(xí)過的輸入矢量時，內(nèi)星產(chǎn)生1的加權(quán)輸入和；而與學(xué)習(xí)過的矢量不相同的輸入出現(xiàn)時，所產(chǎn)生的加權(quán)輸入和總是小于1。當(dāng)多個相似輸入矢量輸入內(nèi)星，最終的訓(xùn)練結(jié)果是使網(wǎng)絡(luò)的權(quán)矢量趨向于相似輸入矢量的平均值。根據(jù)不同的情況，內(nèi)星的加權(quán)輸入和可分為如下幾種情況：8內(nèi)星網(wǎng)絡(luò)中的相似度是由偏差b來控制，由設(shè)計者在訓(xùn)練前選定，典型的相似度值為b＝-0.95，這意味著輸入矢量與權(quán)矢量之間的夾角小于18°48’。若選b＝-0.9時，則其夾角擴(kuò)大為25°48’。一層具有s個神經(jīng)元的內(nèi)星，可以用相似的方式進(jìn)行訓(xùn)練，權(quán)值修正公式為：MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中內(nèi)星學(xué)習(xí)規(guī)則的執(zhí)行是用函數(shù)learnis.m來完成上述權(quán)矢量的修正過程：dW＝1earnis(W，P，A，lr)；W=W十dW；內(nèi)星網(wǎng)絡(luò)中的相似度是由偏差b來控制，由設(shè)計者在訓(xùn)練前選定，典9[例8.1]設(shè)計內(nèi)星網(wǎng)絡(luò)進(jìn)行以下矢量的分類辨識：我們首先對網(wǎng)絡(luò)進(jìn)行初始化處理：[R，Q]＝size(P)；[S，Q]＝size(T)；W＝zeros(S，R)；B＝-0.95*ones(S，1)；max-epoch＝10；lr＝0.7；so81.m[例8.1]設(shè)計內(nèi)星網(wǎng)絡(luò)進(jìn)行以下矢量的分類辨識：我們首先對108．1．2外星學(xué)習(xí)規(guī)則外星網(wǎng)絡(luò)的激活函數(shù)是線性函數(shù)，它被用來學(xué)習(xí)回憶一個矢量，其網(wǎng)絡(luò)輸入P也可以是另一個神經(jīng)元模型的輸出。外星被訓(xùn)練來在一層s個線性神經(jīng)元的輸出端產(chǎn)生一個特別的矢量A。對于一個外星，其學(xué)習(xí)規(guī)則為：與內(nèi)星不同，外星聯(lián)接強(qiáng)度的變化Δw是與輸入矢量P成正比的。這意味著當(dāng)輸入矢量被保持高值，比如接近1時，每個權(quán)值wij將趨于輸出ai值，若pj＝1，則外星使權(quán)值產(chǎn)生輸出矢量。當(dāng)輸入矢量pj為0時，網(wǎng)絡(luò)權(quán)值得不到任何學(xué)習(xí)與修正。8．1．2外星學(xué)習(xí)規(guī)則與內(nèi)星不同，外星聯(lián)接強(qiáng)度的變化Δw是與11當(dāng)有r個外星相并聯(lián)，每個外星與s個線性神經(jīng)元相連組成一層外星時，其權(quán)值修正方式為：其中：W＝s×r權(quán)值列矢量；lr＝學(xué)習(xí)速率；A＝s×q外星輸出；P＝r×q外星輸入。MATLAB工具箱中實現(xiàn)外星學(xué)習(xí)與設(shè)計的函數(shù)為learnos.m，其調(diào)用過程如下：dW＝learnos(W，A，P，lr)；W＝W十dW；當(dāng)有r個外星相并聯(lián)，每個外星與s個線性神經(jīng)元相連組成一層外星12[例8．2]下面有兩元素的輸入矢量以及與它們相關(guān)的四元素目標(biāo)矢量，試設(shè)計一個外星網(wǎng)絡(luò)實現(xiàn)有效的矢量的獲得，外星沒有偏差。P＝[10]；T＝[0.1826 0.6325；0.3651 0.3162；0.5477 0.3162；0.7303 0.6325]；[例8．2]下面有兩元素的輸入矢量以及與它們相關(guān)的四元素目標(biāo)138．1．3科荷倫學(xué)習(xí)規(guī)則科荷倫學(xué)習(xí)規(guī)則是由內(nèi)星規(guī)則發(fā)展而來的?？坪蓚愐?guī)則為：科荷倫學(xué)習(xí)規(guī)則實際上是內(nèi)星學(xué)習(xí)規(guī)則的一個特例，但它比采用內(nèi)星規(guī)則進(jìn)行網(wǎng)絡(luò)設(shè)計要節(jié)省更多的學(xué)習(xí)，因而常常用來替代內(nèi)星學(xué)習(xí)規(guī)則。8．1．3科荷倫學(xué)習(xí)規(guī)則科荷倫學(xué)習(xí)規(guī)則實際上是內(nèi)星學(xué)習(xí)規(guī)則的14在MATLAB工具箱中，在調(diào)用科荷倫學(xué)習(xí)規(guī)則函數(shù)learnk.m時，一般通過先尋找輸出為1的行矢量i，然后僅對與i相連的權(quán)矩陣進(jìn)行修正。使用方法如下：i＝find(A==1)；dW＝learnk(W，P，i，1r)；W＝W十dW；一般情況下科荷倫學(xué)習(xí)規(guī)則比內(nèi)星學(xué)習(xí)規(guī)則能夠提高訓(xùn)練速度1到2個數(shù)量級。在MATLAB工具箱中，在調(diào)用科荷倫學(xué)習(xí)規(guī)則函數(shù)learnk158．2自組織競爭網(wǎng)絡(luò)8．2．1網(wǎng)絡(luò)結(jié)構(gòu)競爭網(wǎng)絡(luò)由單層神經(jīng)元網(wǎng)絡(luò)組成，其輸入節(jié)點與輸出節(jié)點之間為全互聯(lián)結(jié)。因為網(wǎng)絡(luò)在學(xué)習(xí)中的競爭特性也表現(xiàn)在輸出層上，所以在競爭網(wǎng)絡(luò)中把輸出層又稱為競爭層，而與輸入節(jié)點相連的權(quán)值及其輸入合稱為輸入層。8．2自組織競爭網(wǎng)絡(luò)8．2．1網(wǎng)絡(luò)結(jié)構(gòu)16從網(wǎng)絡(luò)的結(jié)構(gòu)圖中可以看出，自組織競爭網(wǎng)絡(luò)的權(quán)值有兩類：一類是輸入節(jié)點j到i的權(quán)值wij(i＝1，2…、s；j＝1，2…、r)，這些權(quán)值是通過訓(xùn)練可以被調(diào)整的；另一類是競爭層中互相抑制的權(quán)值wik(k＝1，2…、s)。這類權(quán)值是固定不變的，且它滿足一定的分布關(guān)系。它們是一種對稱權(quán)值，即有wik＝wki，同時相同神經(jīng)元之間的權(quán)值起加強(qiáng)的作用，即滿足w11＝w11＝…＝wkk＞0，而不同神經(jīng)元之間的權(quán)值相互抑制，對于k≠i有wij＜0。從網(wǎng)絡(luò)的結(jié)構(gòu)圖中可以看出，自組織競爭網(wǎng)絡(luò)的權(quán)值有兩類：17設(shè)網(wǎng)絡(luò)的輸入矢量為：P＝[ p1p2…pr]T；對應(yīng)網(wǎng)絡(luò)的輸出矢量為：A＝[a1a2…as]T。由于競爭網(wǎng)絡(luò)中含有兩種權(quán)值，所以其激活函數(shù)的加權(quán)輸入和也分為兩部分：來自輸入節(jié)點的加權(quán)輸入和N與來自競爭層內(nèi)互相抑制的加權(quán)輸入和G。對于第i個神經(jīng)元有：1)來自輸入節(jié)點的加權(quán)輸入和為：2)來自競爭層內(nèi)互相抑制的加權(quán)輸入和為：設(shè)網(wǎng)絡(luò)的輸入矢量為：P＝[ p1p2…pr]T；2)來18a)如果在競爭后，第i個節(jié)點“贏”了，則有：而其他所有節(jié)點的輸出均為零，即：此時b)如果在競爭后，第i個節(jié)點“輸”了，而“贏”的節(jié)點為l，則有：此時a)如果在競爭后，第i個節(jié)點“贏”了，則有：而其他所有節(jié)點的19所以對整個網(wǎng)絡(luò)的加權(quán)輸入總和有下式成立：sl=nl+wll

對于“贏”的節(jié)點lsi=ni-|wii| 對于所有”輸“的節(jié)點i＝1，2…s，i≠l由此可以看出，經(jīng)過競爭后只有獲勝的那個節(jié)點的加權(quán)輸入總和為最大。競爭網(wǎng)絡(luò)的輸出為：在判斷競爭網(wǎng)絡(luò)節(jié)點勝負(fù)的結(jié)果時，可直接采用ni，即：所以對整個網(wǎng)絡(luò)的加權(quán)輸入總和有下式成立：在判斷競爭網(wǎng)絡(luò)節(jié)點勝20取偏差B為零是判定競爭網(wǎng)絡(luò)獲勝節(jié)點時的典型情況，偶而也采用下式進(jìn)行競爭結(jié)果的判定：通過上面分析，可以將競爭網(wǎng)絡(luò)的工作原理總結(jié)如下：競爭網(wǎng)絡(luò)的激活函數(shù)使加權(quán)輸入和為最大的節(jié)點贏得輸出為1，而其他神經(jīng)元的輸出皆為0。這個競爭過程可用MATLAB描述如下：取偏差B為零是判定競爭網(wǎng)絡(luò)獲勝節(jié)點時的典型情況，偶而也采用下21n＝W*P；[S，Q]＝size(n)；x＝n+b*ones(1，Q)；y＝max(x)；forq＝1：Q ％找出最大加權(quán)輸入和y(q)所在的行； s＝find(x(:,q)＝y(tǒng)(q))； ％令元素a(z，q)＝1，其他值為零； a(z(1)，q)＝1； end這個競爭過程的程序已被包含在競爭激活函數(shù)compet.m之中，A＝compet(W*P，B)；n＝W*P；這個競爭過程的程序已被包含在競爭激活函數(shù)comp228．2．2競爭學(xué)習(xí)規(guī)則競爭網(wǎng)絡(luò)在經(jīng)過競爭而求得獲勝節(jié)點后，則對與獲勝節(jié)點相連的權(quán)值進(jìn)行調(diào)整，調(diào)整權(quán)值的目的是為了使權(quán)值與其輸入矢量之間的差別越來越小，從而使訓(xùn)練后的競爭網(wǎng)絡(luò)的權(quán)值能夠代表對應(yīng)輸入矢量的特征，把相似的輸入矢量分成了同一類，并由輸出來指示所代表的類別。競爭網(wǎng)絡(luò)修正權(quán)值的公式為：式中l(wèi)r為學(xué)習(xí)速率，且0＜lr＜1，一般的取值范圍為0.01-0.3；pj為經(jīng)過歸一化處理后的輸入。8．2．2競爭學(xué)習(xí)規(guī)則競爭網(wǎng)絡(luò)在經(jīng)過競爭而求得獲勝節(jié)點后，23用MATLAB工具箱來實現(xiàn)上述公式的過程可以用內(nèi)星學(xué)習(xí)規(guī)則：A＝compet(W*P)；dW＝learnis(P，A，lr，W)；W＝W十dW；更省時地是采用科荷倫學(xué)習(xí)規(guī)則如下：A＝compet(W*P)；i＝find(A==1)；dW＝learnis(P，i，lr，W)；W＝W十dW；不論采用哪種學(xué)習(xí)方法，層中每個最接近輸入矢量的神經(jīng)元，通過每次權(quán)值調(diào)整而使權(quán)值矢量逐漸趨于這些輸入矢量。從而競爭網(wǎng)絡(luò)通過學(xué)習(xí)而識別了在網(wǎng)絡(luò)輸入端所出現(xiàn)的矢量，并將其分為某一類。用MATLAB工具箱來實現(xiàn)上述公式的過程可以用內(nèi)星學(xué)習(xí)規(guī)則：248．2．3競爭網(wǎng)絡(luò)的訓(xùn)練過程競爭網(wǎng)絡(luò)的學(xué)習(xí)和訓(xùn)練過程，實際上是對輸入矢量的劃分聚類過程，使得獲勝節(jié)點與輸入矢量之間的權(quán)矢量代表獲勝輸入矢量。這樣，當(dāng)達(dá)到最大循環(huán)的值后，網(wǎng)絡(luò)已重復(fù)多次訓(xùn)練了P中的所有矢量，訓(xùn)練結(jié)束后，對于用于訓(xùn)練的模式P，其網(wǎng)絡(luò)輸出矢量中，其值為1的代表一種類型，而每類的典型模式值由該輸出節(jié)點與輸入節(jié)點相連的權(quán)矢量表示。競爭網(wǎng)絡(luò)的輸入層節(jié)點r是由已知輸入矢量決定的，但競爭層的神經(jīng)元數(shù)s是由設(shè)計者確定的，一般情況下，可以根據(jù)輸入矢量的維數(shù)及其估計，再適當(dāng)?shù)卦黾有?shù)目來確定。8．2．3競爭網(wǎng)絡(luò)的訓(xùn)練過程25另外還要事先確定的參數(shù)有：學(xué)習(xí)速率和最大循環(huán)次數(shù)。競爭網(wǎng)絡(luò)的訓(xùn)練是在達(dá)到最大循環(huán)次數(shù)后停止，這個數(shù)一般可取輸入矢量數(shù)組的15—20倍，即使每組輸入矢量能夠在網(wǎng)絡(luò)重復(fù)出現(xiàn)15~20次。競爭網(wǎng)絡(luò)的權(quán)值要進(jìn)行隨機(jī)歸一化的初始化處理，這個過程在MATLAB中用函數(shù)randnr.m實現(xiàn)：w＝randnr(S，R)；然后網(wǎng)絡(luò)則可以進(jìn)入競爭以及權(quán)值的調(diào)整階段。網(wǎng)絡(luò)的訓(xùn)練全過程完全由計算機(jī)去做，工具箱中的競爭網(wǎng)絡(luò)訓(xùn)練函數(shù)為trainc.m，它的用法如下：另外還要事先確定的參數(shù)有：學(xué)習(xí)速率和最大循環(huán)次數(shù)。競爭網(wǎng)絡(luò)的26競爭網(wǎng)絡(luò)比較適合用于具有大批相似數(shù)組的分類問題。競爭學(xué)習(xí)網(wǎng)絡(luò)的局限性：競爭網(wǎng)絡(luò)適用于當(dāng)具有典型聚類特性的大量數(shù)據(jù)的辨識，但當(dāng)遇到大量的具有概率分布的輸入矢量時，競爭網(wǎng)絡(luò)就無能為力了，這時可以采用科荷倫網(wǎng)絡(luò)來解決。競爭網(wǎng)絡(luò)比較適合用于具有大批相似數(shù)組的分類問題。278．3科荷倫自組織映射網(wǎng)絡(luò)神經(jīng)細(xì)胞模型中還存在著一種細(xì)胞聚類的功能柱。它是由多個細(xì)胞聚合而成的，在接受外界刺激后，它們會自動形成。一個功能柱中的細(xì)胞完成同一種功能。當(dāng)外界輸入不同的樣本到科荷倫自組織映射網(wǎng)絡(luò)中，一開始時輸入樣本引起輸出興奮的位置各不相同，但通過網(wǎng)絡(luò)自組織后會形成一些輸出群，它們分別代表了輸入樣本的分布，反映了輸入樣本的圖形分布特征，所以科荷倫網(wǎng)絡(luò)常常被稱為特性圖。8．3科荷倫自組織映射網(wǎng)絡(luò)神經(jīng)細(xì)胞模型中還存在著一種細(xì)胞聚28科荷倫網(wǎng)絡(luò)使輸入樣本通過競爭學(xué)習(xí)后，功能相同的輸入靠得比較近，不同的分得比較開，以此將一些無規(guī)則的輸入自動排開，在聯(lián)接權(quán)的調(diào)整過程中，使權(quán)的分布與輸入樣本的概率密度分布相似。所以科荷倫網(wǎng)絡(luò)可以作為一種樣本特征檢測器，在樣本排序、樣本分類以及樣本檢測方面有廣泛地應(yīng)用。一般可以這樣說，科荷倫網(wǎng)絡(luò)的權(quán)矢量收斂到所代表的輸入矢量的平均值，它反映了輸入數(shù)據(jù)的統(tǒng)計特性。當(dāng)隨機(jī)樣本輸入到科荷倫網(wǎng)絡(luò)時，如果樣本足夠多，那么在權(quán)值分布上可近似于輸入隨機(jī)樣本的概率密度分布，在輸出神經(jīng)元上也反映了這種分布，即概率大的樣本集中在輸出空間的某一個區(qū)域或各個不同的區(qū)域?？坪蓚惥W(wǎng)絡(luò)使輸入樣本通過競爭學(xué)習(xí)后，功能相同的輸入靠得比較近298．3．1科荷倫網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)科荷倫網(wǎng)絡(luò)結(jié)構(gòu)也是兩層：輸入層和競爭層。與基本競爭網(wǎng)絡(luò)不同之處是其競爭層可以由一維或二維網(wǎng)絡(luò)矩陣方式組成，且權(quán)值修正的策略也不同。1)一維網(wǎng)絡(luò)結(jié)構(gòu)與基本競爭學(xué)習(xí)網(wǎng)絡(luò)相同；2)二維網(wǎng)絡(luò)結(jié)構(gòu)：圖8.6二維科荷倫網(wǎng)絡(luò)結(jié)構(gòu)圖8．3．1科荷倫網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)圖8.6二維科荷倫網(wǎng)絡(luò)結(jié)構(gòu)圖30圖8.7二維神經(jīng)元層示意圖科荷倫網(wǎng)絡(luò)的激活函數(shù)為二值型函數(shù)。一般情況下b值固定，其學(xué)習(xí)方法與普通的競爭學(xué)習(xí)算法相同。在競爭層，每個神經(jīng)元都有自己的鄰域。一個直徑為1的鄰域包括主神經(jīng)元及它的直接周圍神經(jīng)元所組成的區(qū)域；直徑為2的鄰域包括直徑1的神經(jīng)元以及它們的鄰域。圖8.7二維神經(jīng)元層示意圖科荷倫網(wǎng)絡(luò)的激活函數(shù)為二值型函31圖8．8二維網(wǎng)絡(luò)鄰域形狀在MATLAB工具箱中有一個求獲勝神經(jīng)元的鄰域的函數(shù)：在二維競爭層中，鄰域函數(shù)為neighb2d.m。函數(shù)neighb2d.m的用法如下：Np=[xy]；in＝neighb2d(i,Np,N)；

圖8．8二維網(wǎng)絡(luò)鄰域形狀在MATLAB工具箱中有一個求獲勝32對于一維競爭層，其中的鄰層函數(shù)為叫neighb1d.m，確定競爭層大小的參數(shù)就是神經(jīng)元數(shù)S，即Np=[S]；in＝neighb1d(i，Np，N)；8．3．2網(wǎng)絡(luò)的訓(xùn)練過程訓(xùn)練設(shè)計步驟(適用于輸入矢量P具有某種概率分布的數(shù)組)：(1)初始化1)由輸入矢量確定網(wǎng)絡(luò)結(jié)構(gòu)：[R,Q]＝size(P)；2)設(shè)置網(wǎng)絡(luò)競爭層神經(jīng)元節(jié)點：一維S或二維的寬X和高Y，S＝X*Y；3)將輸入模式P作歸一化處理：P＝normc(P);4)歸一隨機(jī)化處理初始權(quán)值：W＝rands(S,R)*0.1；并設(shè)置：對于一維競爭層，其中的鄰層函數(shù)為叫neighb1d.m，確定335)最大循環(huán)次數(shù)(此數(shù)根據(jù)輸入數(shù)據(jù)的數(shù)目而乘一個倍數(shù)所得)：max_cycle6)基本學(xué)習(xí)速率lr：一般取0.01~0.3，視具體情況而定；7)最大鄰層數(shù)max_neighb:

一維max_neighb＝S-1； 二維max_neighb＝max([XY])-1；(2)循環(huán)訓(xùn)練forcycle=1:max_cycle1)學(xué)習(xí)速率是線性下降的：x＝cycle/max_cycle;LR＝(1—x)*lr；這使得學(xué)習(xí)速率隨著循環(huán)次數(shù)的增加，從lr*(max_cycle-1)/max_cycle逐漸降至0；2)鄰層數(shù)也是遞減的：n=max([ceil(max_neighb*(1-x*4))1])；5)最大循環(huán)次數(shù)(此數(shù)根據(jù)輸入數(shù)據(jù)的數(shù)目而乘一個倍數(shù)所得)343)計算輸入矢量加權(quán)和，并通過競爭求出獲勝節(jié)點A＝compet(W*P)；4)根據(jù)獲勝節(jié)點求出相鄰層(以二維為例)，并進(jìn)行權(quán)值修正：i=find(A＝＝1)；in=neighb2d(i,[X,Y],n);dW＝learn(W,P,in,LR)W＝W+dw；(3)輸出或顯示結(jié)果。MATLAB工具箱中用于訓(xùn)練設(shè)計科荷倫網(wǎng)絡(luò)權(quán)矢量的函數(shù)為trainfm.m，它能執(zhí)行上述的訓(xùn)練步驟的全過程。3)計算輸入矢量加權(quán)和，并通過競爭求出獲勝節(jié)點35最大鄰域數(shù)應(yīng)設(shè)置為層的最大直徑數(shù)減去l。例如，對一維特性圖max_neighb應(yīng)為S-1；對二維特性圖，其層神經(jīng)元寬為X高為Y時，max_neighb應(yīng)當(dāng)?shù)扔趦烧咧械妮^大值減去1。函數(shù)trainfm.m的訓(xùn)練開始于學(xué)習(xí)速度lr和最大鄰域max_neighb，然后，其學(xué)習(xí)速率線性地遞減，以致于最后的訓(xùn)練周期里的學(xué)習(xí)速率為0。鄰域數(shù)也是線性地減少，但在達(dá)到四分之一訓(xùn)練周期后，其值保持為最大值1直到最終訓(xùn)練結(jié)束。給定一個特性圖的權(quán)矩陣W，它的鄰域函數(shù)F(作為一個字符串)，以及競爭層大小Np，可以用函數(shù)plotmap.m畫出特性圖。最大鄰域數(shù)應(yīng)設(shè)置為層的最大直徑數(shù)減去l。例如，對一維特性圖m368.4對傳網(wǎng)絡(luò)對傳網(wǎng)絡(luò)(CounterPropagationNetwork，簡稱CPN)是美國學(xué)者Hechi-Nielson在1987年首次提出的。從結(jié)構(gòu)上看，CPN是一種層次結(jié)構(gòu)的網(wǎng)絡(luò)，實際上，CPN是把兩種著名的網(wǎng)絡(luò)算法：科荷倫自組織映射理論與格勞斯貝格外星算法組合起來而形成的網(wǎng)絡(luò)。8．4．1網(wǎng)絡(luò)結(jié)構(gòu)CPN網(wǎng)絡(luò)為兩層結(jié)構(gòu)：第一層為科荷倫層，采用無指導(dǎo)的訓(xùn)練方法對輸入數(shù)據(jù)進(jìn)行自組織競爭的分類或壓縮，第二層稱為格勞斯貝格層。第一層的激活函數(shù)為二值型硬函數(shù)，而第二層為線性激活函數(shù)。8.4對傳網(wǎng)絡(luò)對傳網(wǎng)絡(luò)(CounterPropagat371)對于科荷倫層的輸出有：2)對于格勞斯貝格層，具有目標(biāo)矢量G，此時，從前層輸出的K為它的輸入，輸出為：CPN的網(wǎng)絡(luò)結(jié)構(gòu)如圖8.9所示：1)對于科荷倫層的輸出有：2)對于格勞斯貝格層，具有目標(biāo)矢量388．4．2學(xué)習(xí)法則1)在科荷倫層，通過競爭對獲勝節(jié)點采用科荷倫規(guī)則調(diào)整與其相連的權(quán)矢量：2)在格勞斯貝格層，對與在科荷倫層輸出為1的輸入相連的權(quán)值進(jìn)行如下的調(diào)整：8．4．2學(xué)習(xí)法則2)在格勞斯貝格層，對與在科荷倫層輸出為1398．4．3訓(xùn)練過程1)初始化：歸一化處理輸入、目標(biāo)矢量P和G；對權(quán)矢量W1和W2進(jìn)行歸一化隨機(jī)取值；選取最大循環(huán)次數(shù)、學(xué)習(xí)速率lr1和lr2。2)科荷倫層的無指導(dǎo)訓(xùn)練過程：重復(fù)對輸入的樣本進(jìn)行競爭計算，對獲勝的科荷倫層獲勝節(jié)點按科荷倫法對與其連接的權(quán)矢量進(jìn)行修正；3)格勞斯貝格層有指導(dǎo)的訓(xùn)練過程：尋找層輸入為1的節(jié)點，并對與該節(jié)點相連的權(quán)矢量進(jìn)行修正；4)檢查最大循環(huán)的數(shù)是否達(dá)到，是，則停止訓(xùn)練，否，則轉(zhuǎn)入2)。經(jīng)過充分訓(xùn)練后的CPN可使其科荷倫層的權(quán)矢量收斂到相似輸入矢量的平均值，而使格勞斯貝格層權(quán)向量收斂到目標(biāo)矢量的平均值。8．4．3訓(xùn)練過程40當(dāng)CPN訓(xùn)練后工作時，只要對網(wǎng)絡(luò)輸入一矢量X，則在科荷倫層經(jīng)過競爭后產(chǎn)生獲勝節(jié)點，并在格勞斯貝格層使獲勝節(jié)點所產(chǎn)生的信息向前傳送，在輸出端得到輸出矢量Y，這種由矢量X得到矢量Y的過程有時也稱為異聯(lián)想，更廣泛地說，它實現(xiàn)了一種計算過程。當(dāng)訓(xùn)練CPN使其格勞斯貝格層的目標(biāo)矢量G等于科荷倫層的輸入矢量P時，則可實現(xiàn)數(shù)據(jù)壓縮。具體做法是：首先是訓(xùn)練CPN使其G=P，然后，將輸入數(shù)據(jù)輸入CPN，在科荷倫層輸出得到0，1數(shù)據(jù)，這些數(shù)據(jù)為輸入的壓縮碼。解碼時，將在科荷倫層壓縮的0，1碼送入格勞斯貝格層，在其輸出端對應(yīng)得到解壓縮的矢量。當(dāng)CPN訓(xùn)練后工作時，只要對網(wǎng)絡(luò)輸入一矢量X，則在科荷倫層經(jīng)41第08講自組織競爭人工神經(jīng)網(wǎng)絡(luò)zoujiang@鄒江第08講自組織競爭人工神經(jīng)網(wǎng)絡(luò)zoujiang@pub42在實際的神經(jīng)網(wǎng)絡(luò)中，比如人的視網(wǎng)膜中，存在著一種“側(cè)抑制”現(xiàn)象，即一個神經(jīng)細(xì)胞興奮后，通過它的分支會對周圍其他神經(jīng)細(xì)胞產(chǎn)生抑制。自組織競爭人工神經(jīng)網(wǎng)絡(luò)正是基于上述生物結(jié)構(gòu)和現(xiàn)象形成的。它能夠?qū)斎肽Ｊ竭M(jìn)行自組織訓(xùn)練和判斷，并將其最終分為不同的類型。與BP網(wǎng)絡(luò)相比，這種自組織自適應(yīng)的學(xué)習(xí)能力進(jìn)一步拓寬了人工神經(jīng)網(wǎng)絡(luò)在模式識別、分類方面的應(yīng)用，另一方面，競爭學(xué)習(xí)網(wǎng)絡(luò)的核心——競爭層，又是許多種其他神經(jīng)網(wǎng)絡(luò)模型的重要組成部分。在實際的神經(jīng)網(wǎng)絡(luò)中，比如人的視網(wǎng)膜中，存在著一種“側(cè)抑制”現(xiàn)438．1幾種聯(lián)想學(xué)習(xí)規(guī)則格勞斯貝格(S．Grossberg)提出了兩種類型的神經(jīng)元模型：內(nèi)星與外星，用以來解釋人類及動物的學(xué)習(xí)現(xiàn)象。內(nèi)星可以被訓(xùn)練來識別矢量；外星可以被訓(xùn)練來產(chǎn)生矢量。8．1幾種聯(lián)想學(xué)習(xí)規(guī)則格勞斯貝格(S．Grossberg)44圖8.1格勞斯貝格內(nèi)星模型圖內(nèi)星是通過聯(lián)接權(quán)矢量W接受一組輸入信號P圖8.1格勞斯貝格內(nèi)星模型圖內(nèi)星是通過聯(lián)接權(quán)矢量W接受45圖8．2格勞斯貝格外星模型圖外星則是通過聯(lián)接權(quán)矢量向外輸出一組信號A。它們之所以被稱為內(nèi)星和外星，主要是因為其網(wǎng)絡(luò)的結(jié)構(gòu)像星形，且內(nèi)星的信號流向星的內(nèi)部；而外星的信號流向星的外部。圖8．2格勞斯貝格外星模型圖外星則是通過聯(lián)接權(quán)矢量向外468．1．1內(nèi)星學(xué)習(xí)規(guī)則實現(xiàn)內(nèi)星輸入／輸出轉(zhuǎn)換的激活函數(shù)是硬限制函數(shù)?？梢酝ㄟ^內(nèi)星及其學(xué)習(xí)規(guī)則來訓(xùn)練某一神經(jīng)元節(jié)點只響應(yīng)特定的輸入矢量P，它是借助于調(diào)節(jié)網(wǎng)絡(luò)權(quán)矢量W近似于輸入矢量P來實現(xiàn)的。單內(nèi)星中對權(quán)值修正的格勞斯貝格內(nèi)星學(xué)習(xí)規(guī)則為：(8．1)由(8．1)式可見，內(nèi)星神經(jīng)元聯(lián)接強(qiáng)度的變化Δw1j是與輸出成正比的。如果內(nèi)星輸出a被某一外部方式而維護(hù)高值時，那么通過不斷反復(fù)地學(xué)習(xí)，權(quán)值將能夠逐漸趨近于輸入矢量pj的值，并趨使Δw1j逐漸減少，直至最終達(dá)到w1j＝pj，從而使內(nèi)星權(quán)矢量學(xué)習(xí)了輸入矢量P，達(dá)到了用內(nèi)星來識別一個矢量的目的。另一方面，如果內(nèi)星輸出保持為低值時，網(wǎng)絡(luò)權(quán)矢量被學(xué)習(xí)的可能性較小，甚至不能被學(xué)習(xí)。8．1．1內(nèi)星學(xué)習(xí)規(guī)則單內(nèi)星中對權(quán)值修正的格勞斯貝格內(nèi)星學(xué)習(xí)47現(xiàn)在來考慮當(dāng)不同的輸入矢量p1和p2分別出現(xiàn)在同一內(nèi)星時的情況。首先，為了訓(xùn)練的需要，必須將每一輸入矢量都進(jìn)行單位歸一化處理。當(dāng)?shù)谝粋€矢量p1輸入給內(nèi)星后，網(wǎng)絡(luò)經(jīng)過訓(xùn)練，最終達(dá)到W＝(p1)T。此后，給內(nèi)星輸入另一個輸入矢量p2，此時內(nèi)星的加權(quán)輸入和為新矢量p2與已學(xué)習(xí)過矢量p1的點積，即：因為輸入矢量的模已被單位化為1，所以內(nèi)星的加權(quán)輸入和等于輸入矢量p1和p2之間夾角的余弦?，F(xiàn)在來考慮當(dāng)不同的輸入矢量p1和p2分別出現(xiàn)在同一內(nèi)星時的情48根據(jù)不同的情況，內(nèi)星的加權(quán)輸入和可分為如下幾種情況：1)p2等于p1，即有θ12＝0，此時，內(nèi)星加權(quán)輸入和為1； 2)p2不等于p1，內(nèi)星加權(quán)輸入和為0； 3)當(dāng)p2＝-p1，即θ12＝180°時，內(nèi)星加權(quán)輸入和達(dá)到最小值-1。由此可見，對于一個已訓(xùn)練過的內(nèi)星網(wǎng)絡(luò)，當(dāng)輸入端再次出現(xiàn)該學(xué)習(xí)過的輸入矢量時，內(nèi)星產(chǎn)生1的加權(quán)輸入和；而與學(xué)習(xí)過的矢量不相同的輸入出現(xiàn)時，所產(chǎn)生的加權(quán)輸入和總是小于1。當(dāng)多個相似輸入矢量輸入內(nèi)星，最終的訓(xùn)練結(jié)果是使網(wǎng)絡(luò)的權(quán)矢量趨向于相似輸入矢量的平均值。根據(jù)不同的情況，內(nèi)星的加權(quán)輸入和可分為如下幾種情況：49內(nèi)星網(wǎng)絡(luò)中的相似度是由偏差b來控制，由設(shè)計者在訓(xùn)練前選定，典型的相似度值為b＝-0.95，這意味著輸入矢量與權(quán)矢量之間的夾角小于18°48’。若選b＝-0.9時，則其夾角擴(kuò)大為25°48’。一層具有s個神經(jīng)元的內(nèi)星，可以用相似的方式進(jìn)行訓(xùn)練，權(quán)值修正公式為：MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中內(nèi)星學(xué)習(xí)規(guī)則的執(zhí)行是用函數(shù)learnis.m來完成上述權(quán)矢量的修正過程：dW＝1earnis(W，P，A，lr)；W=W十dW；內(nèi)星網(wǎng)絡(luò)中的相似度是由偏差b來控制，由設(shè)計者在訓(xùn)練前選定，典50[例8.1]設(shè)計內(nèi)星網(wǎng)絡(luò)進(jìn)行以下矢量的分類辨識：我們首先對網(wǎng)絡(luò)進(jìn)行初始化處理：[R，Q]＝size(P)；[S，Q]＝size(T)；W＝zeros(S，R)；B＝-0.95*ones(S，1)；max-epoch＝10；lr＝0.7；so81.m[例8.1]設(shè)計內(nèi)星網(wǎng)絡(luò)進(jìn)行以下矢量的分類辨識：我們首先對518．1．2外星學(xué)習(xí)規(guī)則外星網(wǎng)絡(luò)的激活函數(shù)是線性函數(shù)，它被用來學(xué)習(xí)回憶一個矢量，其網(wǎng)絡(luò)輸入P也可以是另一個神經(jīng)元模型的輸出。外星被訓(xùn)練來在一層s個線性神經(jīng)元的輸出端產(chǎn)生一個特別的矢量A。對于一個外星，其學(xué)習(xí)規(guī)則為：與內(nèi)星不同，外星聯(lián)接強(qiáng)度的變化Δw是與輸入矢量P成正比的。這意味著當(dāng)輸入矢量被保持高值，比如接近1時，每個權(quán)值wij將趨于輸出ai值，若pj＝1，則外星使權(quán)值產(chǎn)生輸出矢量。當(dāng)輸入矢量pj為0時，網(wǎng)絡(luò)權(quán)值得不到任何學(xué)習(xí)與修正。8．1．2外星學(xué)習(xí)規(guī)則與內(nèi)星不同，外星聯(lián)接強(qiáng)度的變化Δw是與52當(dāng)有r個外星相并聯(lián)，每個外星與s個線性神經(jīng)元相連組成一層外星時，其權(quán)值修正方式為：其中：W＝s×r權(quán)值列矢量；lr＝學(xué)習(xí)速率；A＝s×q外星輸出；P＝r×q外星輸入。MATLAB工具箱中實現(xiàn)外星學(xué)習(xí)與設(shè)計的函數(shù)為learnos.m，其調(diào)用過程如下：dW＝learnos(W，A，P，lr)；W＝W十dW；當(dāng)有r個外星相并聯(lián)，每個外星與s個線性神經(jīng)元相連組成一層外星53[例8．2]下面有兩元素的輸入矢量以及與它們相關(guān)的四元素目標(biāo)矢量，試設(shè)計一個外星網(wǎng)絡(luò)實現(xiàn)有效的矢量的獲得，外星沒有偏差。P＝[10]；T＝[0.1826 0.6325；0.3651 0.3162；0.5477 0.3162；0.7303 0.6325]；[例8．2]下面有兩元素的輸入矢量以及與它們相關(guān)的四元素目標(biāo)548．1．3科荷倫學(xué)習(xí)規(guī)則科荷倫學(xué)習(xí)規(guī)則是由內(nèi)星規(guī)則發(fā)展而來的?？坪蓚愐?guī)則為：科荷倫學(xué)習(xí)規(guī)則實際上是內(nèi)星學(xué)習(xí)規(guī)則的一個特例，但它比采用內(nèi)星規(guī)則進(jìn)行網(wǎng)絡(luò)設(shè)計要節(jié)省更多的學(xué)習(xí)，因而常常用來替代內(nèi)星學(xué)習(xí)規(guī)則。8．1．3科荷倫學(xué)習(xí)規(guī)則科荷倫學(xué)習(xí)規(guī)則實際上是內(nèi)星學(xué)習(xí)規(guī)則的55在MATLAB工具箱中，在調(diào)用科荷倫學(xué)習(xí)規(guī)則函數(shù)learnk.m時，一般通過先尋找輸出為1的行矢量i，然后僅對與i相連的權(quán)矩陣進(jìn)行修正。使用方法如下：i＝find(A==1)；dW＝learnk(W，P，i，1r)；W＝W十dW；一般情況下科荷倫學(xué)習(xí)規(guī)則比內(nèi)星學(xué)習(xí)規(guī)則能夠提高訓(xùn)練速度1到2個數(shù)量級。在MATLAB工具箱中，在調(diào)用科荷倫學(xué)習(xí)規(guī)則函數(shù)learnk568．2自組織競爭網(wǎng)絡(luò)8．2．1網(wǎng)絡(luò)結(jié)構(gòu)競爭網(wǎng)絡(luò)由單層神經(jīng)元網(wǎng)絡(luò)組成，其輸入節(jié)點與輸出節(jié)點之間為全互聯(lián)結(jié)。因為網(wǎng)絡(luò)在學(xué)習(xí)中的競爭特性也表現(xiàn)在輸出層上，所以在競爭網(wǎng)絡(luò)中把輸出層又稱為競爭層，而與輸入節(jié)點相連的權(quán)值及其輸入合稱為輸入層。8．2自組織競爭網(wǎng)絡(luò)8．2．1網(wǎng)絡(luò)結(jié)構(gòu)57從網(wǎng)絡(luò)的結(jié)構(gòu)圖中可以看出，自組織競爭網(wǎng)絡(luò)的權(quán)值有兩類：一類是輸入節(jié)點j到i的權(quán)值wij(i＝1，2…、s；j＝1，2…、r)，這些權(quán)值是通過訓(xùn)練可以被調(diào)整的；另一類是競爭層中互相抑制的權(quán)值wik(k＝1，2…、s)。這類權(quán)值是固定不變的，且它滿足一定的分布關(guān)系。它們是一種對稱權(quán)值，即有wik＝wki，同時相同神經(jīng)元之間的權(quán)值起加強(qiáng)的作用，即滿足w11＝w11＝…＝wkk＞0，而不同神經(jīng)元之間的權(quán)值相互抑制，對于k≠i有wij＜0。從網(wǎng)絡(luò)的結(jié)構(gòu)圖中可以看出，自組織競爭網(wǎng)絡(luò)的權(quán)值有兩類：58設(shè)網(wǎng)絡(luò)的輸入矢量為：P＝[ p1p2…pr]T；對應(yīng)網(wǎng)絡(luò)的輸出矢量為：A＝[a1a2…as]T。由于競爭網(wǎng)絡(luò)中含有兩種權(quán)值，所以其激活函數(shù)的加權(quán)輸入和也分為兩部分：來自輸入節(jié)點的加權(quán)輸入和N與來自競爭層內(nèi)互相抑制的加權(quán)輸入和G。對于第i個神經(jīng)元有：1)來自輸入節(jié)點的加權(quán)輸入和為：2)來自競爭層內(nèi)互相抑制的加權(quán)輸入和為：設(shè)網(wǎng)絡(luò)的輸入矢量為：P＝[ p1p2…pr]T；2)來59a)如果在競爭后，第i個節(jié)點“贏”了，則有：而其他所有節(jié)點的輸出均為零，即：此時b)如果在競爭后，第i個節(jié)點“輸”了，而“贏”的節(jié)點為l，則有：此時a)如果在競爭后，第i個節(jié)點“贏”了，則有：而其他所有節(jié)點的60所以對整個網(wǎng)絡(luò)的加權(quán)輸入總和有下式成立：sl=nl+wll

對于“贏”的節(jié)點lsi=ni-|wii| 對于所有”輸“的節(jié)點i＝1，2…s，i≠l由此可以看出，經(jīng)過競爭后只有獲勝的那個節(jié)點的加權(quán)輸入總和為最大。競爭網(wǎng)絡(luò)的輸出為：在判斷競爭網(wǎng)絡(luò)節(jié)點勝負(fù)的結(jié)果時，可直接采用ni，即：所以對整個網(wǎng)絡(luò)的加權(quán)輸入總和有下式成立：在判斷競爭網(wǎng)絡(luò)節(jié)點勝61取偏差B為零是判定競爭網(wǎng)絡(luò)獲勝節(jié)點時的典型情況，偶而也采用下式進(jìn)行競爭結(jié)果的判定：通過上面分析，可以將競爭網(wǎng)絡(luò)的工作原理總結(jié)如下：競爭網(wǎng)絡(luò)的激活函數(shù)使加權(quán)輸入和為最大的節(jié)點贏得輸出為1，而其他神經(jīng)元的輸出皆為0。這個競爭過程可用MATLAB描述如下：取偏差B為零是判定競爭網(wǎng)絡(luò)獲勝節(jié)點時的典型情況，偶而也采用下62n＝W*P；[S，Q]＝size(n)；x＝n+b*ones(1，Q)；y＝max(x)；forq＝1：Q ％找出最大加權(quán)輸入和y(q)所在的行； s＝find(x(:,q)＝y(tǒng)(q))； ％令元素a(z，q)＝1，其他值為零； a(z(1)，q)＝1； end這個競爭過程的程序已被包含在競爭激活函數(shù)compet.m之中，A＝compet(W*P，B)；n＝W*P；這個競爭過程的程序已被包含在競爭激活函數(shù)comp638．2．2競爭學(xué)習(xí)規(guī)則競爭網(wǎng)絡(luò)在經(jīng)過競爭而求得獲勝節(jié)點后，則對與獲勝節(jié)點相連的權(quán)值進(jìn)行調(diào)整，調(diào)整權(quán)值的目的是為了使權(quán)值與其輸入矢量之間的差別越來越小，從而使訓(xùn)練后的競爭網(wǎng)絡(luò)的權(quán)值能夠代表對應(yīng)輸入矢量的特征，把相似的輸入矢量分成了同一類，并由輸出來指示所代表的類別。競爭網(wǎng)絡(luò)修正權(quán)值的公式為：式中l(wèi)r為學(xué)習(xí)速率，且0＜lr＜1，一般的取值范圍為0.01-0.3；pj為經(jīng)過歸一化處理后的輸入。8．2．2競爭學(xué)習(xí)規(guī)則競爭網(wǎng)絡(luò)在經(jīng)過競爭而求得獲勝節(jié)點后，64用MATLAB工具箱來實現(xiàn)上述公式的過程可以用內(nèi)星學(xué)習(xí)規(guī)則：A＝compet(W*P)；dW＝learnis(P，A，lr，W)；W＝W十dW；更省時地是采用科荷倫學(xué)習(xí)規(guī)則如下：A＝compet(W*P)；i＝find(A==1)；dW＝learnis(P，i，lr，W)；W＝W十dW；不論采用哪種學(xué)習(xí)方法，層中每個最接近輸入矢量的神經(jīng)元，通過每次權(quán)值調(diào)整而使權(quán)值矢量逐漸趨于這些輸入矢量。從而競爭網(wǎng)絡(luò)通過學(xué)習(xí)而識別了在網(wǎng)絡(luò)輸入端所出現(xiàn)的矢量，并將其分為某一類。用MATLAB工具箱來實現(xiàn)上述公式的過程可以用內(nèi)星學(xué)習(xí)規(guī)則：658．2．3競爭網(wǎng)絡(luò)的訓(xùn)練過程競爭網(wǎng)絡(luò)的學(xué)習(xí)和訓(xùn)練過程，實際上是對輸入矢量的劃分聚類過程，使得獲勝節(jié)點與輸入矢量之間的權(quán)矢量代表獲勝輸入矢量。這樣，當(dāng)達(dá)到最大循環(huán)的值后，網(wǎng)絡(luò)已重復(fù)多次訓(xùn)練了P中的所有矢量，訓(xùn)練結(jié)束后，對于用于訓(xùn)練的模式P，其網(wǎng)絡(luò)輸出矢量中，其值為1的代表一種類型，而每類的典型模式值由該輸出節(jié)點與輸入節(jié)點相連的權(quán)矢量表示。競爭網(wǎng)絡(luò)的輸入層節(jié)點r是由已知輸入矢量決定的，但競爭層的神經(jīng)元數(shù)s是由設(shè)計者確定的，一般情況下，可以根據(jù)輸入矢量的維數(shù)及其估計，再適當(dāng)?shù)卦黾有?shù)目來確定。8．2．3競爭網(wǎng)絡(luò)的訓(xùn)練過程66另外還要事先確定的參數(shù)有：學(xué)習(xí)速率和最大循環(huán)次數(shù)。競爭網(wǎng)絡(luò)的訓(xùn)練是在達(dá)到最大循環(huán)次數(shù)后停止，這個數(shù)一般可取輸入矢量數(shù)組的15—20倍，即使每組輸入矢量能夠在網(wǎng)絡(luò)重復(fù)出現(xiàn)15~20次。競爭網(wǎng)絡(luò)的權(quán)值要進(jìn)行隨機(jī)歸一化的初始化處理，這個過程在MATLAB中用函數(shù)randnr.m實現(xiàn)：w＝randnr(S，R)；然后網(wǎng)絡(luò)則可以進(jìn)入競爭以及權(quán)值的調(diào)整階段。網(wǎng)絡(luò)的訓(xùn)練全過程完全由計算機(jī)去做，工具箱中的競爭網(wǎng)絡(luò)訓(xùn)練函數(shù)為trainc.m，它的用法如下：另外還要事先確定的參數(shù)有：學(xué)習(xí)速率和最大循環(huán)次數(shù)。競爭網(wǎng)絡(luò)的67競爭網(wǎng)絡(luò)比較適合用于具有大批相似數(shù)組的分類問題。競爭學(xué)習(xí)網(wǎng)絡(luò)的局限性：競爭網(wǎng)絡(luò)適用于當(dāng)具有典型聚類特性的大量數(shù)據(jù)的辨識，但當(dāng)遇到大量的具有概率分布的輸入矢量時，競爭網(wǎng)絡(luò)就無能為力了，這時可以采用科荷倫網(wǎng)絡(luò)來解決。競爭網(wǎng)絡(luò)比較適合用于具有大批相似數(shù)組的分類問題。688．3科荷倫自組織映射網(wǎng)絡(luò)神經(jīng)細(xì)胞模型中還存在著一種細(xì)胞聚類的功能柱。它是由多個細(xì)胞聚合而成的，在接受外界刺激后，它們會自動形成。一個功能柱中的細(xì)胞完成同一種功能。當(dāng)外界輸入不同的樣本到科荷倫自組織映射網(wǎng)絡(luò)中，一開始時輸入樣本引起輸出興奮的位置各不相同，但通過網(wǎng)絡(luò)自組織后會形成一些輸出群，它們分別代表了輸入樣本的分布，反映了輸入樣本的圖形分布特征，所以科荷倫網(wǎng)絡(luò)常常被稱為特性圖。8．3科荷倫自組織映射網(wǎng)絡(luò)神經(jīng)細(xì)胞模型中還存在著一種細(xì)胞聚69科荷倫網(wǎng)絡(luò)使輸入樣本通過競爭學(xué)習(xí)后，功能相同的輸入靠得比較近，不同的分得比較開，以此將一些無規(guī)則的輸入自動排開，在聯(lián)接權(quán)的調(diào)整過程中，使權(quán)的分布與輸入樣本的概率密度分布相似。所以科荷倫網(wǎng)絡(luò)可以作為一種樣本特征檢測器，在樣本排序、樣本分類以及樣本檢測方面有廣泛地應(yīng)用。一般可以這樣說，科荷倫網(wǎng)絡(luò)的權(quán)矢量收斂到所代表的輸入矢量的平均值，它反映了輸入數(shù)據(jù)的統(tǒng)計特性。當(dāng)隨機(jī)樣本輸入到科荷倫網(wǎng)絡(luò)時，如果樣本足夠多，那么在權(quán)值分布上可近似于輸入隨機(jī)樣本的概率密度分布，在輸出神經(jīng)元上也反映了這種分布，即概率大的樣本集中在輸出空間的某一個區(qū)域或各個不同的區(qū)域?？坪蓚惥W(wǎng)絡(luò)使輸入樣本通過競爭學(xué)習(xí)后，功能相同的輸入靠得比較近708．3．1科荷倫網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)科荷倫網(wǎng)絡(luò)結(jié)構(gòu)也是兩層：輸入層和競爭層。與基本競爭網(wǎng)絡(luò)不同之處是其競爭層可以由一維或二維網(wǎng)絡(luò)矩陣方式組成，且權(quán)值修正的策略也不同。1)一維網(wǎng)絡(luò)結(jié)構(gòu)與基本競爭學(xué)習(xí)網(wǎng)絡(luò)相同；2)二維網(wǎng)絡(luò)結(jié)構(gòu)：圖8.6二維科荷倫網(wǎng)絡(luò)結(jié)構(gòu)圖8．3．1科荷倫網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)圖8.6二維科荷倫網(wǎng)絡(luò)結(jié)構(gòu)圖71圖8.7二維神經(jīng)元層示意圖科荷倫網(wǎng)絡(luò)的激活函數(shù)為二值型函數(shù)。一般情況下b值固定，其學(xué)習(xí)方法與普通的競爭學(xué)習(xí)算法相同。在競爭層，每個神經(jīng)元都有自己的鄰域。一個直徑為1的鄰域包括主神經(jīng)元及它的直接周圍神經(jīng)元所組成的區(qū)域；直徑為2的鄰域包括直徑1的神經(jīng)元以及它們的鄰域。圖8.7二維神經(jīng)元層示意圖科荷倫網(wǎng)絡(luò)的激活函數(shù)為二值型函72圖8．8二維網(wǎng)絡(luò)鄰域形狀在MATLAB工具箱中有一個求獲勝神經(jīng)元的鄰域的函數(shù)：在二維競爭層中，鄰域函數(shù)為neighb2d.m。函數(shù)neighb2d.m的用法如下：Np=[xy]；in＝neighb2d(i,Np,N)；

圖8．8二維網(wǎng)絡(luò)鄰域形狀在MATLAB工具箱中有一個求獲勝73對于一維競爭層，其中的鄰層函數(shù)為叫neighb1d.m，確定競爭層大小的參數(shù)就是神經(jīng)元數(shù)S，即Np=[S]；in＝neighb1d(i，Np，N)；8．3．2網(wǎng)絡(luò)的訓(xùn)練過程訓(xùn)練設(shè)計步驟(適用于輸入矢量P具有某種概率分布的數(shù)組)：(1)初始化1)由輸入矢量確定網(wǎng)絡(luò)結(jié)構(gòu)：[R,Q]＝size(P)；2)設(shè)置網(wǎng)絡(luò)競爭層神經(jīng)元節(jié)點：一維S或二維的寬X和高Y，S＝X*Y；3)將輸入模式P作歸一化處理：P＝normc(P);4)歸一隨機(jī)化處理初始權(quán)值：W＝rands(S,R)*0.1；并設(shè)置：對于一維競爭層，其中的鄰層函數(shù)為叫neighb1d.m，確定745)最大循環(huán)次數(shù)(此數(shù)根據(jù)輸入數(shù)據(jù)的數(shù)目而乘一個倍數(shù)所得)：max_cycle6)基本學(xué)習(xí)速率lr：一般取0.01~0.3，視具體情況而定；7)最大鄰層數(shù)max_neighb:

一維max_neighb＝S-1； 二維max_neighb＝max([XY])-1；(2)循環(huán)訓(xùn)練forcycle=1:max_cycle1)學(xué)習(xí)速率是線性下降的：x＝cycle/max_cycle;LR＝(1—x)*lr；這使得學(xué)習(xí)速率隨著循環(huán)次數(shù)的增加，從lr*(max_cycle-1)/ma