1、第5章 對(duì)傳網(wǎng)Robert Hecht-Nielson 在1987年提出了對(duì)向傳播神經(jīng)網(wǎng)絡(luò)(Counter propagation Networks，CPN)，簡稱對(duì)傳網(wǎng)。CPN為異構(gòu)網(wǎng)：Kohonen1981年提出的自組織映射(Self-organization map，SOM)算法Kohonen層;Grossberg1969年提出的散射星(Outstar)算法Grossberg層。8/8/2022第1頁，共36頁。第5章 對(duì)傳網(wǎng)Kohonen層無導(dǎo)師學(xué)習(xí)算法，解決網(wǎng)絡(luò)隱含層的理想輸出未知問題；Grossberg層有導(dǎo)師學(xué)習(xí)算法，解決輸出層按系統(tǒng)要求給出指定輸出結(jié)果的問題。訓(xùn)練時(shí)間短：BP的

2、1%；應(yīng)用面：比較窄。讓網(wǎng)絡(luò)的隱藏層執(zhí)行無導(dǎo)師學(xué)習(xí)，是解決多級(jí)網(wǎng)絡(luò)訓(xùn)練的另一個(gè)思路。8/8/2022第2頁，共36頁。5.1 網(wǎng)絡(luò)結(jié)構(gòu)x1y1WV自組織映射（無導(dǎo)師學(xué)習(xí)） Kohonen層散射星（有導(dǎo)師學(xué)習(xí)） Grossberg層輸入層 K1G1K2G2x2y2KhGmxnym8/8/2022第3頁，共36頁。5.1 網(wǎng)絡(luò)結(jié)構(gòu)以Kohonen層的神經(jīng)元為“中心”討論問題K1W1=(w11，w21，wn1)T V1=(v11，v12，v1m)K2W2=(w12，w22，wn2)T V2=(v21，v22，v2m)KhWh=(w1h，w2h，wnh)T Vh=(vh1，vh2，vhm)8/8/20

3、22第4頁，共36頁。5.2 網(wǎng)絡(luò)的運(yùn)行除拓?fù)浣Y(jié)構(gòu)外，網(wǎng)絡(luò)的運(yùn)行機(jī)制也是確定網(wǎng)絡(luò)結(jié)構(gòu)（同構(gòu)、異構(gòu)）和性能的重要因素 。CPN是采用競爭型網(wǎng)絡(luò)學(xué)習(xí)規(guī)則的異構(gòu)網(wǎng)。競爭學(xué)習(xí)：同一層次的神經(jīng)元相互競爭，勝利的神經(jīng)元修改與其連接的權(quán)值模式分類。8/8/2022第5頁，共36頁。5.2 網(wǎng)絡(luò)的運(yùn)行 5.2.1 Kohonen層 “強(qiáng)者占先、弱者退出” （the winner takes all ）knetj=XWj = (x1，x2，xn)(w1j，w2j，wnj) T = w1j x1+w2j x2+wnj xn向量形式 KNET=(knet1，knet2，kneth) 8/8/2022第6頁，共36頁

4、。5.2.1 Kohonen層K1，K2，Kh的輸出k1，k2，kh構(gòu)成向量 K=(k1，k2，kh) 1jh1knetj=Max knet1，knet2，kneth kj= 0其它 8/8/2022第7頁，共36頁。上式等價(jià)于幾何意義：學(xué)習(xí)目的：尋找與輸入向量X最大相似度（最接近）的Wo8/8/2022第8頁，共36頁。5.2.2 Grossberg層 Grossberg層的每個(gè)神經(jīng)元Gj （1jm）gnetj= K (v1j，v2j，vhj)T = (k1，k2，kh) (v1j，v2j，vhj)T =k1v1j+ k2v2j+ kh vhj唯一輸出1的神經(jīng)元為Ko gnetj= k1v1

5、j+ k2v2j+ kh vhj= voj 8/8/2022第9頁，共36頁。5.2.2 Grossberg層 GNET=( gnet1 ，gnet2 ，gnetm) =(vo1，vo2，vom) =Vo散射星：Vo的各個(gè)分量是從Ko到Grossberg層各神經(jīng)元的聯(lián)接權(quán) 8/8/2022第10頁，共36頁。5.2.2 Grossberg層 CPN用于模式的完善，此時(shí)n=m：接受含有噪音的輸入模式(x1，x2，xn)，而輸出去掉噪音后的模式(vo1，vo2，vom)對(duì)訓(xùn)練啟示W(wǎng)1，W2，Wh，各類X的共同特征V1，V2，Vh，X對(duì)應(yīng)的理想輸出Y的共同特征 8/8/2022第11頁，共36頁。5

6、.3 Kohonen層的訓(xùn)練 5.3.1 輸入向量的預(yù)處理 單位化處理X= (x1，x2，xn)X= (x1，x2，xn)= (x1/X，x2/X，xn/X) 即： xj xj/X,8/8/2022第12頁，共36頁。算法 5-1 Kohonen層訓(xùn)練算法 對(duì)所有的輸入向量，進(jìn)行單位化處理；對(duì)每個(gè)樣本（X，Y）執(zhí)行下列過程 2.1 for j=1 to h do 根據(jù)相應(yīng)式子計(jì)算knetj； 2.2 求出最大的kneto:2.2.1 max=knet1；o=1 2.2.2 for j=1 to h do if knetjmax then max=knetj；o=j； 8/8/2022第13頁，

7、共36頁。算法 5-1 Kohonen層訓(xùn)練算法2.3 計(jì)算K 2.3.1 for j=1 to h do kj=0； 2.3.2 ko=1；2.4 使Wo更接近X：Wo(new)=Wo(old)+(X- Wo(old); 2.5 對(duì)Wo(new)進(jìn)行單位化處理 8/8/2022第14頁，共36頁。Wo(new)=Wo(old)+(X- Wo(old)（0，1）Wo(new)=Wo(old)+(X- Wo(old) = Wo(old)+X-Wo(old)X-Wo(new)=X-Wo(old)+(X- Wo(old)=X-Wo(old)-X+Wo(old)= X(1-) -Wo(old)(1-)

8、=(1-)(X-Wo(old)由0(1-)max then max=knetj；o=j；8/8/2022第29頁，共36頁。算法5-2 CPN訓(xùn)練算法一2.3 計(jì)算K：2.3.1 for j=1 to h do kj=0；2.3.2 ko=1；2.4 使Wo更接近X：Wo(new)=Wo(old)+(X- Wo(old)；2.5 對(duì)Wo(new)進(jìn)行單位化處理；2.6 使Vo更接近Y：Vo(new)= Vo(old)+(Y- Vo(old)。 8/8/2022第30頁，共36頁。算法5-3 CPN訓(xùn)練算法二對(duì)應(yīng)Kohonen的每一個(gè)Ki，它將代表一組輸入向量，所以希望這個(gè)Ki對(duì)應(yīng)的Vi能代表這

9、組輸入向量對(duì)應(yīng)的輸出向量的平均值。0 對(duì)W、V進(jìn)行初始化；0清空Kohonen層各神經(jīng)元對(duì)應(yīng)的紀(jì)錄表：for j=1 to h do SKj=；1 對(duì)所有的輸入向量，進(jìn)行單位化處理；8/8/2022第31頁，共36頁。算法5-3 CPN訓(xùn)練算法二 2 對(duì)每個(gè)樣本（Xs，Ys）執(zhí)行下列過程2.1 for j=1 to h do2.1.1 根據(jù)相應(yīng)式子計(jì)算knetj；2.2 求出最大的kneto：2.2.1 max=knet1；o=1;2.2.2 for j=1 to h do 2.2.2.1 if knetjmax then max=knetj；o=j； 8/8/2022第32頁，共36頁。算法

10、5-3 CPN訓(xùn)練算法二 2.3 計(jì)算K：2.3.1 for j=1 to h do kj=0；2.3.2 ko=1；2.4 使Wo更接近Xs：Wo(new)=Wo(old)+(Xs- Wo(old)；2.5 對(duì)Wo(new)進(jìn)行單位化處理；2.6 將Ys放入SKo：SKo=SKoYs；3 for j=1 to h doVj= SKj中各向量的平均值 8/8/2022第33頁，共36頁。算法的進(jìn)一步優(yōu)化集合變量SK1， SK2 ，SKh改為其它存儲(chǔ)量更小，而且更容易實(shí)現(xiàn)的變量在Xs激發(fā)Ko時(shí)，Ys被放入到SKo中會(huì)出現(xiàn)一個(gè)向量被放入多個(gè)SK中的問題 8/8/2022第34頁，共36頁。5.6 補(bǔ)充說明 1、全對(duì)傳網(wǎng)WVXYYX輸入層Kohonen層Grossberg層8/8/2022第35頁，共36頁。 2、非簡單工作方式對(duì)給定