1、第五章 組合學(xué)習(xí)神經(jīng)網(wǎng)絡(luò) 5.1 學(xué)習(xí)向量量化神經(jīng)網(wǎng)絡(luò) 5.1.1 向量量化 5.1.2 LVQ網(wǎng)絡(luò)結(jié)構(gòu)與工作原理 5.1.3 LVQ網(wǎng)絡(luò)的學(xué)習(xí)算法 5.1.4 LVQ網(wǎng)絡(luò)的設(shè)計與應(yīng)用 5.2 對向傳播神經(jīng)網(wǎng)絡(luò) 5.2.1 網(wǎng)絡(luò)結(jié)構(gòu)與運行原理 5.2.2 CPN的學(xué)習(xí)算法 5.2.3 改進(jìn)的CPN網(wǎng)舉例 5.2.4 CPN網(wǎng)的應(yīng)用 本章小結(jié),學(xué)習(xí)向量量化（learning vector quantization，縮寫為LVQ）神經(jīng)網(wǎng)絡(luò)，也有人譯為：學(xué)習(xí)矢量量化神經(jīng)網(wǎng)絡(luò)。,Counter Propagation Network - CPN,對流傳播網(wǎng)絡(luò)(CPN) 對傳網(wǎng)(CPN) CPN模型 C

2、ounter-Propagation Neural Network,第五章 組合學(xué)習(xí)神經(jīng)網(wǎng)絡(luò),有導(dǎo)師信號的監(jiān)督學(xué)習(xí)和無導(dǎo)師信號的自組織競爭學(xué)習(xí)是兩種各具特色的學(xué)習(xí)方式，若將兩類方式有機(jī)結(jié)合，則可以充分發(fā)揮各自的優(yōu)勢，使所設(shè)計的神經(jīng)網(wǎng)絡(luò)具有更強(qiáng)的功能。 本章討論兩種組合學(xué)習(xí)方式的神經(jīng)網(wǎng)絡(luò)，其特點是網(wǎng)絡(luò)的輸出層采用監(jiān)督學(xué)習(xí)算法而隱層采用競爭學(xué)習(xí)策略。 5.1 學(xué)習(xí)向量量化神經(jīng)網(wǎng)絡(luò) 5.2 對向傳播神經(jīng)網(wǎng)絡(luò),5.1 學(xué)習(xí)向量量化神經(jīng)網(wǎng)絡(luò),學(xué)習(xí)向量量化（learning vector quantization，縮寫為LVQ）網(wǎng)絡(luò)是在競爭網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上提出的，LVQ網(wǎng)絡(luò)將競爭學(xué)習(xí)思想和有監(jiān)督學(xué)習(xí)算法相

3、結(jié)合，在網(wǎng)絡(luò)學(xué)習(xí)過程中，通過教師信號對輸入樣本的分配類別進(jìn)行規(guī)定，從而克服了自組織網(wǎng)絡(luò)采用無監(jiān)督學(xué)習(xí)算法帶來的缺乏分類信息的弱點。,5.1 學(xué)習(xí)向量量化神經(jīng)網(wǎng)絡(luò),5.1.1 向量量化 在信號處理領(lǐng)域，量化是針對標(biāo)量進(jìn)行的，指將信號的連續(xù)取值或者大量可能的離散取值近似為有限多個或較少的離散值的過程。 向量量化是對標(biāo)量量化的擴(kuò)展，適用于高維數(shù)據(jù)。 向量量化的思路是，將高維輸入空間分成若干不同的區(qū)域，對每個區(qū)域確定一個中心向量作為聚類中心，與其處于同一區(qū)域的輸入向量可用該中心向量來表示，從而形成以各中心向量為聚類中心的點集。 在圖像處理領(lǐng)域，常用各區(qū)域中心點（向量）的編碼替代區(qū)域內(nèi)的點來存儲或傳輸，

4、從而提出了各種基于向量量化的有損壓縮技術(shù)。 在二維輸入平面上表示的中心向量分布稱為Voronoi圖，如圖5.1所示。,5.1 學(xué)習(xí)向量量化神經(jīng)網(wǎng)絡(luò),5.1.1 向量量化 在二維輸入平面上表示的中心向量分布稱為Voronoi圖，如圖5.1所示。,向量量化的思路是，將高維輸入空間分成若干不同的區(qū)域，對每個區(qū)域確定一個中心向量作為聚類中心，與其處于同一區(qū)域的輸入向量可用該中心向量來表示，從而形成以各中心向量為聚類中心的點集。,什么是“量化”？ 日常生活中所說的“量化”：指的是目標(biāo)或任務(wù)具體明確，可以清晰度量。根據(jù)不同情況，表現(xiàn)為數(shù)量多少，具體的統(tǒng)計數(shù)字，范圍衡量，時間長度等等。例如，四萬億支出，96

5、0萬平方公里，八個小時，3月31日完成任務(wù)，（考查成績要）75分以上， “量化”的科技名詞定義 中文名稱：量化 英文名稱：quantizing; quantization 定義1：把圖像樣本連續(xù)變化的模擬量或密度值轉(zhuǎn)換成離散數(shù)字量樣本值的過程。 所屬學(xué)科：測繪學(xué)；攝影測量與遙感學(xué) 定義2：把一個模擬信號值的連續(xù)范圍分為若干相鄰并具有唯一量值的區(qū)間，凡落在某區(qū)間的抽樣信號樣值都指定為該區(qū)間量值的過程。 所屬學(xué)科：通信科技；通信原理與基本技術(shù),量化的分類 均勻量化和非均勻量化 按照量化級的劃分方式分，有均勻量化和非均勻量化。 均勻量化：ADC輸入動態(tài)范圍被均勻地劃分為2n份。 非均勻量化：ADC輸

6、入動態(tài)范圍的劃分不均勻，一般用類似指數(shù)的曲線進(jìn)行量化。 非均勻量化是針對均勻量化提出的，因為一般的語音信號中，絕大部分是小幅度的信號，且人耳聽覺遵循指數(shù)規(guī)律。為了保證關(guān)心的信號能夠被更精確的還原，我們應(yīng)該將更多的bit用于表示小信號。 常見的非均勻量化有A律和率等，它們的區(qū)別在于量化曲線不同。 標(biāo)量量化和矢量量化 按照量化的維數(shù)分，量化分為標(biāo)量量化和矢量量化。標(biāo)量量化是一維的量化，一個幅度對應(yīng)一個量化結(jié)果。而矢量量化是二維甚至多維的量化，兩個或兩個以上的幅度決定一個量化結(jié)果。 以二維情況為例，兩個幅度決定了平面上的一點。而這個平面事先按照概率已經(jīng)劃分為N個小區(qū)域，每個區(qū)域?qū)?yīng)著一個輸出結(jié)果（碼

7、書，codebook）。由輸入確定的那一點落在了哪個區(qū)域內(nèi)，矢量量化器就會輸出那個區(qū)域?qū)?yīng)的碼字（codeword）。矢量量化的好處是引入了多個決定輸出的因素，并且使用了概率的方法，一般會比標(biāo)量量化效率更高。,模數(shù)轉(zhuǎn)換器(ADC)與數(shù)字電路中的量化 數(shù)字電路中，采樣和量化過程由A/D轉(zhuǎn)換器完成。A/D轉(zhuǎn)換器(ADC)一般為標(biāo)量均勻量化。量化的過程就是把采集到的數(shù)值（稱為采樣值或樣值，英語sample）送到量化器編碼成數(shù)字形式（一般為二進(jìn)制）。每個樣值代表一次采樣所獲得的信號的瞬時幅度。 量化級 量化器設(shè)計時將標(biāo)稱幅度劃分為若干份，稱為量化級，一般為2的整數(shù)次冪。把落入同一級的樣本值歸為一類，并

8、給定一個量化值。量化級數(shù)越多，量化誤差就越小，質(zhì)量就越好。例如8位的ADC可以將標(biāo)稱輸入電壓范圍內(nèi)的模擬電壓信號轉(zhuǎn)換為8位的數(shù)字信號。 量化誤差 量化過程存在量化誤差，在還原信號的D/A轉(zhuǎn)換后，這種誤差作為噪聲再生，稱為量化噪聲。增加量化位數(shù)能夠把噪聲降低到無法察覺的程度，但隨著信號幅度的降低，量化噪聲與信號之間的相關(guān)性變得更加明顯。,5.1 學(xué)習(xí)向量量化神經(jīng)網(wǎng)絡(luò),5.1.1 向量量化 前面介紹的Winner-Take-All和SOFM競爭學(xué)習(xí)算法都是向量量化算法，都能用少量聚類中心表示原始數(shù)據(jù)，從而起到數(shù)據(jù)壓縮作用。但SOFM的各相鄰聚類的中心向量具有某種相似的特征，而一般向量量化的中心不具

9、有這種相似性。 自組織映射可以起到聚類的作用，但還不能直接分類和識別，因此這只是自適應(yīng)解決模式分類問題兩步中的第一步。第二步是學(xué)習(xí)向量量化，采用有監(jiān)督方法，在訓(xùn)練中加入教師信號作為分類信息對權(quán)值進(jìn)行細(xì)調(diào)，并對輸出神經(jīng)元預(yù)先指定其類別。,5.1.2 LVQ網(wǎng)絡(luò)結(jié)構(gòu)與工作原理,LVQ網(wǎng)絡(luò)的結(jié)構(gòu)如圖所示。,由輸入層、競爭層和輸出層神經(jīng)元組成。,輸入層有N個神經(jīng)元接受輸入向量，與競爭層之間完全連接； 競爭層有M個神經(jīng)元，分為若干組并呈一維線陣排列； 輸出層有L個神經(jīng)元，每個神經(jīng)元只與競爭層中的一組神經(jīng)元連接。連接權(quán)值固定為1。,5.1 學(xué)習(xí)向量量化神經(jīng)網(wǎng)絡(luò),在LVQ網(wǎng)絡(luò)的訓(xùn)練過程中，輸入層到競爭層之間

10、的連接權(quán)值被逐漸調(diào)整為聚類中心。,當(dāng)一個輸入樣本被送至LVQ網(wǎng)時，競爭層的神經(jīng)元通過勝者為王競爭學(xué)習(xí)規(guī)則產(chǎn)生獲勝神經(jīng)元，容許其輸出為1，而其它競爭層的神經(jīng)元輸出為0。,5.1.2 LVQ網(wǎng)絡(luò)結(jié)構(gòu)與工作原理,5.1 學(xué)習(xí)向量量化神經(jīng)網(wǎng)絡(luò),與獲勝神經(jīng)元所在組相連的輸出神經(jīng)元其輸出也為1，而其它輸出神經(jīng)元輸出為0，從而給出當(dāng)前輸入樣本的模式類。,x1,xi,xn,ol,o2,o1,y1,ym,在LVQ網(wǎng)絡(luò)的訓(xùn)練過程中，輸入層到競爭層之間的連接權(quán)值被逐漸調(diào)整為聚類中心。,當(dāng)一個輸入樣本被送至LVQ網(wǎng)時，競爭層的神經(jīng)元通過勝者為王競爭學(xué)習(xí)規(guī)則產(chǎn)生獲勝神經(jīng)元，容許其輸出為1，而其它競爭層的神經(jīng)元輸出為0。

11、,5.1.2 LVQ網(wǎng)絡(luò)結(jié)構(gòu)與工作原理,5.1 學(xué)習(xí)向量量化神經(jīng)網(wǎng)絡(luò),將競爭層學(xué)習(xí)得到的類稱為子類，將輸出層學(xué)習(xí)得到的類稱為目標(biāo)類。,與獲勝神經(jīng)元所在組相連的輸出神經(jīng)元其輸出也為1，而其它輸出神經(jīng)元輸出為0，從而給出當(dāng)前輸入樣本的模式類。,在LVQ網(wǎng)絡(luò)的訓(xùn)練過程中，輸入層到競爭層之間的連接權(quán)值被逐漸調(diào)整為聚類中心。,當(dāng)一個輸入樣本被送至LVQ網(wǎng)時，競爭層的神經(jīng)元通過勝者為王競爭學(xué)習(xí)規(guī)則產(chǎn)生獲勝神經(jīng)元，容許其輸出為1，而其它競爭層的神經(jīng)元輸出為0。,5.1.2 LVQ網(wǎng)絡(luò)結(jié)構(gòu)與工作原理,5.1 學(xué)習(xí)向量量化神經(jīng)網(wǎng)絡(luò),LVQ網(wǎng)絡(luò)各層的數(shù)學(xué)描述如下：,競爭層的輸出用Y表示：,輸出層的輸出用O表示：,

12、網(wǎng)絡(luò)的期望輸出用d表示：,輸入向量用X表示：,X=(x1, x2, , xn)T,Y=(y1, y2, , ym)T, yj0, 1, j=1, 2, , m,O=(o1, o2, , ol)T,d=(d1, d2, , dl)T,5.1.2 LVQ網(wǎng)絡(luò)結(jié)構(gòu)與工作原理,5.1 學(xué)習(xí)向量量化神經(jīng)網(wǎng)絡(luò),輸入層到競爭層之間的權(quán)值矩陣用W1表示：,其中列向量 為隱層第j個神經(jīng)元對應(yīng)的權(quán)值向量。,5.1.2 LVQ網(wǎng)絡(luò)結(jié)構(gòu)與工作原理,5.1 學(xué)習(xí)向量量化神經(jīng)網(wǎng)絡(luò),輸入層到競爭層之間的權(quán)值矩陣用W1表示：,其中列向量 為隱層第j個神經(jīng)元對應(yīng)的權(quán)值向量。,Wj1,5.1.2 LVQ網(wǎng)絡(luò)結(jié)構(gòu)與工作原理,5.1

13、 學(xué)習(xí)向量量化神經(jīng)網(wǎng)絡(luò),輸入層到競爭層之間的權(quán)值矩陣用W1表示：,其中列向量 為隱層第j個神經(jīng)元對應(yīng)的權(quán)值向量。,競爭層到輸出層之間的權(quán)值矩陣用W2表示：,其中列向量 為輸出層第k個神經(jīng)元對應(yīng)的權(quán)值向量。,Wj1,5.1.2 LVQ網(wǎng)絡(luò)結(jié)構(gòu)與工作原理,5.1 學(xué)習(xí)向量量化神經(jīng)網(wǎng)絡(luò),輸入層到競爭層之間的權(quán)值矩陣用W1表示：,其中列向量 為隱層第j個神經(jīng)元對應(yīng)的權(quán)值向量。,競爭層到輸出層之間的權(quán)值矩陣用W2表示：,其中列向量 為輸出層第k個神經(jīng)元對應(yīng)的權(quán)值向量。,Wk2,Wj1,5.1.2 LVQ網(wǎng)絡(luò)結(jié)構(gòu)與工作原理,5.1 學(xué)習(xí)向量量化神經(jīng)網(wǎng)絡(luò),5.1.3 LVQ網(wǎng)絡(luò)的學(xué)習(xí)算法,LVQ網(wǎng)絡(luò)的學(xué)習(xí)規(guī)

14、則是結(jié)合了競爭學(xué)習(xí)和有導(dǎo)師學(xué)習(xí)規(guī)則，需要一組有導(dǎo)師信號的樣本對網(wǎng)絡(luò)進(jìn)行訓(xùn)練。,其中每個導(dǎo)師向量中只有一個分量為1，其它分量為0。,(X1, d1), , (Xp, dp), , (XP, dP),通常把競爭層的每一個神經(jīng)元指定給一個輸出神經(jīng)元，相應(yīng)的權(quán)值為1，從而得到權(quán)值矩陣W2。,5.1 學(xué)習(xí)向量量化神經(jīng)網(wǎng)絡(luò),例如，某LVQ網(wǎng)絡(luò)競爭層有6個神經(jīng)元，輸出層有3個神經(jīng)元，代表3個類。 若將競爭層的1、3號神經(jīng)元指定為第1個輸出神經(jīng)元， 第2、5號指定為第2個輸出神經(jīng)元， 第4、6號指定為第3個輸出神經(jīng)元, 則權(quán)值矩陣W2定義為：,5.1.3 LVQ網(wǎng)絡(luò)的學(xué)習(xí)算法,5.1 學(xué)習(xí)向量量化神經(jīng)網(wǎng)絡(luò),例

15、如，某LVQ網(wǎng)絡(luò)競爭層有6個神經(jīng)元，輸出層有3個神經(jīng)元，代表3個類。 若將競爭層的1、3號神經(jīng)元指定為第1個輸出神經(jīng)元， 第2、5號指定為第2個輸出神經(jīng)元， 第4、6號指定為第3個輸出神經(jīng)元, 則權(quán)值矩陣W2定義為：,網(wǎng)絡(luò)的輸出為：O=(W2)TY,5.1.3 LVQ網(wǎng)絡(luò)的學(xué)習(xí)算法,5.1 學(xué)習(xí)向量量化神經(jīng)網(wǎng)絡(luò),LVQ網(wǎng)絡(luò)在訓(xùn)練前預(yù)先定義好W2，訓(xùn)練過程中W2不再改變，網(wǎng)絡(luò)的學(xué)習(xí)是通過改變W1來進(jìn)行的。 根據(jù)輸入樣本類別（導(dǎo)師信號）和獲勝神經(jīng)元所屬類別，可以判斷當(dāng)前類別是否正確。若分類正確則獲勝神經(jīng)元的權(quán)向量向輸入向量方向調(diào)整，分類錯誤則向反方向調(diào)整。,LVQ網(wǎng)絡(luò)學(xué)習(xí)算法的步驟如下： （1）初

16、始化 W1(0)賦小隨機(jī)數(shù)，確定初始學(xué)習(xí)速率(0)和訓(xùn)練次數(shù)K。 （2）輸入樣本向量X （3）尋找獲勝神經(jīng)元j*,5.1.3 LVQ網(wǎng)絡(luò)的學(xué)習(xí)算法,5.1 學(xué)習(xí)向量量化神經(jīng)網(wǎng)絡(luò),（4）根據(jù)分類是否正確按不同規(guī)則調(diào)整獲勝神經(jīng)元的權(quán)值。 若分類正確,否則,其它非獲勝神經(jīng)元的否則權(quán)值保持不變。,（5）更新學(xué)習(xí)速率,當(dāng)kK時，k=k+1，轉(zhuǎn)到步驟（2）輸入下一個樣本，重復(fù)步驟直至k=K。,在上述訓(xùn)練過程中，須保證(k)為單調(diào)下降函數(shù)。 此外，尋找獲勝神經(jīng)元時，直接使用最小歐式距離進(jìn)行判斷，因此不需要對權(quán)值向量和輸入向量進(jìn)行歸一化處理。,5.1.3 LVQ網(wǎng)絡(luò)的學(xué)習(xí)算法,5.1 學(xué)習(xí)向量量化神經(jīng)網(wǎng)絡(luò),(

17、5.1),(5.2),(5.3),5.1.4.1 LVQ網(wǎng)絡(luò)在證券投資基金分類中的應(yīng)用 截至2004年底，我國的證券投資基金已發(fā)展到154只。面對不斷增加的基金，基金投資者的選擇范圍和選擇的難度也越來越大。準(zhǔn)確的基金分類可以幫助投資者將其資金分配到不同類別的基金中，以期達(dá)到分散風(fēng)險的效果。 采用基金市場表現(xiàn)的相關(guān)指標(biāo)對基金進(jìn)行分類，主要采取多元統(tǒng)計方法，分類準(zhǔn)確率不高。 神經(jīng)網(wǎng)絡(luò)在解決分類問題時具有獨特的優(yōu)勢，下面介紹一種將SOM網(wǎng)絡(luò)與LVQ網(wǎng)絡(luò)結(jié)合起來對基金進(jìn)行分類的方法： （1）基金分類模型設(shè)計 （2）基金分類情況分析,5.1.4 LVQ網(wǎng)絡(luò)的設(shè)計與應(yīng)用,5.1 學(xué)習(xí)向量量化神經(jīng)網(wǎng)絡(luò),證券

18、投資基金是一種利益共存、風(fēng)險共擔(dān)的集合證券投資方式，即通過發(fā)行基金份額，集中投資者的資金，由基金托管人托管，由基金管理人管理和運用資金，從事股票、債券等金融工具投資，并將投資收益按基金投資者的投資比例進(jìn)行分配的一種間接投資方式。2011.11.08-發(fā)展到982只。,5.1.4.1 LVQ網(wǎng)絡(luò)在證券投資基金分類中的應(yīng)用 （1）基金分類模型設(shè)計 訓(xùn)練樣本來自我國2003年10月1日以前發(fā)行的54只開放式證券投資基金，研究區(qū)間為2003年第四季至2005年第1季度。訓(xùn)練樣本取考察區(qū)間中基金表現(xiàn)最優(yōu)、中等和最差的三個季度共162個樣本。 應(yīng)用SOM網(wǎng)絡(luò)對全部樣本進(jìn)行聚類分析 使用LVQ網(wǎng)絡(luò)對聚類結(jié)果

19、進(jìn)行判別并預(yù)測,5.1.4 LVQ網(wǎng)絡(luò)的設(shè)計與應(yīng)用,5.1 學(xué)習(xí)向量量化神經(jīng)網(wǎng)絡(luò),5.1.4.1 LVQ網(wǎng)絡(luò)在證券投資基金分類中的應(yīng)用 （1）基金分類模型設(shè)計 應(yīng)用SOM網(wǎng)絡(luò)對全部樣本進(jìn)行聚類分析 設(shè)計SOM網(wǎng)絡(luò)競爭層節(jié)點數(shù)時須知道類別數(shù)，若無先驗知識，可采用測試法確定。 令類別數(shù)為210，用SOM網(wǎng)絡(luò)分別進(jìn)行聚類，通過比較認(rèn)為類別數(shù)為4時，分類結(jié)果最滿意。 分類結(jié)果具體情況見表5.1。,5.1.4 LVQ網(wǎng)絡(luò)的設(shè)計與應(yīng)用,5.1 學(xué)習(xí)向量量化神經(jīng)網(wǎng)絡(luò),5.1.4.1 LVQ網(wǎng)絡(luò)在證券投資基金分類中的應(yīng)用 （1）基金分類模型設(shè)計 應(yīng)用SOM網(wǎng)絡(luò)對全部樣本進(jìn)行聚類分析 根據(jù)各類基金的指標(biāo)值，可以

20、進(jìn)行相應(yīng)的命名： 第一類的平均收益率為負(fù)值且詹森指數(shù)很小，命名為“低績效基金”； 第二類基金系數(shù)及標(biāo)準(zhǔn)都較小，說明受市場波動影響極小，命名為“低風(fēng)險基金”；,5.1.4 LVQ網(wǎng)絡(luò)的設(shè)計與應(yīng)用,5.1 學(xué)習(xí)向量量化神經(jīng)網(wǎng)絡(luò),5.1.4.1 LVQ網(wǎng)絡(luò)在證券投資基金分類中的應(yīng)用 （1）基金分類模型設(shè)計 應(yīng)用SOM網(wǎng)絡(luò)對全部樣本進(jìn)行聚類分析 根據(jù)各類基金的指標(biāo)值，可以進(jìn)行相應(yīng)的命名： 第三類基金的各指標(biāo)均處于第二位，略優(yōu)于所有基金的平均值，命名為“穩(wěn)健基金”； 第四類基金的平均收益率及詹森指數(shù)都最大，命名為“高績效基金”。,5.1.4 LVQ網(wǎng)絡(luò)的設(shè)計與應(yīng)用,5.1 學(xué)習(xí)向量量化神經(jīng)網(wǎng)絡(luò),5.1.

21、4.1 LVQ網(wǎng)絡(luò)在證券投資基金分類中的應(yīng)用 （1）基金分類模型設(shè)計 使用LVQ網(wǎng)絡(luò)對聚類結(jié)果進(jìn)行判別并預(yù)測 從162個樣本取出100個作為訓(xùn)練樣本，其余62個為測試樣本。 當(dāng)網(wǎng)絡(luò)訓(xùn)練200次以后，LVQ網(wǎng)絡(luò)分類的誤差趨于穩(wěn)定，降至0.02。 利用訓(xùn)練好的LVQ網(wǎng)絡(luò)對62個為測試樣本進(jìn)行預(yù)測的結(jié)果為：共有2個訓(xùn)練樣本被錯誤歸到相鄰類中，準(zhǔn)確率為98%；共有3個測試樣本被錯誤歸到相鄰類中，準(zhǔn)確率為95.16%。 全部樣本預(yù)測的準(zhǔn)確率為96.91%，表明利用神經(jīng)網(wǎng)絡(luò)進(jìn)行基金業(yè)績分類可取得較好的效果。,5.1.4 LVQ網(wǎng)絡(luò)的設(shè)計與應(yīng)用,5.1 學(xué)習(xí)向量量化神經(jīng)網(wǎng)絡(luò),5.1.4.1 LVQ網(wǎng)絡(luò)在證券

22、投資基金分類中的應(yīng)用 （2）基金分類情況分析 利用訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)模型分別對54只開放式基金連續(xù)五個季度所屬類別進(jìn)行計算，整理結(jié)果見表5.2。 經(jīng)分析可以得到以下結(jié)論： 開放式基金的業(yè)績波動幅度較大、持續(xù)性差 在研究區(qū)間內(nèi)，約有60%的基金其業(yè)績跨越3個以上的類別。只有6只基金（占11.11%）保持所屬的類別不變，這些基金分別是5只低風(fēng)險基金和1只高績效基金。,5.1.4 LVQ網(wǎng)絡(luò)的設(shè)計與應(yīng)用,5.1 學(xué)習(xí)向量量化神經(jīng)網(wǎng)絡(luò),5.1.4.1 LVQ網(wǎng)絡(luò)在證券投資基金分類中的應(yīng)用 （2）基金分類情況分析 經(jīng)分析可以得到以下結(jié)論： 以債券為投資對象的債券型基金市場表現(xiàn)平穩(wěn) 所考察的9只債券型基金有

23、5只基金始終屬于第二類型基金，其他4只基金只在兩個類型之間變換，這相對整個開放型基金業(yè)是很平穩(wěn)的。 我國的基金業(yè)投資逐漸趨于理性 雖然我國開放式基金的業(yè)績波動幅度較大，每個季度所屬類別發(fā)生變化的基金還占50%以上，但可以看到，隨著理性投,5.1.4 LVQ網(wǎng)絡(luò)的設(shè)計與應(yīng)用,5.1 學(xué)習(xí)向量量化神經(jīng)網(wǎng)絡(luò),資理念的逐漸建立，所屬類別發(fā)生變化的基金數(shù)目趨于減少，具體變化情況見圖5.4。這說明，我國的開放式基金正在從極不穩(wěn)定的變化中走向理性發(fā)展。,5.1.4.2 LVQ網(wǎng)絡(luò)在探地雷達(dá)探雷中的應(yīng)用 探地雷達(dá)作為非破壞性探測手段正被廣泛應(yīng)用于地下目標(biāo)（如空洞、管道、地雷等）的探測。 如何對雷達(dá)回波信號進(jìn)行

24、處理以識別地下埋設(shè)的目標(biāo)始終是困擾探地雷達(dá)應(yīng)用的難題。 目前主要依賴于成像技術(shù)，處理結(jié)果一般由人工加以解釋，該方法不僅無法進(jìn)行實時處理，同時也對操作者的技術(shù)經(jīng)驗提出了很高的要求。 針對上述問題，用信號的學(xué)習(xí)向量量化神經(jīng)網(wǎng)絡(luò)對目標(biāo)進(jìn)行分類，取得了較好的效果。處理過程如圖5.5示。 （1）預(yù)處理與特征提取 （2）LVQ網(wǎng)絡(luò)的設(shè)計 （3）LVQ網(wǎng)絡(luò)的訓(xùn)練和測試,5.1.4 LVQ網(wǎng)絡(luò)的設(shè)計與應(yīng)用,5.1 學(xué)習(xí)向量量化神經(jīng)網(wǎng)絡(luò),5.1.4.2 LVQ網(wǎng)絡(luò)在探地雷達(dá)探雷中的應(yīng)用 （1）預(yù)處理與特征提取 數(shù)據(jù)集合來自中心頻率為1GHz的無載頻脈沖探地雷達(dá)系統(tǒng)，試驗對象為反步兵地雷、金屬盒及磚塊，試驗介質(zhì)分

25、別為沙灘和中性土壤，埋深分別為20cm及40cm。 原始信號經(jīng)過延時校正、濾波及減背景操作后，突出了目標(biāo)信號，提高了信噪比。信號的特征提取從時域、頻域、自相關(guān)、功率譜、雙譜、小波等方面考慮，這里采用譜估計理論來提取目標(biāo)信號的特征。由于雷達(dá)信號是非平穩(wěn)、非周期且非瞬態(tài)的信號，不能直接使用傅里葉變換，可優(yōu)先使用部分掃描的Welch平均重疊周期譜對信號譜計算，該譜估計方法對區(qū)分目標(biāo)和對目標(biāo)進(jìn)行定位非常有效。,5.1.4 LVQ網(wǎng)絡(luò)的設(shè)計與應(yīng)用,5.1 學(xué)習(xí)向量量化神經(jīng)網(wǎng)絡(luò),5.1.4.2 LVQ網(wǎng)絡(luò)在探地雷達(dá)探雷中的應(yīng)用 （2）LVQ網(wǎng)絡(luò)的設(shè)計 訓(xùn)練樣本為3360個，測試樣本為240個。 將譜估計的

26、結(jié)果進(jìn)行K-L變換，將信號從64維降低到16維，從而縮小了樣本空間，有效降低了神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的計算量。整個神經(jīng)網(wǎng)絡(luò)由輸入層、競爭層和線性輸出層組成，輸入層包括了16個神經(jīng)元，對應(yīng)于每個譜值；競爭層的神經(jīng)元個數(shù)選為16個；輸出層包含3個神經(jīng)元，分別對應(yīng)于反步兵地雷、磚塊和金屬盒三種目標(biāo)。,5.1.4 LVQ網(wǎng)絡(luò)的設(shè)計與應(yīng)用,5.1 學(xué)習(xí)向量量化神經(jīng)網(wǎng)絡(luò),5.1.4.2 LVQ網(wǎng)絡(luò)在探地雷達(dá)探雷中的應(yīng)用 （3）LVQ網(wǎng)絡(luò)的訓(xùn)練和測試 訓(xùn)練前先將訓(xùn)練集與測試集樣本歸一化，經(jīng)過訓(xùn)練后的LVQ網(wǎng)就可以用來對探地雷達(dá)信號中提取的淺表目標(biāo)進(jìn)行測試分類。 表5.3列出了訓(xùn)練好的LVQ網(wǎng)絡(luò)對三種不同介質(zhì)中的反步兵

27、地雷目標(biāo)進(jìn)行識別的結(jié)果。 從測試結(jié)果可以看出，介質(zhì)均勻，會導(dǎo)致識別率的降低，其主要原因是由于干擾增多。,5.1.4 LVQ網(wǎng)絡(luò)的設(shè)計與應(yīng)用,5.1 學(xué)習(xí)向量量化神經(jīng)網(wǎng)絡(luò),5.2 對向傳播神經(jīng)網(wǎng)絡(luò),1987年，美國學(xué)者Robert Hecht-Nielsen提出的對偶傳播神經(jīng)網(wǎng)絡(luò)模型(Counter propagation network，縮寫為CPN)，最早是用來實現(xiàn)樣本的選擇匹配。CPN網(wǎng)能存儲二進(jìn)制或模擬值的模式對，因此這種網(wǎng)絡(luò)模型也可用作聯(lián)想存儲、模式分類、函數(shù)逼近、統(tǒng)計分析和數(shù)據(jù)壓縮等用途。 5.2.1 網(wǎng)絡(luò)結(jié)構(gòu)與運行原理 5.2.2 CPN的學(xué)習(xí)算法 5.2.3 改進(jìn)的CPN網(wǎng)舉例

28、5.2.4 CPN網(wǎng)的應(yīng)用,5.2.1 網(wǎng)絡(luò)結(jié)構(gòu)與運行原理,圖5.6給出了對偶傳播網(wǎng)絡(luò)的標(biāo)準(zhǔn)三層結(jié)構(gòu)，各層之間的神經(jīng)元通過全互連連接。,從拓?fù)浣Y(jié)構(gòu)看，CPN網(wǎng)與三層BP網(wǎng)沒有什么區(qū)別，但實際上它是由Kohonen的自組織網(wǎng)和Grossberg的外星網(wǎng)的組合而成的。,其中隱層為Kohonen網(wǎng)的競爭層，該層的競爭神經(jīng)元采用無導(dǎo)師的競爭學(xué)習(xí)規(guī)則進(jìn)行學(xué)習(xí)，輸出層為Grossberg層，它與隱含層全互連，采用有導(dǎo)師的Widrow-Holf規(guī)則或Grossberg規(guī)則進(jìn)行學(xué)習(xí)。,5.2 對向傳播神經(jīng)網(wǎng)絡(luò),5.2.1 網(wǎng)絡(luò)結(jié)構(gòu)與運行原理,網(wǎng)絡(luò)各層的數(shù)學(xué)描述如下： X=(x1, x2, , xn)T Y=(

29、y1, y2, , ym)T, yi0, 1, i=1, 2, , m O=(o1, o2, , ol)T d=(d1, d2, , dl)T V=(V1, V2, , Vj, , Vm) W=(W1, W2, , Wk, , Wl),5.2 對向傳播神經(jīng)網(wǎng)絡(luò),5.2.1 網(wǎng)絡(luò)結(jié)構(gòu)與運行原理,網(wǎng)絡(luò)各層按兩種學(xué)習(xí)規(guī)則訓(xùn)練好之后，運行階段首先向網(wǎng)絡(luò)送人輸入向量，隱含層對這些輸入進(jìn)行競爭計算，若某個神經(jīng)元的凈輸入值為最大則競爭獲勝，該神經(jīng)元輸出值為1,其它神經(jīng)元輸出值為0，如圖5.7(a)所示。,5.2 對向傳播神經(jīng)網(wǎng)絡(luò),5.2.1 網(wǎng)絡(luò)結(jié)構(gòu)與運行原理,競爭取勝的隱含神經(jīng)元激勵輸出層神經(jīng)元，使其產(chǎn)生

30、如圖5.7(b)所示的輸出模式。由于其它隱含神經(jīng)元輸出值為0，故它們不影響其輸出值。因此輸出就由競爭勝利的神經(jīng)元所對應(yīng)的外星向量來確定。,5.2 對向傳播神經(jīng)網(wǎng)絡(luò),5.2.2 CPN的學(xué)習(xí)算法,網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則由無導(dǎo)師學(xué)習(xí)和有導(dǎo)師學(xué)習(xí)組合而成，因此訓(xùn)練樣本集中輸入向量與期望輸出向量應(yīng)成對組成，即： Xp, dp，p=1, 2, , P，P為訓(xùn)練集中的模式總數(shù)。 訓(xùn)練分為兩個階段進(jìn)行，每個階段采用一種學(xué)習(xí)規(guī)則。,第一階段用競爭學(xué)習(xí)算法對輸入層至隱層的內(nèi)星權(quán)向量進(jìn)行訓(xùn)練；,第二階段采用外星學(xué)習(xí)算法對隱層至輸出層的外星權(quán)向量進(jìn)行訓(xùn)練。,5.2 對向傳播神經(jīng)網(wǎng)絡(luò),5.2.2 CPN的學(xué)習(xí)算法,第一階段用

31、競爭學(xué)習(xí)算法對輸入層至隱層的內(nèi)星權(quán)向量進(jìn)行訓(xùn)練；,網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則由無導(dǎo)師學(xué)習(xí)和有導(dǎo)師學(xué)習(xí)組合而成，因此訓(xùn)練樣本集中輸入向量與期望輸出向量應(yīng)成對組成，即： Xp, dp，p=1, 2, , P，P為訓(xùn)練集中的模式總數(shù)。 訓(xùn)練分為兩個階段進(jìn)行，每個階段采用一種學(xué)習(xí)規(guī)則。,第二階段采用外星學(xué)習(xí)算法對隱層至輸出層的外星權(quán)向量進(jìn)行訓(xùn)練。,5.2 對向傳播神經(jīng)網(wǎng)絡(luò),5.2.2 CPN的學(xué)習(xí)算法,第一階段用競爭學(xué)習(xí)算法對輸入層至隱層的內(nèi)星權(quán)向量進(jìn)行訓(xùn)練；,(1)將所有內(nèi)星權(quán)隨機(jī)地賦以01之間的初始值，并歸一化為單位長度，訓(xùn)練集內(nèi)的所有輸入模式也要進(jìn)行歸一化。,(2)輸入一個模式Xp，計算凈輸入netj= ,

32、 j=1,2,m。,(3)確定競爭獲勝神經(jīng)元。,(4)CPN網(wǎng)絡(luò)的競爭算法不設(shè)優(yōu)勝鄰域，因此只調(diào)整獲勝神經(jīng)元的內(nèi)星權(quán)向量，調(diào)整規(guī)則為,(5)重復(fù)步驟(2)至步驟(4)直到(t)下降至0。,注意：權(quán)向量經(jīng)過調(diào)整后必須重新作歸一化處理。,步驟如下：,5.2 對向傳播神經(jīng)網(wǎng)絡(luò),(5.4) 不是W,5.2.2 CPN的學(xué)習(xí)算法,第二階段采用外星學(xué)習(xí)算法對隱層至輸出層的外星權(quán)向量進(jìn)行訓(xùn)練，步驟如下。,(1)輸入一個模式對Xp, dp，計算凈輸入netj= ， j=1, 2, , m。,(2)確定競爭獲勝神經(jīng)元，使 (5.5),(3)調(diào)整隱層到輸出層的外星權(quán)向量，調(diào)整規(guī)則為 (5.6),式中(t)為外星規(guī)

33、則的學(xué)習(xí)率，也是隨時間下降的退火函數(shù)，ok是輸出層神經(jīng)元的輸出值。,5.2 對向傳播神經(jīng)網(wǎng)絡(luò),5.2 對偶傳播(CPN)神經(jīng)網(wǎng)絡(luò),5.2.2 CPN的學(xué)習(xí)算法,第二階段采用外星學(xué)習(xí)算法對隱層至輸出層的外星權(quán)向量進(jìn)行訓(xùn)練，步驟如下。,(1)輸入一個模式對Xp,dp，計算凈輸入netj= ， j=1, 2, , m。,(2)確定競爭獲勝神經(jīng)元，使 (5.5),(3)調(diào)整隱層到輸出層的外星權(quán)向量，調(diào)整規(guī)則為 (5.6),式中(t)為外星規(guī)則的學(xué)習(xí)率，也是隨時間下降的退火函數(shù)，ok是輸出層神經(jīng)元的輸出值。,5.2 對偶傳播(CPN)神經(jīng)網(wǎng)絡(luò),5.2.2 CPN的學(xué)習(xí)算法,(3)調(diào)整隱層到輸出層的外星權(quán)

34、向量，調(diào)整規(guī)則為 (5.6),ok由下式計算,(5.7),(5.8),上式應(yīng)簡化為,(5.9),只有獲勝神經(jīng)元的外星權(quán)向量得到調(diào)整，調(diào)整的目的是使外星權(quán)向量不斷靠近并等于期望輸出。,5.2 對偶傳播(CPN)神經(jīng)網(wǎng)絡(luò),5.2.2 CPN的學(xué)習(xí)算法,(3)調(diào)整隱層到輸出層的外星權(quán)向量，調(diào)整規(guī)則為 (5.6),ok由下式計算,(5.7),(5.8),上式應(yīng)簡化為,(5.9),只有獲勝神經(jīng)元的外星權(quán)向量得到調(diào)整，調(diào)整的目的是使外星權(quán)向量不斷靠近并等于期望輸出。,(4)重復(fù)步驟(1)至步驟(3)直到(t)下降至0。,5.2 對偶傳播(CPN)神經(jīng)網(wǎng)絡(luò),5.2.2 CPN的學(xué)習(xí)算法,第二階段采用外星學(xué)習(xí)

35、算法對隱層至輸出層的外星權(quán)向量進(jìn)行訓(xùn)練，步驟如下。,(1)輸入一個模式對Xp,dp。,(2)確定競爭獲勝神經(jīng)元。,(3)調(diào)整隱層到輸出層的外星權(quán)向量。,(4)重復(fù)步驟(1)至步驟(3)直到(t)下降至0。,(5.9),5.2 對偶傳播(CPN)神經(jīng)網(wǎng)絡(luò),5.2.3 改進(jìn)的CPN網(wǎng)絡(luò),5.2.3.1 雙獲勝節(jié)CPN網(wǎng),在標(biāo)準(zhǔn)的對偶傳播網(wǎng)絡(luò)中，競爭層上只允許有一個神經(jīng)元獲勝。作為一種改進(jìn)方案，在完成訓(xùn)練后的運行期間允許隱層有兩個神經(jīng)元同時獲得競爭勝利，這兩個獲勝神經(jīng)元均取值為1，其他的神經(jīng)元則取值為0。于是兩個獲勝神經(jīng)元同時按照式(5.8)影響網(wǎng)絡(luò)的輸出。,5.2 對偶傳播(CPN)神經(jīng)網(wǎng)絡(luò),5.

36、2.3 改進(jìn)的CPN網(wǎng)絡(luò),5.2.3.2 雙向CPN網(wǎng),將CPN網(wǎng)的輸入層和輸出層各自分為兩組，可變換為圖5.9的形式。該網(wǎng)絡(luò)有兩個輸入向量X和Y，兩個與之對應(yīng)的輸出向量Y和X。,Y = f(X ) X = g(Y),當(dāng)向網(wǎng)絡(luò)輸入(X,0 )時,網(wǎng)絡(luò)輸出為(Y,0 )； 當(dāng)向網(wǎng)絡(luò)輸入(0,Y)時,網(wǎng)絡(luò)輸出為(0,X), 當(dāng)向網(wǎng)絡(luò)輸入(X,Y)時,網(wǎng)絡(luò)輸出為(Y,X )。,5.2.4 CPN網(wǎng)的應(yīng)用,5.2 對偶傳播(CPN)神經(jīng)網(wǎng)絡(luò),圖5.10給出CPN網(wǎng)絡(luò)用于烤煙煙葉顏色模式分類的情況。其中輸入樣本分布在圖5.23(a)所示的三維顏色空間中，該空間的每個點用一個三維向量表示，各分量分別代表煙

37、葉的平均色調(diào)H、平均亮度L和平均飽和度S。可以看出顏色模式分為四類，分別對應(yīng)于紅棕色、橘黃色、檸檬黃色和青黃色。,5.2.4.1 CPN網(wǎng)在顏色分類中的應(yīng)用,5.2.4 CPN網(wǎng)的應(yīng)用,5.2 對偶傳播(CPN)神經(jīng)網(wǎng)絡(luò),圖5.10給出CPN網(wǎng)絡(luò)用于烤煙煙葉顏色模式分類的情況。其中輸入樣本分布在圖5.23(a)所示的三維顏色空間中，該空間的每個點用一個三維向量表示，各分量分別代表煙葉的平均色調(diào)H、平均亮度L和平均飽和度S。可以看出顏色模式分為四類，分別對應(yīng)于紅棕色、橘黃色、檸檬黃色和青黃色。,5.2.4.1 CPN網(wǎng)在顏色分類中的應(yīng)用,圖5.10(b)給出了CPN網(wǎng)絡(luò)結(jié)構(gòu)，隱層共設(shè)了10個神經(jīng)

38、元,輸出層設(shè)4個神經(jīng)元。學(xué)習(xí)速率為隨訓(xùn)練時間下降的函數(shù)。經(jīng)過2000次遞歸之后，網(wǎng)絡(luò)分類的正確率達(dá)96。,向量量化的理論基礎(chǔ)是香農(nóng)的速率失真理論，其基本原理是用碼書中與輸入向量最匹配的碼字的索引代替輸入向量進(jìn)行傳輸和存儲，而解碼時只需簡單的查表操作。向量量化的三大關(guān)鍵技術(shù)是碼字設(shè)計、碼字搜索和碼字索引分配。 從CPN網(wǎng)絡(luò)結(jié)構(gòu)和學(xué)習(xí)規(guī)則來看，標(biāo)準(zhǔn)CPN可以用作向量量化器，用于圖像壓縮。該量化器模型描述如下： （1）輸入層到競爭層部分作為編碼器，輸入層節(jié)點數(shù)等于向量的維數(shù)N，競爭層神經(jīng)元數(shù)目M等于碼書大小。在訓(xùn)練階段，CPN競爭層各神經(jīng)元相互競爭及調(diào)整權(quán)值的過程相當(dāng)于輸入向量聚類和生成碼書的過程；競爭