1、第5章CMAC小腦神經(jīng)網(wǎng)絡前面幾章介紹的BP神經(jīng)網(wǎng)絡、Hopfield神經(jīng)網(wǎng)絡和BAM神經(jīng)網(wǎng)絡分別屬于前饋和反饋神經(jīng)網(wǎng)絡，這主要是從網(wǎng)絡的結(jié)構(gòu)來劃分的。如果從神經(jīng)網(wǎng)絡的函數(shù)逼近功能這個角度來分，神經(jīng)網(wǎng)絡可以分為全局逼近網(wǎng)絡和局部逼近網(wǎng)絡。若神經(jīng)網(wǎng)絡的一個或多個可調(diào)參數(shù)（權(quán)值和閾值）在輸入空間的每一點對任何一個輸出都有影響，則稱該神經(jīng)網(wǎng)絡為全局逼近網(wǎng)絡，前面介紹的多層前饋BP網(wǎng)絡是全局逼近網(wǎng)絡的典型例子。對于每個輸入輸出數(shù)據(jù)對，網(wǎng)絡的每一個連接權(quán)均需進行調(diào)整，從而導致全局逼近網(wǎng)絡學習速度變慢，對于有實時性要求的應用來說常常是不可容忍的。如果對網(wǎng)絡輸入空間的某個局部區(qū)域只有少數(shù)幾個連接權(quán)影響網(wǎng)絡輸

2、出，則稱網(wǎng)絡為局部逼近網(wǎng)絡。對于每個輸入輸出數(shù)據(jù)對，只有少量的連接權(quán)需要進行調(diào)整，從而使局部逼近網(wǎng)絡具有學習速度快的優(yōu)點，這一點對于有實時性要求的應用來說至關重要。目前常用的局部逼近神經(jīng)網(wǎng)絡有CMAC網(wǎng)絡、徑向基函數(shù)RBF網(wǎng)絡和B樣條網(wǎng)絡等，其結(jié)構(gòu)原理相似，本書主要介紹CMAC神經(jīng)網(wǎng)絡和RBF神經(jīng)網(wǎng)絡。1975年J.S.Albus提出一種模擬小腦功能的神經(jīng)網(wǎng)絡模型，稱為CerebellarModelArticulationController,簡稱CMAC。CMAC網(wǎng)絡是仿照小腦控制肢體運動的原理而建立的神經(jīng)網(wǎng)絡模型。小腦指揮運動時具有不假思索地作出條件反射迅速響應的特點，這種條件反射式響應是

3、一種迅速聯(lián)想。CMAC網(wǎng)絡有3個特點：作為一種具有聯(lián)想功能的神經(jīng)網(wǎng)絡，它的聯(lián)想具有局部推廣（或稱泛化）能力，因此相似的輸入將產(chǎn)生相似的輸出，反之則產(chǎn)生獨立的輸出。對于網(wǎng)絡的每一個輸出，只有很少的神經(jīng)元所對應的權(quán)值對其有影響，哪些神經(jīng)元對輸出有影響則由輸入決定。CMAC的每個神經(jīng)元的輸入輸出是一種線性關系，但其總體上可看做一種表達非線性映射的表格系統(tǒng)。由于CMAC網(wǎng)絡的學習只在線性映射部分，因此可采用簡單的5算法，其收斂速度比BP算法快得多，且不存在局部極小問題oCMAC最初主要用來求解機械手的關節(jié)運動，后來被進一步應用于機械人控制、模式識別、信號處理以及自適應控制等領域3-4。5.1CMAC結(jié)

4、構(gòu)及工作原理55.1.1CMAC結(jié)構(gòu)簡單的CMAC結(jié)構(gòu)如圖5-1所示，圖中X表示p維輸入狀態(tài)空間，A為具有n個單元的存儲區(qū)（又稱為相聯(lián)空間或概念記憶空間）。設CMAC網(wǎng)絡的輸入向量用p維輸入狀態(tài)空間X中的點xi=（xi,x2，,xi）t表示，對應的輸出向量用y=F（x；,x2，,xi）表示，圖中12pi12pi=1,2,3，輸入空間的一個點Xi將同時激活A中的Nl個元素（圖5-1中Nl=4），使其同時為1，而其他大多數(shù)元素為0，網(wǎng)絡的輸出y即為A中4個被激活單元的對應權(quán)值累加和。inl稱為泛化參數(shù)，反應網(wǎng)絡泛化能力大小，也可將其看做信號檢測單元的感受野大小。對CMAC來說，其工作過程一般包括兩

5、個方面：結(jié)果輸出計算及誤差生成階段；權(quán)值調(diào)整階段。11y1=f(xi)y1=f(xi)aa-r4ww34a_i=iaiai+iaa13ai+4wi=1wiwi+1-wU2-wi3wi+4圖5-iCMAC網(wǎng)絡的結(jié)構(gòu)5.1.2CMAC工作原理1.CMAC的結(jié)果輸出計算及誤差產(chǎn)生階段一般來說，實際應用時輸入向量的各分量來自不同的傳感器，其值多為模擬量，而A中每個元素只取0或1兩種值。為使X空間的點映射為A空間的離散點，必須先將模擬量Xi量化，使其成為輸入狀態(tài)空間的離散點。設輸入向量X的每一個分量可量化為q個等級，則p個分量可組合為輸入狀態(tài)空間qp種可能的狀態(tài)Xi，i=1,2,qp。其中每一個狀態(tài)Xi

6、都要映射為A空間存儲區(qū)的一個集合Ai，Ai的Nl個元素均為1。從圖5-1可以看出，在X空間接近的樣本X2和X3在A中的映射A2和A3出現(xiàn)了交集A2AA3，即它們對應的4個權(quán)值中有兩個是相同的，因此有權(quán)值累加和計算的兩個輸出也較接近，從函數(shù)映射的角度看這一特點可起到泛化的作用。顯然，對相距很遠的樣本Xi和X3，映射到A中的AiAA3為空集，這種泛化不起作用，因此是一種局部泛化。輸入樣本在輸入空間距離越近，映射到A存儲區(qū)后對應交集中的元素就越接近Nl，其對應的輸入樣本在A中產(chǎn)生的交集起到了將相近樣本聚類的作用。為使對于X空間的每一個狀態(tài)在A空間均存在惟一的映射，應使A存儲區(qū)中單元的個數(shù)至少等于X空

7、間的狀態(tài)個數(shù)，即nqp。設將三維輸入的每個分量量化為10個等級，則n1000。對于許多實際系統(tǒng)，qp往往要比這個數(shù)字大得多，但由于大多數(shù)學習問題不會包含所有可能的輸入值，實際上不需要qp個存儲單元來存放學習的權(quán)值。A相當于一種虛擬的內(nèi)存地址，每個虛擬地址和輸入狀態(tài)空間的一個樣本點相對應。通過哈希編碼(Hash-coding)可將具有qp個存儲單元的地址空間A映射到一個小得多的物理地址連接A.中。i對于每個輸入，A中只有Nl個單元為1,而其余的均為0,因此A是一個稀疏矩陣。哈希編碼是壓縮稀疏矩陣的常用技術(shù)，具體方法是通過一個產(chǎn)生隨機數(shù)的程序來實現(xiàn)的。以A的地址作為隨機數(shù)產(chǎn)生的程序的變量，產(chǎn)生的隨

8、機數(shù)作為Ai的地址。由于產(chǎn)生的隨機數(shù)i限制在一個較小的整數(shù)范圍內(nèi)，因此A.遠比A小得多。顯然，從A到A.的壓縮是一種多對ii少的隨機映射。在A.中，對每一個樣本有Nl個隨機地址與之對應，Nl個地址存放的權(quán)值TOC o 1-5 h ziLL通過學習得到，其累加和即作為CMAC的輸出。其表達式為：y=2wa(x)i=m(5-1)ijjj=1其中，w為第j個存儲單元的權(quán)值，若a(x)激活，則其值為1,否則為0只有N個存儲jjL單元對輸出有影響。相近的輸入激活的存儲單元有交疊，產(chǎn)生相近的輸出，不相近的輸入將產(chǎn)生不相近的輸出。對應的誤差表達式為：AE=y一社wa(x)i=1,2,m(5-2)isjjj=

9、12CMAC的權(quán)值調(diào)整階段CMAC算法中結(jié)果輸出階段從CMAC存儲單元產(chǎn)生一實際輸出，學習過程根據(jù)期望輸出與實際輸出的誤差大小來更新CMAC存儲單元中的權(quán)值。在常規(guī)CMAC算法中誤差被平均分配到所有被激活的存儲單元。設s為某一狀態(tài)，wj(t)是經(jīng)過第t次迭代后存儲在第j個存儲單元中的權(quán)值。常規(guī)CMAC更新wj(t)算法為：w(t)=w(t-1)+a.(y-2a.(x)w(t-1)(5-3)jjNjsjjLj=1ys為狀態(tài)s的期望輸出，2a.(x)w,(t-1)為狀態(tài)s的實際輸出，a為學習常數(shù)。sjjj=15.2CMAC改進學習算法在CMAC神經(jīng)網(wǎng)絡應用中，一般來說其實時性要求都較高。如非線性動

10、態(tài)系統(tǒng)的在線辨識，不僅要求精度高，而且要求快速學習。但是，常規(guī)的CMAC仍然需要多個周期才能達到一定的收斂精度，也就是說，常規(guī)CMAC雖然其收斂速度快于BP網(wǎng)絡，但作為在線學習來說，仍難滿足其快速性的要求。為此，近些年來，一些學者提出了許多相關算法，大多是在常規(guī)CMAC算法上進行改進。下面介紹幾種重要的改進算法。5.2.1模糊CMAC神經(jīng)網(wǎng)絡算法為提高CMAC學習的實時性和準確性。NieJ.和GengZ.J.等人將模糊自組織競爭算法引入CMAC中，來改造常規(guī)的CMAC神經(jīng)網(wǎng)絡，提出了一種模糊CMAC算法6-7,10作如下定義：定義5-1設CMAC中某個輸入x激活的NL個的存儲單元可看作中心為z

11、j,Ljj=1,2,Nt，寬度為25的一個鄰域屮，稱屮為聯(lián)想域。對常規(guī)CMAC來說，若a丘屮，Ljjjj則a.=1，否則為0。聯(lián)想域有交疊，使網(wǎng)絡有局部泛化能力。j定義5-2設輸入xeRn，聯(lián)想域屮.（j=1,2，,N）的中心為z.，半徑為5，將每個jLj存儲單元用一與輸入同維的向量a.表示，則聯(lián)想度為：afja-x|afja-x|55-4)其他基于聯(lián)想度的概念，可獲得一模糊化的聯(lián)想向量a,(x)=(a,a)，進而得到fjf1fNLFCMAC的輸出：TOC o 1-5 h z HYPERLINK l bookmark36 o Current Document y=tLwa(x)i=1,2,m,

12、j=1,2,N(5-5)ijfjLj=1若令a=1,j=1,N，其他情況a.=0，則a（x）退化為二進制向量a.（x），可見常規(guī)CMACfjLifjj為FCMAC的特殊情況。對網(wǎng)絡權(quán)值（存儲的數(shù)據(jù)）學習調(diào)整，文獻8,9采用以下算法：wj(t)=Wjwj(t)=Wj(t-1)+(k)(yy-2Law(t-1)a/藝fjjfjafjj=1j=12,Nl5-6)1.051(t-1)e(t1)e(t2)n(t)=1.04e(t-2)(5-7)(t-1)其他j=1由于聯(lián)想度的引入，也省去了CMAC的離散、量化、編碼、hashing映射等復雜運算。對于聯(lián)想域大小的確定，采用自組織競爭算法來實現(xiàn)，從而完成輸

13、入空間的自組織分割，使網(wǎng)絡的學習速度和精度得到較大的提高。5.2.2基于信度分配的平衡學習CMAC神經(jīng)網(wǎng)絡算法在常規(guī)CMAC及模糊CMAC學習算法的權(quán)值學習調(diào)整中，誤差被平均分配給每個被激活的存儲單元，而未考慮各個被激活存儲單元對誤差的貢獻率，也即在經(jīng)過t次學習后，對調(diào)整次數(shù)不同的激活存儲單元其權(quán)值的可信度仍被看成完全相同的。這種權(quán)值更新算法完全違背了信度分配的概念，這樣的權(quán)值學習算法，必然使那些權(quán)值不該調(diào)整或應該較少調(diào)整的存儲單元（其權(quán)值可信度高）需反復學習調(diào)整；而對誤差貢獻較大的存儲單元（其權(quán)值可信度低），本應該使其權(quán)值得到較大調(diào)整，但實際上權(quán)值學習調(diào)整量減少。為了達到預定的逼近精度，網(wǎng)絡

14、必須多次反復學習，從而使CMAC的學習效率降低，學習時間延長。為了提高CMAC學習速度，文獻11在分析常規(guī)CMAC權(quán)值調(diào)整規(guī)則的基礎上，考慮到已學習知識的可信度，提出一種基于信度分配的CA-CMAC（CreditassignmentCMAC）算法。同時引入CMAC存儲單元地址函數(shù)，來解決信度的定義問題。文獻12在此基礎上進一步考慮到網(wǎng)絡權(quán)值調(diào)整時，新知識“學習”與舊知識“遺忘”的平衡問題，提出一種基于“平衡學習”的CMAC神經(jīng)網(wǎng)絡學習算法。下面以二維CMAC為例進行介紹。1.常規(guī)CMAC神經(jīng)網(wǎng)絡的分級量化方法CMAC的基本思想就是將學習的數(shù)據(jù)（知識）存儲在交疊的存儲單元（記憶空間）中，其輸出為

15、相應激活單元數(shù)據(jù)的累加和。以二維CMAC為例，定義輸入矢量為變量x1和x2。二維CMAC結(jié)構(gòu)如圖5-2所示。在本例中，每個變量分成7個等分區(qū)域，每個狀態(tài)變量有3級，每級由構(gòu)成。對第1級，變量x1被劃為3塊AB和C,變量x2被劃為a,b和c。則Aa,Ab,Ac,Ba,Bb,Bc,Ca,Cl和Cc為存儲數(shù)據(jù)的地址或單元（hypercubes）；與此相似，對第2級，有存儲單元Dd,De,Df,Ed,Ee,Ef,Fd,Fe和Ff；對第3級，有存儲單元Gg,Gh,Gi,Hg,Hh,Hi,Ig,Ih和Ii。必須注意，只有同級的不同變量的分塊組合才能形成存儲單元。像組合Ad,Db等是不存在的。此處的二維CM

16、AC中，用27個存儲單元來存儲49個狀態(tài)的數(shù)據(jù)。CMAC的基本思想如圖5-3所示。在CMAC算法實現(xiàn)過程中有兩個階段：結(jié)果輸出階段和權(quán)值學習階段。在結(jié)果輸出階段，CMAC將所有被輸入狀態(tài)激活的存儲單元的權(quán)值（存儲數(shù)據(jù)）相加。N5-8)乙5-8)jjj=1存儲單元數(shù)為N,設m為狀態(tài)變量的級數(shù)（圖5-2中狀態(tài)變量級數(shù)m=3），n為總狀態(tài)數(shù)。ys為狀態(tài)s（s=1,，n）的實際輸出值。w.為第j個存儲單元的權(quán)值，a.是第j個存sjj儲單元是否被狀態(tài)s激活的指示。由于每個狀態(tài)僅被m個存儲單元包含，只有這些存儲單元被激活，其a被激活，其a.為，而其他存儲單元a.全為0。如圖5-2中，存儲單元Bb,Ee和H

17、h被狀態(tài)圖5-2二維CMAC結(jié)構(gòu)圖5-3CMAC的基本原理CMAC算法中結(jié)果輸出階段從CMAC存儲單元產(chǎn)生一實際輸出，學習過程根據(jù)期望輸出與實際輸出的誤差大小來更新CMAC存儲單元中的權(quán)值。在常規(guī)CMAC算法中誤差被平均分配到所有被激活的存儲單元。設s為某一狀態(tài)，w（t）是經(jīng)過第t次迭代后存儲在第j個存儲單元j中的權(quán)值。常規(guī)CMAC更新w,（t）算法為：wj(twj(t)a目=w,(t-1)+a.(y-a.w.(t-1)jmjsjj5-9)j=1其中，亍為狀態(tài)s的期望輸出，丈a.w.(t-1)為狀態(tài)s的實際輸出，為學習常數(shù)。必須sJJj=1注意只有那些被激活的存儲單元的權(quán)值才被更新。在上面的常

18、規(guī)算法中誤差被平均分配到所有被激活的存儲單元，但是經(jīng)過t-1次迭代后，最初的存儲單元已經(jīng)包含了一些先前學習的知識，不是每一個存儲單元都有相同的學習歷史，所以這些存儲單元也不應有相同的可信度。無視這些差異，所有被激活的存儲單元都獲得相同的校正誤差，那么那些由未學習狀態(tài)產(chǎn)生的誤差將對先前學習的信息產(chǎn)生“腐蝕”(corrupt),當然在經(jīng)過多個訓練周期后，這種“腐蝕”情形會逐漸消失，這也是許多常規(guī)CMAC算法應用成功的根據(jù)之所在。但是對在線動態(tài)系統(tǒng)的學習來說，其實時性要求非常高，有的情況下，一到兩個周期內(nèi)就得完成學習任務，也就沒有足夠的時間來消除這種“腐蝕”，因此其學習結(jié)果常常是無法滿足在線學習的要

19、求。2基于信度分配的CMAC(CA-CMAC)神經(jīng)網(wǎng)絡為了避免“腐蝕”效應，校正誤差必須根據(jù)存儲單元的可信度進行分配。然而，在CMAC學習過程中，還沒有一個好的方法來決定某一存儲單元對目前的誤差負更多的責任。換句話說，還沒有一個好的方法來決定存儲單元權(quán)值。惟一可用的信息是該存儲單元權(quán)值目前更新的次數(shù)，文獻11假設存儲單元學習更新次數(shù)越多，其存儲的數(shù)值越可靠。因此存儲單元的學習次數(shù)被看成其可信度?？尚哦仍礁?，其權(quán)值修正越小。由此(5-9)式改寫為：w(t)=w(t-1)+aa.(y-送aw(t-1)(5-10)JJJmsJJ乙(f(l)+1)-1J=1l=1其中，f(J)是第J個存儲單元的學習次

20、數(shù)，m是某狀態(tài)激活的存儲單元數(shù)。此處權(quán)值更新思想是校正誤差必須與激活單元的學習次數(shù)成反比。此處用(f(J)+1)-1/(f(l)+1)-1代替了(5-9)式的1/m，它有效地改善了學習性能。但這并不是最好的結(jié)果，因為它沒有進一步考慮已學習的先前知識與未學習或少學習的知識各自對網(wǎng)絡輸出誤差的影響程度。即“學習”與“遺忘”的平衡問題。3改進的基于信度分配的CMAC神經(jīng)網(wǎng)絡(ICA-CMAC)根據(jù)以上分析，一種“平衡學習”的概念被提出，由此設計一種改進的基于信度分配的CMAC(ImprovedCreditAssignmentCMAC，ICA-CMAC)神經(jīng)網(wǎng)絡模型，此時(5-10)式被改寫為：w.(

21、t)=w(t1)+aa(f(J)+Jk(廠-aw(t1)(5-11)JJJmsJJ(f(J)+1)-kJ=1l=1其中，k是一個平衡學習常數(shù)，當k為0或1時，ICA-CMAC分別為常規(guī)CMAC和文獻11的CA-CMACo也就是說,CMAC和CA-CMAC是ICA-CMAC的特殊情形。激活存儲單元的學習次數(shù)f(J)越大，則其存儲的知識(先前學習的信息)越多。平衡學習常數(shù)k越大，對學習次數(shù)f(j)較大的存儲單元，其權(quán)值改變較少。在k很大時，對學習次數(shù)f(j)較大的存儲單元其權(quán)值基本不變。此時未學習的或者學習次數(shù)f(j)較少的激活單元在權(quán)值修正時，將獲得大多數(shù)誤差校正值。此種情形下，網(wǎng)絡學習中“記憶

22、”即“已學習知識的保持”占主導地位。反之，當k值很小時，學習次數(shù)f(j)對信度分配的影響也較小。當k=0時，學習次數(shù)f(j)對信度分配的影響為零。此時，誤差被平均分配到所有被激活的存儲單元。所有被激活的存儲單元都有相同的信度分配，而不管學習次數(shù)f(j)的大小。這時在網(wǎng)絡學習中“遺忘”占主導地位?？梢妅是一個平衡學習常數(shù)，它反映了在網(wǎng)絡訓練過程中，先前學習的信息與未學習或少學習信息對存儲單元權(quán)值調(diào)整的影響程度。不同的k將會有不同的學習結(jié)果。從后面的仿真結(jié)果可知，當k為某一數(shù)值時其學習速度最快，說明此時網(wǎng)絡的“記憶”與“遺忘”達到了最佳平衡。4地址函數(shù)設計在常規(guī)CMAC中，一般采用hashing技

23、術(shù)來壓縮存儲空間，但hashing映射會造成碰撞的發(fā)生，使得CMAC的逼近性能下降。文獻11采用地址函數(shù)來產(chǎn)生所需要的存儲單元的標志，它通過一定規(guī)則為所有可能的存儲單元編碼，是一種簡潔的地址方法，而且不存在數(shù)據(jù)碰撞問題。以三維(3-D)CMAC為例，設m是CMAC的級數(shù)，nb是每級包含的塊數(shù)，則每維的等分塊數(shù)為m-(nb-1)+1。在本例中，每塊包含m個狀態(tài)，僅用N=m-nb3個存儲單元來映射(m-(nb-1)+1)3狀態(tài)?？紤]由(X,x2,x3)表達的狀態(tài)s，由它激活的存儲單元數(shù)為m,各激活存儲單元的地址函數(shù)為s(j)，j=1,m，則s(j)=F(X,x2,x3,j)，定義：ifj=1，th

24、eni=0，elsei=m-j+1;aX=int(X1+i)/m);ay=int(X2+i)/m);az=int(X3+i)/m);s(j)=F(X1,x2,X3,j)=ax+ay+az-nb2+(j-1)-nb3+1。5仿真算例及結(jié)果分析為了進一步說明ICA-CMAC的在線學習效果，以下面的非線性函數(shù)為例，對不同平衡學習參數(shù)k比較網(wǎng)絡的學習速度。z(x,y)=(x2一y2)sin5x1WxW1,1WyW1(5-12)本例中每個變量包含64個等分塊。取級數(shù)m=9，每級包含nb=8塊。則總狀態(tài)數(shù)為(m-(nb-1)+1)2=4096二64-64，存儲單元總數(shù)為m-nb2=9-8-8=576(僅為

25、總狀態(tài)數(shù)的14%)。取式(5-11)的a=1。其訓練數(shù)據(jù)數(shù)為4096。學習結(jié)果如圖5-4和圖5-5所示，在不同的k值下，計算網(wǎng)絡的絕對誤差TAE(totalabsoluteerror)和均方根誤差RMSE(rootmeansquareerror)。取k值為0.0，0.7，1.5，2.0。其第1周期到第6周期和第20周期到第25周期的計算結(jié)果見表5-1和表5-2所示。TAE=yy丿s丿ss=1RMSE=-(ysys)2TOC o 1-5 h zW=i5-13)5-14)其中，n為總狀態(tài)數(shù)，人是狀態(tài)s的期望輸出值，y是狀態(tài)5-13)5-14)bS90051015202590cycle圖5-4ICA

26、-CMAC的絕對誤差表5-1ICA-CMAC的絕對誤差k/cycle1234562021222324250.084.5388.7049.3963.5667.2747.5145.8945.6445.1345.6244.5844.220.769.6749.7443.0149.6050.1744.4745.2445.1645.0945.3144.7944.951.574.8360.3348.8751.1749.4248.7246.3446.3746.3446.3846.2746.302.0193.9100.175.4266.0861.5256.864&254&2848.2648.1848.0548.

27、01表5-2ICA-CMAC均方根誤差k/cycle1234562021222324250.00.140.140.110.120.120.110.1060.1060.1050.1050.1040.1040.70.130.110.100.110.110.100.1050.1050.1040.1050.1040.1041.50.130.120.110.110.100.110.1060.1060.1060.1060.1060.1062.00.210.150.130.130.120.120.1080.1080.1080.1080.1080.108從圖5-4和圖5-5可以看出，在網(wǎng)絡學習的初始階段，不同

28、的k值，誤差下降的速度有很大的差別，k=0時（常規(guī)CMAC）收斂速度較慢，隨著k值的增加，收斂速度變快，在k=0.7時收斂速度達到最快；k值繼續(xù)增大，網(wǎng)絡學習速度反而變慢，特別是k=2.0時其學習速度比常規(guī)CMAC還慢?？梢妅=0.7為最佳平衡學習常數(shù)，此時，網(wǎng)絡學習時的“記憶”與“遺忘”達到最佳平衡。文獻11提出的CA-CMAC（k=1）的學習速度處于最佳平衡值附近，但它未能分析網(wǎng)絡學習時“記憶”與“遺忘”的平衡問題，其學習結(jié)果雖然比常規(guī)CMAC好，但并非是最好的結(jié)果。從圖5-4、圖5-5及表5-1、表5-2還可以看出，在網(wǎng)絡學習的后續(xù)階段（后10個周期），盡管k值不同，其學習誤差區(qū)別很小，

29、不同k值的網(wǎng)絡都學習得很好。這是因為網(wǎng)絡學習過程中，權(quán)值的調(diào)整依賴于誤差的分配，誤差的分配又依賴于各存儲單元的學習次數(shù)，而學習次數(shù)在學習時間足夠長時，各存儲單元將趨于相同。對于非線性動態(tài)系統(tǒng)的在線學習來說，最初的學習速度是極為重要的。因此，CMAC神經(jīng)網(wǎng)絡學習算法的改進，對提高非線性系統(tǒng)在線辨識的實時性有一定的指導意義。5.2.3基于信度分配的模糊CMAC神經(jīng)網(wǎng)絡學習算法131算法設計基于信度分配的模糊CMAC神經(jīng)網(wǎng)絡學習算法，是從CMAC權(quán)值學習遺忘（previouslearnedinformationbecorruptedbyunlearnedstate）的角度出發(fā)，將文獻11的信度分配的

30、思想引入模糊CMAC（FCMAC）的權(quán)值學習調(diào)整之中，提出一種基于信度分配的模糊CMAC（FCACMAC）神經(jīng)網(wǎng)絡學習算法，使網(wǎng)絡的學習更加合理高效。仿真結(jié)果表明,FCACMAC有較好的學習速度和較高的學習精度。網(wǎng)絡的存儲單元的激活方式及輸出計算方法與模糊CMAC完全相同；其權(quán)值調(diào)整是將式（5-6）和式（5-10）相結(jié)合，得到：(f(f(j)+1)一i士ft(ys十j(j=1l=15-15)此處按照信度分配的原則調(diào)整權(quán)值，對先前學習次數(shù)較少、誤差貢獻較大的存儲單元，其權(quán)值可信度低，這時權(quán)值學習調(diào)整較多；反之，對學習次數(shù)較多、對所產(chǎn)生的誤差責任較少的存儲單元，其權(quán)值可信度較高，這時權(quán)值調(diào)整較少，

31、從而使CMAC的權(quán)值學習調(diào)整更加合理高效；另外，由于模糊聯(lián)想度的引入，省去了CMAC的離散、量化、編碼、hashing映射等復雜運算。對于聯(lián)想域大小的確定,采用自組織競爭算法來實現(xiàn),從而完成輸入空間的自組織分割，使網(wǎng)絡的學習速度和精度得到較大的提高。2.仿真算例及結(jié)果分析為了進一步說明FCACMAC的在線學習效果，以下面的非線性函數(shù)為例，研究常規(guī)MAC、模糊CMAC(FCMAC)及基于信度分配的模糊CMAC(FCACMAC)的學習效果。一維非線性學習實例假設有如下的非線性函數(shù)：y(x)=sinx+cosx-nxn(5-16)在學習過程中，用網(wǎng)絡的絕對誤差TAE和均方根誤差RMSE來反映模型的學

32、習速度和精度。其計算式同式(5-13)和式(5-14)。對CMAC、FCMAC及FCACMAC，其第1周期到第20周期的計算結(jié)果見表5-3和表5-4。而圖5-6和圖5-7為相應的誤差下降曲線。表5-3一維CMAC、FCMAC及FCACMAC絕對誤差算法周期12345678910CMAC38.1327.9814.157.094.082.532.071.761.651.58FCMAC13.6610.465.622.981.560.820.430.250.140.086FCACMAC14.825.571.0340.2190.0640.0410.0340.0320.0310.030算法周期111213

33、14151617181920CMAC1.571.531.511.491.481.461.451.441.431.43FCMAC0.0570.0430.0360.0330.0310.0310.0300.0290.0290.028FCACMAC0.0290.0280.0280.0270.0270.0260.0260.0250.0250.025圖5-6一維CMAC、FCMAC及FCACMAC絕對誤差表5-4一維CMAC、FCMAC及FCACMAC均方根誤差算法周期12345678910CMAC0.7720.6610.4700.3330.2520.1990.1800.1660.1610.157FCMA

34、C0.4620.4040.2960.2160.1560.1130.0820.0620.0460.037FCACMAC0.4810.2950.1270.0590.0320.0250.0230.0220.0220.022算法周期11121314151617181920CMAC0.1570.1560.1540.1530.1520.1510.1510.1500.1500.149FCMAC0.0300.0260.0240.0230.0220.0220.0220.0210.0210.021FCACMAC0.0210.0210.0210.0210.0200.0200.0200.0200.0200.019圖5

35、-7一維CMAC、FCMAC及FCACMAC均方根誤差（2）二維非線性學習實例假設有如下的非線性函數(shù)：y（X1,X2）=SinX1C0SX2-nX1,X25（5-17）在網(wǎng)絡學習過程中，絕對誤差TAE和均方根誤差RMSE與式（5-13）和式（5-14）完全相同。對CMAC、FCMAC及FCACMAC，其第1周期到第20周期的計算結(jié)果見表5-5和表5-6。其相應的誤差下降曲線如圖5-8和圖5-9所示。表5-5二維CMAC、FCMAC及FCACMAC絕對誤差算法周期12345678910CMAC365.9376.5250.7282.6235.1248.4241.0240.0241.9240.5FC

36、MAC408.0402.6276.8203.1148.6118.499.1288.6285.1281.35FCACMAC344.9254.2153.4109.583.7571.2660.6957.9653.7153.76算法周期11121314151617181920CMAC241.3241.0241.2241.2241.3241.2241.3241.2241.3241.2FCMAC82.0480.2780.7880.1480.2680.0980.1080.0780.0380.06FCACMAC52.6352.7452.5052.4052.4052.3052.3152.2752.2652.25

37、圖5-8二維CMAC、FCMAC及FCACMAC絕對誤差表5-6二維CMAC、FCMAC及FCACMAC均方根誤差算法周期12345678910CMAC0.29890.30320.24740.26270.23960.24630.24260.24210.24300.2423FCMAC0.31560.31350.25990.22270.19050.17000.15560.14710.14420.1409FCACMAC0.29020.24910.19350.16350.14300.13190.12170.11900.11450.1146算法周期11121314151617181920CMAC0.24

38、270.24260.24260.24270.24270.24270.24270.24270.24270.2427FCMAC0.14150.13990.13990.13980.13980.13980.13980.13980.13980.1398FCACMAC0.11340.11320.11310.11300.11300.11300.11300.11290.11290.1129圖5-9二維CMAC、FCMAC及FCACMAC均方根誤差（3）結(jié)果討論從表5-3到表5-6、圖5-6到圖5-9可以看出，無論是一維還是二維非線性目標函數(shù)，在網(wǎng)絡學習過程中，不同的CMAC模型，誤差下降的速度有很大的差別，其

39、中常規(guī)CMAC收斂速度最慢，而基于信度分配的模糊CMAC(FCACMAC)收斂速度最快，模糊CMAC(FCMAC)學習速度處于二者之間。同時還可以看出，F(xiàn)CACMAC的學習精度也比常規(guī)CMAC和模糊FCMAC高。隨著目標函數(shù)維數(shù)的增加，其學習效果的差距更大，這是因為在低維情況下，計算量較小，誤差的下降速度均較快，在20周期內(nèi)都能達到了一定的逼近精度；隨著維數(shù)的增加，計算量巨增，F(xiàn)CMAC、FCACMAC算法的合理性將發(fā)揮更大的效果，使得三者之間的學習速度和學習精度的差距更明顯，充分顯示出FCACMAC在在線學習上的優(yōu)越性。由此可見，這種基于信度分配的模糊CMAC神經(jīng)網(wǎng)絡學習算法，由于將模糊CM

40、AC的自組織競爭算法與基于信度分配的權(quán)值調(diào)整算法相結(jié)合，不僅在CMAC的存儲單元激活、結(jié)果計算輸出階段，省去了CMAC的離散、量化、編碼、hashing映射等復雜運算；而且在CMAC的權(quán)值學習調(diào)整階段按各激活存儲單元的權(quán)值可信度分配誤差，使權(quán)值學習調(diào)整更加合理有效，極大地提高了CMAC神經(jīng)網(wǎng)絡的學習速度和學習精度。5.4本章小結(jié)本章在討論CMAC神經(jīng)網(wǎng)絡基本結(jié)構(gòu)及原理的基礎上，從網(wǎng)絡輸出計算階段和網(wǎng)絡權(quán)值調(diào)整階段兩個方面，重點介紹了模糊CMAC神經(jīng)網(wǎng)絡、基于信度分配的CMAC神經(jīng)網(wǎng)絡、基于平衡學習的CMAC神經(jīng)網(wǎng)絡及基于信度分配的模糊CMAC神經(jīng)網(wǎng)絡的結(jié)構(gòu)、工作原理及權(quán)值調(diào)整學習算法，并給出了

41、具體的仿真算例。最后討論了CMAC神經(jīng)網(wǎng)絡在電液負載模擬器自學習控制中的應用。5.5思考題1CMAC神經(jīng)網(wǎng)絡有哪些特點？請用自己的語言簡要介紹CMAC神經(jīng)網(wǎng)絡的工作過程。請簡要介紹基于信度分配的CMAC神經(jīng)網(wǎng)絡權(quán)值調(diào)整學習算法的理由。假設有如下的非線性函數(shù)：y(X,x2)=sinx1cosx2exp(x1)一nx1,x2nJ_乙J_乙J_J_乙試比較30周期內(nèi)常規(guī)CMAC、基于信度分配CMAC神經(jīng)網(wǎng)絡的學習效果。5假設有如下的非線性函數(shù)：y(X,x2)=sin2Xcosx2-nx2n試利用平衡學習算法求解最佳平衡學習參數(shù)。5.6參考文獻AlbusJ.S.Anewapproachtomanipulatorcontrol:Thecerebellarmodelarticulatio