第六章

RBF神經(jīng)網(wǎng)絡(luò)16.1概述2徑向基函數(shù)(RadialBasisFunction,RBF)是一個(gè)取值僅取決于到原點(diǎn)距離的實(shí)值函數(shù)，記作，也可以是到任意一中心點(diǎn)c的距離，即。任何一個(gè)滿足上述特性的函數(shù)都可以稱為RBF。1971年，Hardy用RBF來處理飛機(jī)外形設(shè)計(jì)曲面擬合問題，取得了非常好的效果。1985年，英國劍橋大學(xué)數(shù)學(xué)家Powell提出了多變量插值的RBF方法。20世紀(jì)末期，Broomhead、Lowe、Moody、Darken等科學(xué)家先后將RBF應(yīng)用于神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)，提出了一種RBF神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，即RBF神經(jīng)網(wǎng)絡(luò)。RBF神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)與多層前向網(wǎng)絡(luò)類似，是一種具有單隱層的三層前向神經(jīng)網(wǎng)絡(luò)。輸入層由信號(hào)源節(jié)點(diǎn)組成，隱含層是單神經(jīng)元層，但神經(jīng)元數(shù)可視所描述問題的需要而定，輸出層對(duì)輸入的作用作出響應(yīng)。從輸入層空間到隱含層空間的變換是非線性的，而從隱含層空間到輸出層空間的變換是線性的。隱含層神經(jīng)元的變換函數(shù)是RBF，它是一種局部分布的中心徑向?qū)ΨQ衰減的非負(fù)非線性函數(shù)。BP神經(jīng)網(wǎng)絡(luò)用于函數(shù)逼近時(shí)，權(quán)值的調(diào)節(jié)采用負(fù)梯度下降法，這種權(quán)值調(diào)節(jié)的方法存在著收斂速度慢和局部極小等局限性。同時(shí)，BP神經(jīng)網(wǎng)絡(luò)在訓(xùn)練過程中需要對(duì)網(wǎng)絡(luò)中的所有權(quán)值和閾值進(jìn)行修正，屬于全局逼近的神經(jīng)網(wǎng)絡(luò)。3而RBF神經(jīng)網(wǎng)絡(luò)在逼近能力、分類能力和學(xué)習(xí)速度等方面均優(yōu)于BP神經(jīng)網(wǎng)絡(luò)。另外，盡管RBF神經(jīng)網(wǎng)絡(luò)比BP神經(jīng)網(wǎng)絡(luò)需要更多的神經(jīng)元，但是它能夠按時(shí)間片來優(yōu)化訓(xùn)練網(wǎng)絡(luò)。因此，RBF神經(jīng)網(wǎng)絡(luò)是一種局部逼近性能非常好的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，有學(xué)者證明它能以任意精度逼近任一連續(xù)函數(shù)。RBF人工神經(jīng)網(wǎng)絡(luò)以其獨(dú)特的信息處理能力在許多領(lǐng)域得到了成功的應(yīng)用，它不僅具繼承了神經(jīng)網(wǎng)絡(luò)強(qiáng)大的非線性映射能力，而且具有自適應(yīng)、自學(xué)習(xí)和容錯(cuò)性等，能夠從大量的歷史數(shù)據(jù)中進(jìn)行聚類和學(xué)習(xí)，進(jìn)而得到某些行為變化的規(guī)律。同時(shí)，RBF神經(jīng)網(wǎng)絡(luò)是一種新穎有效的前饋式神經(jīng)網(wǎng)絡(luò)，具有最佳局部逼近和全局最優(yōu)的性能，且訓(xùn)練方法快速易行，這些優(yōu)點(diǎn)使得RBF神經(jīng)網(wǎng)絡(luò)在非線性時(shí)間序列預(yù)測(cè)中得到了廣泛的應(yīng)用。4另外，RBF神經(jīng)網(wǎng)絡(luò)能夠逼近任意的非線性函數(shù)，可以處理系統(tǒng)內(nèi)難以解析的規(guī)律性，具有良好的泛化能力，并有很快的學(xué)習(xí)收斂速度。當(dāng)有很多的訓(xùn)練向量時(shí)，這種網(wǎng)絡(luò)很有效果。目前，RBF神經(jīng)網(wǎng)絡(luò)已在非線性函數(shù)逼近、時(shí)間序列分析、數(shù)據(jù)分類、模式識(shí)別、信息處理、圖像處理、系統(tǒng)建模、控制和故障診斷等多種場(chǎng)合得到了成功應(yīng)用。56.2RBF神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和原理RBF神經(jīng)元模型如圖6-1所示。圖6-1RBF神經(jīng)元模型在圖6-1中，為歐式距離，用函數(shù)式可表示為61.RBF神經(jīng)元模型7另外，凈值運(yùn)算n為RBF神經(jīng)元的中間運(yùn)算結(jié)果，可由式(6-2)表式為RBF神經(jīng)元模型的輸出y為上式中，rbf(x)為徑向基函數(shù)，常見的形式有82.RBF神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)RBF神經(jīng)網(wǎng)絡(luò)由輸入層、單隱含層、輸出層三層組成，其結(jié)構(gòu)如圖6-2所示。圖6-2

RBF神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)原理圖圖6-2中，n1為RBF神經(jīng)網(wǎng)絡(luò)隱含層的中間運(yùn)算結(jié)果，其表達(dá)式為9式中，diag(x)表示取矩陣向量主對(duì)角線上的元素組成的列向量。RBF神經(jīng)網(wǎng)絡(luò)隱含層的輸出y1為n2為RBF輸出層的中間運(yùn)算結(jié)果，可由式(6-9)表示為RBF神經(jīng)網(wǎng)絡(luò)的輸出y2為隱含層節(jié)點(diǎn)中的徑向基函數(shù)對(duì)輸入信號(hào)在局部產(chǎn)生響應(yīng)，即當(dāng)輸入信號(hào)靠近該函數(shù)的中央范圍時(shí)，隱含層節(jié)點(diǎn)將產(chǎn)生較大的輸出。因此，RBF神經(jīng)網(wǎng)絡(luò)具有局部逼近能力，RBF神經(jīng)網(wǎng)絡(luò)也被稱為局部感知場(chǎng)網(wǎng)絡(luò)。RBF神經(jīng)網(wǎng)絡(luò)的基本思想是用徑向基函數(shù)作為隱含層隱單元的“基”構(gòu)成隱含層空間，隱含層對(duì)輸入矢量向量進(jìn)行變換，將低維空間的輸入數(shù)據(jù)變換映射到高維空間內(nèi)，使得在低維空間線性不可分的問題，在高維空間在高維空間實(shí)現(xiàn)線性可分。假設(shè)RBF神經(jīng)網(wǎng)絡(luò)的輸入向量x為R維，輸出向量y2為S2維，輸入輸出樣本長度為N。RBF神經(jīng)網(wǎng)絡(luò)隱含層的傳遞函數(shù)由徑向基函數(shù)構(gòu)成，通常選用式(6-4)所示的高斯函數(shù)。輸入層節(jié)點(diǎn)傳遞輸入信號(hào)到隱含層，實(shí)現(xiàn)了x→y1(x)的非線性映射,即103.RBF神經(jīng)網(wǎng)絡(luò)原理11式中，yi1是RBF神經(jīng)網(wǎng)絡(luò)第i個(gè)隱節(jié)點(diǎn)的輸出，σi是第i個(gè)隱節(jié)點(diǎn)的擴(kuò)展常數(shù)，S1是隱節(jié)點(diǎn)個(gè)數(shù)，x=(x1,x2,…,xR)T是輸入樣本，ci是第i個(gè)隱含層隱節(jié)點(diǎn)高斯激活徑向基函數(shù)的中心向量，此向量是一個(gè)與輸入樣本x的維數(shù)相同的列向量，即ci=(ci1,ci2,…,ciR)T。由式(6-11)可知，隱含層節(jié)點(diǎn)的輸出范圍在0和1之間，且輸入樣本愈靠近節(jié)點(diǎn)的中心，輸出值愈大。輸出層傳遞函數(shù)采用線性函數(shù)，隱含層到輸出層的信號(hào)傳遞實(shí)現(xiàn)了y1(x)→y2的線性映射，即式中，yi1是第i個(gè)隱節(jié)點(diǎn)的輸出，yi2是第k個(gè)隱節(jié)點(diǎn)的輸出，wki2是隱含層到輸出層的加權(quán)系數(shù)，bk2是隱含層的閾值。假設(shè)RBF神經(jīng)網(wǎng)絡(luò)有N個(gè)訓(xùn)練樣本，則系統(tǒng)對(duì)所有N個(gè)訓(xùn)練樣本的總誤差函數(shù)為式中，N為輸入輸出樣本對(duì)數(shù)，S1為RBF神經(jīng)網(wǎng)絡(luò)輸出節(jié)點(diǎn)數(shù)，tkp表示在樣本p作用下的第k個(gè)神經(jīng)元的期望輸出，表示在樣本p作用下的第k個(gè)神經(jīng)元的實(shí)際輸出。RBF神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程分為兩個(gè)階段，無監(jiān)督學(xué)習(xí)階段和有監(jiān)督學(xué)習(xí)階段。根據(jù)所有的輸入樣本決定隱含層各節(jié)點(diǎn)的高斯徑向基函數(shù)的中心向量ci和標(biāo)準(zhǔn)化常數(shù)σi。6.3RBF神經(jīng)網(wǎng)絡(luò)算法121.無監(jiān)督學(xué)習(xí)階段13無監(jiān)督學(xué)習(xí)是對(duì)所有樣本的輸入進(jìn)行聚類，求得RBF神經(jīng)網(wǎng)絡(luò)各隱含層節(jié)點(diǎn)的RBF神經(jīng)網(wǎng)絡(luò)的中心向量ci。無監(jiān)督學(xué)習(xí)這里使用k均值聚類算法調(diào)整中心向量ci，即此算法就是將訓(xùn)練樣本集中的輸入向量分為若干族，在每個(gè)數(shù)據(jù)族內(nèi)找出一個(gè)徑向基函數(shù)中心向量，使得該族內(nèi)各樣本向量距與該族中心的距離最小。具體步驟如下：(1)給定各隱含層節(jié)點(diǎn)的初始中心向量ci(0)和判定停止計(jì)算的誤差閾值的為ε。(2)計(jì)算歐氏距離并求出最小歐式距離的節(jié)點(diǎn):式中，p為樣本序號(hào)，r為中心向量ci(p-1)與輸入樣本x(p)距離最近的隱含層節(jié)點(diǎn)序號(hào)。14(3)調(diào)整RBF神經(jīng)網(wǎng)絡(luò)隱含層徑向基函數(shù)的中心向量：式中，是學(xué)習(xí)速率，。，int(x)表示對(duì)x進(jìn)行取整運(yùn)算。因此經(jīng)過S1個(gè)樣本之后，學(xué)習(xí)速率逐漸減至零。(4)判斷聚類質(zhì)量。當(dāng)滿足時(shí)，聚類結(jié)束，否則轉(zhuǎn)到第(2)步。152.有監(jiān)督學(xué)習(xí)階段確定好隱含層的參數(shù)后，利用最小二乘法原則求出隱含層到輸出層的連接權(quán)wki。當(dāng)ci確定以后，訓(xùn)練隱含層至輸出層之間的連接權(quán)值，由于輸出層傳遞函數(shù)使用的是線性函數(shù)，則求連接權(quán)值的問題即相當(dāng)于線性優(yōu)化問題。因此，與線性網(wǎng)絡(luò)相類似，RBF神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)隱含層到輸出層連接權(quán)值wki的學(xué)習(xí)算法為式中，，yi1(x)為徑向基函數(shù)。η為學(xué)習(xí)速率，通常取。tk和yk分別表示第k個(gè)輸出分量的期望值和實(shí)際值。由于向量y1中只有少量幾個(gè)元素為1，其余均為零，因此在一次數(shù)據(jù)訓(xùn)練中只有少量的連接權(quán)值需要調(diào)整。正是由于這個(gè)特點(diǎn)，才使得RBF神經(jīng)網(wǎng)絡(luò)具有比較快的學(xué)習(xí)速度。另外，由于當(dāng)x遠(yuǎn)離ci時(shí)，yi1(x)非常小，因此可作0對(duì)待。實(shí)際上僅當(dāng)yi1(x)大于某一數(shù)值(例如0.05)時(shí)才對(duì)相應(yīng)的權(quán)值wki進(jìn)行修改，經(jīng)這樣處理后RBF神經(jīng)網(wǎng)絡(luò)也同樣具備局部逼近網(wǎng)絡(luò)學(xué)習(xí)收斂快的優(yōu)點(diǎn)。對(duì)于RBF神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法，關(guān)鍵問題是隱含層節(jié)點(diǎn)中心參數(shù)的合理確定。常用的方法是從給定的訓(xùn)練樣本集里按照某種方法直接選取，或者是采用聚類的方法確定。以下是RBF神經(jīng)網(wǎng)絡(luò)的幾種學(xué)習(xí)算法：161)直接計(jì)算法（隨機(jī)選取RBF神經(jīng)網(wǎng)絡(luò)中心）RBF神經(jīng)網(wǎng)絡(luò)隱含層節(jié)點(diǎn)的中心是隨機(jī)地在輸人樣本中選取，且中心固定。當(dāng)隱含層節(jié)點(diǎn)中心固定時(shí)，隱含層的輸出隨之確定下來，則求解RBF神經(jīng)網(wǎng)絡(luò)隱含層到輸出層的連接權(quán)值就相當(dāng)于求解線性方程組。2)自組織學(xué)習(xí)選取RBF神經(jīng)網(wǎng)絡(luò)中心RBF神經(jīng)網(wǎng)絡(luò)隱含層節(jié)點(diǎn)的中心不是固定不變的，而是需要通過自組織學(xué)習(xí)確定其位置，隱含層到輸出層的連接權(quán)值則是通過有監(jiān)督的學(xué)習(xí)來確定的。自組織學(xué)習(xí)選取RBF神經(jīng)網(wǎng)絡(luò)中心法是采用k均值聚類法來選擇RBF神經(jīng)網(wǎng)絡(luò)的中心，屬于無監(jiān)督的學(xué)習(xí)方法。該方法是對(duì)神經(jīng)網(wǎng)絡(luò)資源的再分配，通過學(xué)習(xí)使RBF神經(jīng)網(wǎng)絡(luò)的隱含層節(jié)點(diǎn)中心位于輸入空間重要的區(qū)域。173)有監(jiān)督學(xué)習(xí)選取RBF神經(jīng)網(wǎng)絡(luò)中心法通過訓(xùn)練樣本集來獲得滿足監(jiān)督要求的RBF神經(jīng)網(wǎng)絡(luò)隱含層節(jié)點(diǎn)中心、隱含層到輸出層連接權(quán)值等參數(shù)。常用的方法是梯度下降法。4)正交最小二乘法選取RBF神經(jīng)網(wǎng)絡(luò)中心法正交最小二乘法（OrthogoalLeastSquare,OLS)的思想來源于線性回歸模型。RBF神經(jīng)網(wǎng)絡(luò)的輸出實(shí)際上是隱含層神經(jīng)元的響應(yīng)參數(shù)(如回歸因子)和隱含層到輸出層連接權(quán)值的線性組合。所有隱含層神經(jīng)元上的回歸因子構(gòu)成回歸向量，因此RBF神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程主要是回歸向量正交化的過程。18在很多實(shí)際問題中，RBF神經(jīng)網(wǎng)絡(luò)隱含層節(jié)點(diǎn)中心并非是訓(xùn)練集中的某些樣本點(diǎn)或樣本的聚類中心，而是需要通過學(xué)習(xí)的方法獲得的，才能使所得到的隱含層節(jié)點(diǎn)中心能夠更好地反應(yīng)訓(xùn)練集數(shù)據(jù)所包含的信息。19(1)RBF神經(jīng)網(wǎng)絡(luò)輸入層到隱含層不是通過權(quán)值和閾值進(jìn)行連接的，而是通過輸入樣本與隱含層節(jié)點(diǎn)中心之間的距離連接的。訓(xùn)練RBF神經(jīng)網(wǎng)絡(luò)時(shí)，需要確定隱含層節(jié)點(diǎn)的個(gè)數(shù)、隱含層徑向基函數(shù)中心、標(biāo)準(zhǔn)化常數(shù)以及隱含層到輸出層的權(quán)值等參數(shù)。到目前為止，求RBF神經(jīng)網(wǎng)絡(luò)隱含層徑向基函數(shù)的中心向量ci和標(biāo)準(zhǔn)化常數(shù)σi是一個(gè)困難的問題。(2)徑向基函數(shù)，即徑向?qū)ΨQ函數(shù)有多種。對(duì)于同一組樣本，如何選擇合適的徑向基函數(shù)、確定隱含層節(jié)點(diǎn)數(shù)等參數(shù)，從而使RBF神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)達(dá)到所要求的精度，目前還無法解決。當(dāng)前，用計(jì)算機(jī)選擇、設(shè)計(jì)、再檢驗(yàn)是一種通用的手段。6.4RBF神經(jīng)網(wǎng)絡(luò)的相關(guān)問題20(3)RBF神經(jīng)網(wǎng)絡(luò)用于非線性系統(tǒng)辨識(shí)與控制，已證明RBF神經(jīng)網(wǎng)絡(luò)具有唯一最佳逼近的特性，且無局部極小值。雖具有唯一最佳逼近的特性，以及無局部極小的優(yōu)點(diǎn)，但隱含層節(jié)點(diǎn)的中心難求，這是RBF神經(jīng)網(wǎng)絡(luò)難以廣泛應(yīng)用的原因。(4)從理論上而言，RBF神經(jīng)網(wǎng)絡(luò)和BP神經(jīng)網(wǎng)絡(luò)一樣可近似任何的連續(xù)非線性函數(shù)。兩者的主要不同點(diǎn)是在非線性映射上采用了不同的作用函數(shù)。BP神經(jīng)網(wǎng)絡(luò)隱含層激活函數(shù)使用的是Sigmoid函數(shù)，其函數(shù)值在輸入空間中無限大的范圍內(nèi)為非零值，即該激活函數(shù)為全局的；而RBF神經(jīng)網(wǎng)絡(luò)隱含層激活函數(shù)使用的是高斯函數(shù)，即它的作用函數(shù)是局部的。21(5)與BP神經(jīng)網(wǎng)絡(luò)收斂速度慢的缺點(diǎn)相反，RBF神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)速度很快，適于在線實(shí)時(shí)控制。這是因?yàn)镽BF神經(jīng)網(wǎng)絡(luò)把一個(gè)難題分解成兩個(gè)較易解決的問題的緣故。首先，通過若干個(gè)隱含層節(jié)點(diǎn)，用聚類方式覆蓋全部樣本模式。然后，修改隱含層到輸出層的連接權(quán)值，以獲得最小映射誤差。這兩步都是比較直觀的。22案列一

給定輸入向量p=

-1:0.1:1和目標(biāo)向量t=[0.05960.68200.04240.07140.52160.09670.81810.81750.72240.14990.65960.51860.97300.64900.80030.45380.43240.82530.08350.1332]，設(shè)計(jì)一個(gè)RBF神經(jīng)網(wǎng)絡(luò)，完成y=f（x）的曲線擬合。6.5應(yīng)用案例23案列一解（1）創(chuàng)建、訓(xùn)練、儲(chǔ)存RBF神經(jīng)網(wǎng)絡(luò)。（2）RBF神經(jīng)網(wǎng)絡(luò)仿真。24案列一（3）結(jié)果輸出。運(yùn)行結(jié)果為：網(wǎng)絡(luò)訓(xùn)練的誤差性能曲線和曲線擬合仿真結(jié)果如圖6-3和圖6-4所示。25案列一

圖6-3網(wǎng)絡(luò)訓(xùn)練的誤差性能曲線26案列一

圖6-4曲線擬合仿真結(jié)果圖6-4中，實(shí)線為訓(xùn)練樣本曲線，“o”為擬合值。26案列二

設(shè)計(jì)一個(gè)RBF神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)如圖6-5所示的兩類模式的分類。