1、合,Artificial Neural Network 人工神經(jīng)網(wǎng)絡(luò),協(xié) 同 形 成 結(jié) 構(gòu),競 爭 促 進 發(fā) 展,合,第3章 多層前向網(wǎng)絡(luò)及BP學(xué)習(xí)算法,3.1多層感知器 3.2 BP學(xué)習(xí)算法 3.3 徑向基網(wǎng)絡(luò) 3.4 仿真實例,合,3.1多層感知器,單層感知器只能解決線性可分的分類問題，要增強網(wǎng)絡(luò)的分類能力唯一的方法是采用多層網(wǎng)絡(luò)，即在輸入與輸出層之間加上隱含層，從而構(gòu)成多層感知器（Multilayer Perceptrons，MLP）。這種由輸入層、隱含層（一層或者多層）和輸出層構(gòu)成的神經(jīng)網(wǎng)絡(luò)稱為多層前向神經(jīng)網(wǎng)絡(luò)。,合,多層感知器,多層前向神經(jīng)網(wǎng)絡(luò)輸入層中的每個源節(jié)點的激勵模式（輸入

2、向量）單元組成了應(yīng)用于第二層（如第一隱層）中神經(jīng)元（計算節(jié)點）的輸入信號，第二層輸出信號成為第三層的輸入，其余層類似。網(wǎng)絡(luò)每一層的神經(jīng)元只含有作為它們輸入前一層的輸出信號，網(wǎng)絡(luò)輸出層（終止層）神經(jīng)元的輸出信號組成了對網(wǎng)絡(luò)中輸入層（起始層）源節(jié)點產(chǎn)生的激勵模式的全部響應(yīng)。即信號從輸入層輸入，經(jīng)隱層傳給輸出層，由輸出層得到輸出信號。,合,多層感知器,合,多層感知器,多層感知器同單層感知器相比具有四個明顯的特點： （1）除了輸入輸出層，多層感知器含有一層或多層隱單元，隱單元從輸入模式中提取更多有用的信息，使網(wǎng)絡(luò)可以完成更復(fù)雜的任務(wù)。 （2）多層感知器中每個神經(jīng)元的激勵函數(shù)是可微的Sigmoid函數(shù)，

3、如：,合,多層感知器,（3）多層感知器的多個突觸使得網(wǎng)絡(luò)更具連通性，連接域的變化或連接權(quán)值的變化都會引起連通性的變化。 （4）多層感知器具有獨特的學(xué)習(xí)算法，該學(xué)習(xí)算法就是著名的BP算法，所以多層感知器也常常被稱之為BP網(wǎng)絡(luò)。 多層感知器所具有的這些特點，使得它具有強大的計算能力。多層感知器是目前應(yīng)用最為廣泛的一種神經(jīng)網(wǎng)絡(luò)。,合,3.2 BP學(xué)習(xí)算法,反向傳播算法(Back-Propagation algorithm, BP) BP學(xué)習(xí)過程： （1）工作信號正向傳播：輸入信號從輸入層經(jīng)隱單元，傳向輸出層，在輸出端產(chǎn)生輸出信號，這是工作信號的正向傳播。在信號的向前傳遞過程中網(wǎng)絡(luò)的權(quán)值是固定不變的，

4、每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)。如果在輸出層不能得到期望的輸出，則轉(zhuǎn)入誤差信號反向傳播。,合,BP學(xué)習(xí)算法,（2）誤差信號反向傳播：網(wǎng)絡(luò)的實際輸出與期望輸出之間差值即為誤差信號，誤差信號由輸出端開始逐層向后傳播，這是誤差信號的反向傳播。在誤差信號反向傳播的過程中，網(wǎng)絡(luò)的權(quán)值由誤差反饋進行調(diào)節(jié)。通過權(quán)值的不斷修正使網(wǎng)絡(luò)的實際輸出更接近期望輸出。,合,合,合,神經(jīng)元的輸入用u表示，激勵輸出用v表示，u, v的上標表示層，下標表示層中的某個神經(jīng)元，如 表示I層（即第1隱層）的第i個神經(jīng)元的輸入。設(shè)所有的神經(jīng)元的激勵函數(shù)均用Sigmoid函數(shù)。設(shè)訓(xùn)練樣本集為X=X1,X2,Xk，,XN，對

5、應(yīng)任一訓(xùn)練樣本: Xk= xk1,xk2, kMT，（k=1,2,N）的實際輸出為: Yk= yk1, yk2,ykPT，期望輸出為dk= dk1,dk2, dkPT。設(shè)n為迭代次數(shù)，權(quán)值和實際輸出是n的函數(shù)。,合,工作信號的正向傳播過程：,合,輸出層第p個神經(jīng)元的誤差信號為：,定義神經(jīng)元p的誤差能量為： 則輸出層所有神經(jīng)元的誤差能量總和為：,合,誤差信號的反向傳播過程：,（1）隱層J與輸出層P之間的權(quán)值修正量,因為：,合,設(shè)局部梯度：,當激勵函數(shù)為S型函數(shù)時有：,合,可求得：,合,（2）隱層I與隱層J之間的權(quán)值修正量：,設(shè)局部梯度為：,合,合,（3）與隱層I和隱層J之間的權(quán)值修正量推導(dǎo)方法相

6、同，輸入層M上任一節(jié)點與隱層I上任一節(jié)點之間權(quán)值的修正量為：,其中：,合,BP學(xué)習(xí)算法步驟,第一步：設(shè)置變量和參量 第二步：初始化，賦給WMI (0), WIJ (0), WJP (0),各一個較小的隨機非零值 第三步：隨機輸入樣本Xk ，n=0。 第四步：對輸入樣本Xk ，前向計算BP網(wǎng)絡(luò)每層神經(jīng)元的輸入信號u和輸出信號v 第五步：由期望輸出dk和上一步求得的實際輸出 Yk (n)計算誤差E(n)，判斷其是否滿足要求，若滿足轉(zhuǎn)至第八步；不滿足轉(zhuǎn)至第六步。,合,BP學(xué)習(xí)算法步驟（續(xù)）,第六步：判斷n+1是否大于最大迭代次數(shù)，若大于轉(zhuǎn)至第八步，若不大于，對輸入樣本Xk ，反向計算每層神經(jīng)元的局部

7、梯度 第七步：計算權(quán)值修正量，修正權(quán)值；n=n+1，轉(zhuǎn)至第四步 第八步：判斷是否學(xué)完所有的訓(xùn)練樣本，是則結(jié)束，否則轉(zhuǎn)至第三步。,合,BP學(xué)習(xí)，需要注意幾點：, BP學(xué)習(xí)時權(quán)值的初始值是很重要的。初始值過大，過小都會影響學(xué)習(xí)速度，因此權(quán)值的初始值應(yīng)選為均勻分布的小數(shù)經(jīng)驗值，大概為（2.4/F，2.4/F）之間（也有人建議在 之間），其中F為所連單元的輸入端個數(shù)。另外，為避免每一步權(quán)值的調(diào)整方向是同向的（即權(quán)值同時增加或同時減少），應(yīng)將初始權(quán)值設(shè)為隨機數(shù)。,合, 神經(jīng)元的激勵函數(shù)是Sigmoid函數(shù)，如果Sigmoid函數(shù)的漸進值為+和，則期望輸出只能趨于+和，而不能達到+和。為避免學(xué)習(xí)算法不收斂

8、，提高學(xué)習(xí)速度，應(yīng)設(shè)期望輸出為相應(yīng)的小數(shù)，如邏輯函數(shù)其漸進值為1和0，此時應(yīng)設(shè)相應(yīng)的期望輸出為0.99和0.01等小數(shù)，而不應(yīng)設(shè)為1和0。,合, 用BP算法訓(xùn)練網(wǎng)絡(luò)時有兩種方式，一種是順序方式，即每輸入一個訓(xùn)練樣本修改一次權(quán)值；以上給出的BP算法步驟就是按順序方式訓(xùn)練網(wǎng)絡(luò)的。另一種是批處理方式，即待組成一個訓(xùn)練周期的全部樣本都一次輸入網(wǎng)絡(luò)后，以總的平均誤差能量Eav為學(xué)習(xí)目標函數(shù)修正權(quán)值的訓(xùn)練方式。 ekp為網(wǎng)絡(luò)輸入第k個訓(xùn)練樣本時輸出神經(jīng)元p的誤差，N為訓(xùn)練樣本的個數(shù)。,合, BP學(xué)習(xí)中，學(xué)習(xí)步長的選擇比較重要。值大權(quán)值的變化就大，則BP學(xué)習(xí)的收斂速度就快，但是值過大會引起振蕩即網(wǎng)絡(luò)不穩(wěn)定；

9、小可以避免網(wǎng)絡(luò)不穩(wěn)定，但是收斂速度就慢了。要解決這一矛盾最簡單的方法是加入“動量項” 。 要計算多層感知器的局部梯度，需要知道神經(jīng)元的激勵函數(shù)的導(dǎo)數(shù)。,合, 在BP算法第五步需要判斷誤差E(n)是否滿足要求，這里的要求是：對順序方式，誤差小于我們設(shè)定的值，即|E(n)|； 對批處理方式，每個訓(xùn)練周期的平均誤差Eav其變化量在0.1%到1%之間，我們就認為誤差滿足要求了。 在分類問題中，我們會碰到屬于同一類的訓(xùn)練樣本有幾組，在第一步設(shè)置變量時，一般使同一類的訓(xùn)練樣本其期望輸出相同。,合,BP學(xué)習(xí)算法的改進,在實際應(yīng)用中BP算法存在兩個重要問題：收斂速度慢，目標函數(shù)存在局部極小點。 改善BP算法的

10、一些主要的措施： （1） 加入動量項,合,本次修正量wij (n)是一系列加權(quán)指數(shù)序列的和。當動量常數(shù)滿足 ，序列收斂，當 上式不含動量項。 當本次的 與前一次同符號時，其加權(quán)求和值增大，使wij (n)較大，從而在穩(wěn)定調(diào)節(jié)時加快了w的調(diào)節(jié)速度。 當 與前次符號相反時，指數(shù)加權(quán)求和結(jié)果使wij (n)減小了，起到了穩(wěn)定作用。,合,(2) 盡可能使用順序方式訓(xùn)練網(wǎng)絡(luò)。順序方式訓(xùn)練網(wǎng)絡(luò)要比批處理方式更快，特別是在訓(xùn)練樣本集很大，而且具有重復(fù)樣本時，順序方式的這一優(yōu)點更為突出。值得一提的是，使用順序方式訓(xùn)練網(wǎng)絡(luò)以解決模式分類問題時，要求每一周期的訓(xùn)練樣本其輸入順序是隨機的，這樣做是為了盡可能使連續(xù)輸

11、入的樣本不屬于同一類。,合,(3) 選用反對稱函數(shù)作激勵函數(shù)。當激勵函數(shù)為反對稱函數(shù)（即f (u) = f (u)）時，BP算法的學(xué)習(xí)速度要快些。最常用的反對稱函數(shù)是雙曲正切函數(shù)： 一般取，,合,合,(4) 規(guī)一化輸入信號。當所有訓(xùn)練樣本的輸入信號都為正值時，與第一隱層神經(jīng)元相連的權(quán)值只能同時增加或同時減小，從而導(dǎo)致學(xué)習(xí)速度很慢。為避免出現(xiàn)這種情況，加快網(wǎng)絡(luò)的學(xué)習(xí)速度，可以對輸入信號進行歸一化，使得所有樣本的輸入信號其均值接近零或與其標準方差相比非常小。,合,合,(5) 充分利用先驗信息。樣本訓(xùn)練網(wǎng)絡(luò)的目的為了獲得未知的輸入輸出函數(shù)，學(xué)習(xí)就是找出樣本中含有的有關(guān)的信息，從而推斷出逼近的函數(shù)。在

12、學(xué)習(xí)過程中可以利用的先驗知識例如方差、對稱性等有關(guān)的信息，從而加快學(xué)習(xí)速度、改善逼近效果。 (6) 調(diào)整學(xué)習(xí)步長使網(wǎng)絡(luò)中各神經(jīng)元的學(xué)習(xí)速度相差不多。一般說來輸出單元的局部梯度比輸入端的大，可使前者的步長小些。還有，有較多輸入端的神經(jīng)元其比有較少輸入端的神經(jīng)元其小些。,合,3.3 徑向基網(wǎng)絡(luò),1985年，Powell提出了多變量插值的徑向基函數(shù)（Radial-Basis Function, RBF）方法。1988年，Broomhead和Lowe首先將RBF應(yīng)用于神經(jīng)網(wǎng)絡(luò)設(shè)計，構(gòu)成了徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)，即RBF神經(jīng)網(wǎng)絡(luò)。 結(jié)構(gòu)上看，RBF神經(jīng)網(wǎng)絡(luò)屬于多層前向神經(jīng)網(wǎng)絡(luò)。它是一種三層前向網(wǎng)絡(luò)，輸入層由

13、信號源節(jié)點組成；第二層為隱含層，隱單元的個數(shù)由所描述的問題而定，隱單元的變換函數(shù)是對中心點徑向?qū)ΨQ且衰減的非負非線性函數(shù)；第三層為輸出層，它對輸入模式的作用做出響應(yīng)。,合,徑向基網(wǎng)絡(luò),RBF神經(jīng)網(wǎng)絡(luò)的基本思想是：用徑向基函數(shù)（RBF）作為隱單元的“基”，構(gòu)成隱含層空間，隱含層對輸入矢量進行變換，將低維的模式輸入數(shù)據(jù)變換到高維空間內(nèi)，通過對隱單元輸出的加權(quán)求和得到輸出。 RBF神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)簡單、訓(xùn)練簡潔而且學(xué)習(xí)收斂速度快，能夠逼近任意非線性函數(shù)。因此RBF網(wǎng)絡(luò)有較為廣泛的應(yīng)用。如時間序列分析，模式識別，非線性控制和圖像處理等。,合,3.3.1 RBF神經(jīng)網(wǎng)絡(luò)模型,RBF網(wǎng)絡(luò)是單隱層的前向網(wǎng)絡(luò)，它

14、由三層構(gòu)成：第一層是輸入層，第二層是隱含層，第三層是輸出層。根據(jù)隱單元的個數(shù)，RBF網(wǎng)絡(luò)有兩種模型：正規(guī)化網(wǎng)絡(luò)（Regularization Network）和廣義網(wǎng)絡(luò)（Generalized Network）。 （1）正規(guī)化網(wǎng)絡(luò) 正規(guī)化網(wǎng)絡(luò)的隱單元就是訓(xùn)練樣本，所以正規(guī)化網(wǎng)絡(luò)其隠單元的個數(shù)與訓(xùn)練樣本的個數(shù)相同。,合,合,當網(wǎng)絡(luò)輸入訓(xùn)練樣本Xk時，網(wǎng)絡(luò)第j個輸出神經(jīng)元的實際輸出為： 一般“基函數(shù)”選為格林函數(shù)記為： 當格林函數(shù)G(Xk , Xi)為高斯函數(shù)時：,合,（2）廣義網(wǎng)絡(luò),正規(guī)化網(wǎng)絡(luò)的訓(xùn)練樣本Xi與“基函數(shù)” (Xk , Xi)是一一對應(yīng)的，當N很大時，網(wǎng)絡(luò)的實現(xiàn)復(fù)雜，且在求解網(wǎng)絡(luò)的權(quán)

15、值時容易產(chǎn)生病態(tài)問題（ill conditioning）。解決這一問題的方法是減少隱層神經(jīng)元的個數(shù)。,合,隱層個數(shù)小于訓(xùn)練樣本數(shù),合,當網(wǎng)絡(luò)輸入訓(xùn)練樣本Xk時，網(wǎng)絡(luò)第j個輸出神經(jīng)元的實際輸出為：,當“基函數(shù)”為高斯函數(shù)時：,合,3.3.2 RBF網(wǎng)絡(luò)的學(xué)習(xí)算法,RBF網(wǎng)絡(luò)要學(xué)習(xí)的參數(shù)有三個：中心、方差和權(quán)值。根據(jù)徑向基函數(shù)中心選取方法的不同，RBF網(wǎng)絡(luò)有多種學(xué)習(xí)方法，其中最常用的四種學(xué)習(xí)方法有：隨機選取中心法，自組織選取中心法，有監(jiān)督選取中心法和正交最小二乘法。 自組織選取中心法由兩個階段構(gòu)成： 自組織學(xué)習(xí)階段，即學(xué)習(xí)隱層基函數(shù)的中心與方差的階段。 有監(jiān)督學(xué)習(xí)階段，即學(xué)習(xí)輸出層權(quán)值的階段。,合

16、,（1）學(xué)習(xí)中心,自組織學(xué)習(xí)過程要用到聚類算法，常用的聚類算法是K均值聚類算法。假設(shè)聚類中心有I個（I的值由先驗知識決定），設(shè)ti (n)（i=1,2,I）是第n次迭代時基函數(shù)的中心，K均值聚類算法具體步驟如下： 第一步：初始化聚類中心，即根據(jù)經(jīng)驗從訓(xùn)練樣本集中隨機選取I個不同的樣本作為初始中心ti (0) （i=1,2,I）。,合,第二步：隨機輸入訓(xùn)練樣本Xk。 第三步：尋找訓(xùn)練樣本Xk離哪個中心最近，即找到 i (Xk)使其滿足 第四步：調(diào)整基函數(shù)的中心。 第五步：n=n+1轉(zhuǎn)到第二步，直到學(xué)完所有的訓(xùn)練樣本且中心的分布不再變化。,合,（2）確定方差,當RBF選用高斯函數(shù)，即： 方差為：

17、I為隱單元的個數(shù)，dmax為所選取中心之間的最大距離。,合,（3）學(xué)習(xí)權(quán)值,權(quán)值的學(xué)習(xí)可以用LMS方法，也可以直接用偽逆的方法求解，即： 式中D=d1, dk, dNT是期望響應(yīng)，G+是矩陣G的偽逆,合,需注意幾點：, K均值聚類算法的終止條件是網(wǎng)絡(luò)學(xué)完所有的訓(xùn)練樣本且中心的分布不再變化。在實際應(yīng)用中只要前后兩次中心的變化小于預(yù)先設(shè)定的值即|ti (n+1)-ti (n)|（i=1,2,I），就認為中心的分布不再變化了。 “基函數(shù)” (X , Xi) 除了選用高斯函數(shù)外也可使用多二次函數(shù)和逆多二次函數(shù)等中心點徑向?qū)ΨQ的函數(shù)。,合, 我們在介紹自組織選取中心法時設(shè)所有的基函數(shù)其方差都是相同的，實

18、際上每個基函數(shù)都有自己的方差，需要在訓(xùn)練過程中根據(jù)自身的情況確定。 K均值聚類算法實際上是自組織映射競爭學(xué)習(xí)過程的特例。它的缺點是過分依賴于初始中心的選擇，容易陷入局部最優(yōu)值。為克服此問題，Chen于1995年提出了一種改進的K均值聚類算法，這種算法使聚類不依賴初始中心的位置，最終可以收斂于最優(yōu)解或次優(yōu)解。,合,3.3.3 RBF網(wǎng)絡(luò)與多層感知器的比較,RBF網(wǎng)絡(luò)與多層感知器都是非線性多層前向網(wǎng)絡(luò)，它們都是通用逼近器。對于任一個多層感知器，總存在一個RBF網(wǎng)絡(luò)可以代替它，反之亦然。但是，這兩個網(wǎng)絡(luò)也存在著很多不同點： RBF網(wǎng)絡(luò)只有一個隱層，而多層感知器的隱層可以是一層也可以是多層的。 多層感知器的隱層和輸出層其神經(jīng)元模型是一樣的。而RBF網(wǎng)絡(luò)的隱層神經(jīng)元和輸出層神經(jīng)元不僅模型不同，而且在網(wǎng)絡(luò)中起到的作用也不一樣。,合, R