1、二、B-P模型 1、B-P模型 B-P（Back-Propagation）模型是一種用于前向多層神經(jīng)網(wǎng)絡(luò)的反傳學(xué)習(xí)算法，它是目前應(yīng)用最廣且最重要的一種訓(xùn)練前向神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法。 B-P網(wǎng)絡(luò)模型由輸入層、隱層和輸出層三部分組成，其中隱層含有一層或多層。B-P算法主要用于B-P網(wǎng)絡(luò)的訓(xùn)練。B-P網(wǎng)絡(luò)的工作原理是：當(dāng)有信息向網(wǎng)絡(luò)輸入時，信息首先由輸入層傳至隱層節(jié)點，經(jīng)特性函數(shù)作用后，再傳至下一隱層，直到最終傳至輸出層進(jìn)行輸出，其間每經(jīng)過一層都要由相應(yīng)的特性函數(shù)進(jìn)行變換。節(jié)點的特性函數(shù)要求是可微的，通常選用S型函數(shù)，即,2、B-P算法 下面討論B-P算法的學(xué)習(xí)過程： 學(xué)習(xí)的目的是對網(wǎng)絡(luò)的連接權(quán)值進(jìn)行

2、調(diào)整，使得對任何一個輸入都能得到所期望的輸出。 學(xué)習(xí)的方法是用一組訓(xùn)練樣例對網(wǎng)絡(luò)進(jìn)行訓(xùn)練，每一個樣例都包括輸入及期望的輸出兩部分。 學(xué)習(xí)訓(xùn)練過程：首先，把樣例的輸入信息輸入到網(wǎng)絡(luò)中，由網(wǎng)絡(luò)自第一個隱層開始逐層地進(jìn)行計算，并向下一層傳遞，直到傳至輸出層，其間每一層神經(jīng)元只影響到下一層,神經(jīng)元的狀態(tài)。然后，以其輸出與樣例的期望輸出進(jìn)行比較，如果它們的誤差不能滿足要求，則沿著原來的連接通路逐層返回，并利用兩者的誤差按一定的原則對各層節(jié)點的連接權(quán)值進(jìn)行調(diào)整，使誤差逐步減小，直到滿足要求為止。 由上述訓(xùn)練過程不難看出：B-P算法的學(xué)習(xí)過程是由正向傳播與反向傳播組成的。正向傳播用于進(jìn)行網(wǎng)絡(luò)計算，對某一輸入

3、求出它的輸出；反向傳播用于逐層傳遞誤差，修改連接權(quán)值，以便網(wǎng)絡(luò)能進(jìn)行正確的計算。,B-P算法學(xué)習(xí)的具體步驟： （1）從訓(xùn)練樣例集中取一樣例，把輸入信息輸入到網(wǎng)絡(luò)中。 （2）由網(wǎng)絡(luò)分別計算各層節(jié)點的輸出。 （3）計算網(wǎng)絡(luò)的實際輸出與期望輸出的誤差。 （4）從輸出層反向計算到第一個隱層，按一定原則向減小誤差方向調(diào)整網(wǎng)絡(luò)的各個連接權(quán)值。 （5）對訓(xùn)練樣例集中的每一個樣例重復(fù)以上步驟，直到對整個訓(xùn)練樣例集的誤差達(dá)到要求時為止。 以上步驟中，關(guān)鍵是第（4）步，必須確定如何沿減小誤差的方向調(diào)整連接權(quán)值。,設(shè)： 為節(jié)點 的輸出，； 為節(jié)點 的輸入； 為節(jié)點 到節(jié)點 的連接權(quán)值； ， 分別為輸出層上節(jié)點k的實

4、際輸出（由網(wǎng)絡(luò)計算得到的輸出）及期望輸出； 為輸入到輸出的變換函數(shù)； 和 分別為時刻 和 從節(jié)點 到節(jié)點 的連接權(quán)值； 為權(quán)值的變化量； 為增益因子，或稱為學(xué)習(xí)率。,則：對于節(jié)點 輸入為： 輸出為： 誤差函數(shù)為： 連接權(quán)值的修改由下式計算： 下面采用梯度下降法來確定 ，即連接權(quán)值的變化沿著 的梯度變化方向調(diào)整，一般取,其中： 由于 所以有： 設(shè) 所以有：,下面分兩種情況計算 （1）節(jié)點 是輸出層上的節(jié)點 此時 則,由于,所以,（1）,（2）節(jié)點不是輸出層上的節(jié)點 其中 其中 表示輸出節(jié)點 所以 （2）,這表明：內(nèi)層節(jié)點的 值是通過上一層節(jié)點的 值來計算的。也就是說：首先由（1）式計算出輸出層上

5、各節(jié)點的 值，并將它反傳到較低層上，然后用（2）式計算出各較低層上節(jié)點的 值。 下面給出一個簡單反傳網(wǎng)絡(luò)，來說明反傳時的 值的計算方法。,由圖可以看出： （1）計算,（2）計算,同樣可以按照上述權(quán)值的學(xué)習(xí)方式對閥值 進(jìn)行學(xué)習(xí)，只要把 設(shè)想為神經(jīng)元的連接權(quán)值，其輸入信號總是單位值1就可以了。 B-P算法是一個有效的算法，許多問題都可以用它來解決。由于它具有理論依據(jù)堅實，推導(dǎo)過程嚴(yán)謹(jǐn)、物理概念清晰及通用性好等優(yōu)點，使它至今仍然是前向網(wǎng)絡(luò)學(xué)習(xí)的主要算法，但BP算法也存在一些不足之處。 該學(xué)習(xí)算法的收斂速度非常慢，常常需要成千上萬次迭代，而且隨著訓(xùn)練樣例維數(shù)的增加網(wǎng)絡(luò)性能變差。 從數(shù)學(xué)上看它是一種梯度

6、最速下降法，這就有可能出現(xiàn)局部極小問題。當(dāng)局部極小點產(chǎn)生時，B-P算法所求得的解就不是問題的解，故B-P算法是不完備的。,網(wǎng)絡(luò)中隱節(jié)點個數(shù)的選取尚無理論上的指導(dǎo)。 當(dāng)有新樣例加入時，將會影響到已學(xué)習(xí)過的樣例，而且要求刻畫每個輸入樣例的特征數(shù)目相同。 三、Hopfield模型及算法 1、Hopfield模型 Hopfield模型是Hopfield分別于1982年和1984年提出的兩個神經(jīng)網(wǎng)絡(luò)模型，一個是離散的，一個是連續(xù)的，它們都屬于反饋網(wǎng)絡(luò)，即從輸入層至輸出層都有反饋存在，如圖為一個單層反饋神經(jīng)網(wǎng)絡(luò)。,Hopfield提出的離散網(wǎng)絡(luò)模型是一個離散時間系統(tǒng)，每個神經(jīng)元只有1和-1（或1和0）兩種

7、狀態(tài)，由連接權(quán)值 所構(gòu)成的矩陣是一個零對角的對稱矩陣，即 在該網(wǎng)絡(luò)中，每當(dāng)有信息進(jìn)入輸入層時，在輸入層不做任何計算，直接將輸入信息分布地傳遞給下一層各有關(guān)節(jié)點。若用 表示節(jié)點 在時刻 的狀態(tài)，則該節(jié)點在下一時刻的狀態(tài)由下式?jīng)Q定：,其中 為從節(jié)點 到節(jié)點 的連接權(quán)值 為節(jié)點 的閥值 Hopfield離散網(wǎng)絡(luò)模型有異步和同步兩種工作方式，異步方式是指在任一時刻 只有一個神經(jīng)元 發(fā)生狀態(tài)變化，而其它 個神經(jīng)元保持狀態(tài)不變，即 同步方式是指在任何一時刻，至少有多于一個神經(jīng)元同時改變狀態(tài)。,在反饋網(wǎng)絡(luò)中，由于網(wǎng)絡(luò)的輸出要反復(fù)地作為輸入送入網(wǎng)絡(luò)中，這就使得網(wǎng)絡(luò)的狀態(tài)在不斷改變，因而就提出了網(wǎng)絡(luò)的穩(wěn)定性問題

8、。一個網(wǎng)絡(luò)是穩(wěn)定的，是指從某一時刻開始，網(wǎng)絡(luò)的狀態(tài)不再改變。設(shè)用 表示網(wǎng)絡(luò)在時刻 的狀態(tài)，如果從 的任一初態(tài) 開始，存在一個有限的時刻 ，使得從此時刻開始神經(jīng)網(wǎng)絡(luò)的狀態(tài)不再發(fā)生變化，即， 就稱該網(wǎng)絡(luò)是穩(wěn)定的。 若輸出層只有兩個節(jié)點，并用1和0分別表示每個節(jié)點的狀態(tài)，則整個網(wǎng)絡(luò)共有四種狀態(tài)，即00、01、10、11。若輸出層有三個節(jié)點，則整個網(wǎng)絡(luò)共有八種狀態(tài)，每個狀態(tài)是一個三位二進(jìn)制數(shù)。,立方體的每一個頂角代表一個網(wǎng)絡(luò)狀態(tài)。一般來說，如果在輸出層有n個神經(jīng)元，則網(wǎng)絡(luò)就有 個狀態(tài)，它可以與一個n維超立體的頂角相聯(lián)系。當(dāng)有一個輸入向量輸入到網(wǎng)絡(luò)后，網(wǎng)絡(luò)的迭代過程就不斷地從一個頂角轉(zhuǎn)向另一個頂角，直至

9、穩(wěn)定于一個頂角為止。如果網(wǎng)絡(luò)的輸入不完全或只有部分正確，則網(wǎng)絡(luò)將穩(wěn)定于所期望頂角附近的一個頂角那里。,2、Hopfield模型的算法 （1）設(shè)置互連權(quán)值 其中 為S類樣例的第 個分量，可取值為（或1和0），樣例類別數(shù)為 ，節(jié)點數(shù)為 。 （2）未知類別樣本初始化 其中 為節(jié)點 在時刻 的輸出， 就是節(jié)點 的初始值， 為輸入樣本的第 個分量。,（3）迭代直到收斂 該過程將一直重復(fù)進(jìn)行，直到進(jìn)一步的迭代不再改變節(jié)點的輸出為止。 （4）轉(zhuǎn)（2）繼續(xù)進(jìn)行。 Hopfield網(wǎng)絡(luò)是一種非線性的動力學(xué)網(wǎng)絡(luò)，它通過反復(fù)運算這一動態(tài)過程求解問題。Hopfield網(wǎng)絡(luò)可用于復(fù)雜優(yōu)化問題的求解，例如TSP（旅行推銷

10、員問題Traveling Salesman Problem）。TSP是指給定N個城市，要求找出一條能夠到達(dá)各個城市但又可重復(fù)詢問的最短路徑。對該問題，若用窮盡搜索的方法求解，則運算將隨城市數(shù)N的增加呈指數(shù)性,增長，若用Hopfield網(wǎng)絡(luò)求解這個問題，就可把最短路徑問題化為一個網(wǎng)絡(luò)能量求極小的問題，這個動態(tài)系統(tǒng)的最后運行結(jié)果就是問題的解。用這種方法求解的解不一定最優(yōu)，而是某條較短路徑。 Hopfield模型的不足之處是：（1）很難精確分析網(wǎng)絡(luò)的性能；（2）其動力學(xué)行為比較簡單。,神經(jīng)網(wǎng)絡(luò)直接控制器的設(shè)計 ANN控制器設(shè)計,(1) 傳統(tǒng)PID作教師訓(xùn)練網(wǎng)絡(luò),uNN=f(w *F(w * xi)

11、uPID=u(t)+Kp*e(t)+KIe(t)+KD .,(2) ANN自學(xué)習(xí)控制,u (t)=u*(t) * KP=KP*f(w1*F(w2*E),二、神經(jīng)網(wǎng)絡(luò)間接間控控器設(shè)計 ANN自適應(yīng)控制 ANN模型預(yù)測控制 ANN專家系統(tǒng)控制 模糊神經(jīng)網(wǎng)絡(luò)控制 混合神經(jīng)網(wǎng)絡(luò)控制 ANN自適應(yīng)控制（自適應(yīng)控制） 原理：用一個神經(jīng)網(wǎng)絡(luò)做控制器, 用另一個神經(jīng)網(wǎng)絡(luò)建模,ANN2,R,+,_,e=x,u(t),z,ZZ,y,y,+,_,e,結(jié)構(gòu)：,工作過程：ANN1控制器： (1) ANN2模型： (2) 其中 W1，W2表示控制器網(wǎng)絡(luò)的權(quán)值 V1，V2表示模型網(wǎng)絡(luò)的權(quán)值 X=（e1(t),e2(t),en(t)）控制網(wǎng)絡(luò)輸入信號 Z=（u(t),u(t-1),y(t-1),y(t-n)）模型網(wǎng)絡(luò)的輸入 定義學(xué)