1、改進(jìn)BP神經(jīng)網(wǎng)絡(luò)與MATLAB實現(xiàn) 江西師范大學(xué) 2012.6.11,1,專業(yè)參考,1：BP神經(jīng)網(wǎng)絡(luò)的概述 2：BP神經(jīng)網(wǎng)絡(luò)的標(biāo)準(zhǔn)訓(xùn)練學(xué)習(xí) 3：在MATLAB軟件上運行幾個程序 4：基于Levenberg-Marquardt算法的學(xué)習(xí)優(yōu) 化（阻尼最小二乘法） 5：基于蟻群算法的初始權(quán)值優(yōu)化 6：經(jīng)過4 和 5 優(yōu)化后的 仿真試驗（發(fā) 動機(jī)性能趨勢分析和故障診斷中的應(yīng)用） 7：總結(jié),2,專業(yè)參考,多元函數(shù)圖示,一元函數(shù),X,.,R,二元函數(shù),x,y,o,R,.,f,D,.,f,.,三元函數(shù),x,y,z,o,.,R,.,f,X,X,I,矩形的面積 S = xy,長方體體積 V = xyz,3,專業(yè)

2、參考,多元函數(shù)圖示,x,R,.,.,4,專業(yè)參考,多元函數(shù)及其圖形,多元函數(shù)及其圖形,5,專業(yè)參考,6,專業(yè)參考,BP神經(jīng)網(wǎng)絡(luò)模型,激活函數(shù) 必須處處可導(dǎo) 一般都使用S型函數(shù) 使用S型激活函數(shù)時BP網(wǎng)絡(luò)輸入與輸出關(guān)系 輸入 輸出,7,專業(yè)參考,BP神經(jīng)網(wǎng)絡(luò)模型,輸出的導(dǎo)數(shù),根據(jù)S型激活函數(shù)的圖形可知,對神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，應(yīng)該將net的值盡量控制在收斂比較快的范圍內(nèi),8,專業(yè)參考,9,專業(yè)參考,網(wǎng)絡(luò)結(jié)構(gòu) 輸入層有n個神經(jīng)元，隱含層有p個神經(jīng)元, 輸出層有q個神經(jīng)元 變量定義 輸入向量; 隱含層輸入向量； 隱含層輸出向量; 輸出層輸入向量; 輸出層輸出向量; 期望輸出向量;,10,專業(yè)參考,輸入層

3、與中間層的連接權(quán)值: 隱含層與輸出層的連接權(quán)值: 隱含層各神經(jīng)元的閾值: 輸出層各神經(jīng)元的閾值: 樣本數(shù)據(jù)個數(shù): 激活函數(shù): 誤差函數(shù)：,11,專業(yè)參考,第一步，網(wǎng)絡(luò)初始化 給各連接權(quán)值分別賦一個區(qū)間（-1，1）內(nèi)的隨機(jī)數(shù)，設(shè)定誤差函數(shù)e，給定計算精度值 和最大學(xué)習(xí)次數(shù)M。 第二步,隨機(jī)選取第 個輸入樣本及對應(yīng)期望輸出,12,專業(yè)參考,第三步，計算隱含層各神經(jīng)元的輸入和輸出,13,專業(yè)參考,第四步，利用網(wǎng)絡(luò)期望輸出和實際輸出，計算誤差函數(shù)對輸出層的各神經(jīng)元的偏導(dǎo)數(shù) 。,14,專業(yè)參考,第五步，利用隱含層到輸出層的連接權(quán)值、輸出層的 和隱含層的輸出計算誤差函數(shù)對隱含層各神經(jīng)元的偏導(dǎo)數(shù),15,專業(yè)

4、參考,16,專業(yè)參考,第六步，利用輸出層各神經(jīng)元的 和隱含層各神經(jīng)元的輸出來修正連接權(quán)值,17,專業(yè)參考,第七步，利用隱含層各神經(jīng)元的 和輸入層各神經(jīng)元的輸入修正連接權(quán)。,18,專業(yè)參考,第八步，計算全局誤差 第九步，判斷網(wǎng)絡(luò)誤差是否滿足要求。當(dāng)誤差達(dá)到預(yù)設(shè)精度或?qū)W習(xí)次數(shù)大于設(shè)定的最大次數(shù)，則結(jié)束算法。否則，選取下一個學(xué)習(xí)樣本及對應(yīng)的期望輸出，返回到第三步，進(jìn)入下一輪學(xué)習(xí)。,19,專業(yè)參考,BP算法直觀解釋 情況1的直觀表達(dá) 當(dāng)誤差對權(quán)值的偏 導(dǎo)數(shù)大于零時，權(quán)值 調(diào)整量為負(fù)，實際輸 出大于期望輸出， 權(quán)值向減少方向調(diào)整， 使得實際輸出與期望 輸出的差減少。,20,專業(yè)參考,BP算法直解釋 情況

5、2的直觀表達(dá) 當(dāng)誤差對權(quán)值的偏導(dǎo)數(shù) 小于零時，權(quán)值調(diào)整量 為正，實際輸出少于期 望輸出，權(quán)值向增大方向 調(diào)整，使得實際輸出與期 望輸出的差減少。,21,專業(yè)參考,梯度下降法,22,專業(yè)參考,一、無約束優(yōu)化的古典分析法 無約束優(yōu)化問題可表示為 min f (x1, x2, , xn) xiR，i = 1, 2, , n 如果令 x = (x1, x2, , xn)T，則無約束優(yōu)化問題為 min f (x) xRn,23,專業(yè)參考,關(guān)于 f (x)： 當(dāng) x = (x) 時，f (x) 是一條曲線； 當(dāng) x = (x1, x2)T 時，f (x1, x2) 是一個曲面； 當(dāng) x = (x1, x2

6、, x3)T 時，f (x1, x2, x3) 是一個體密度(或類位勢函數(shù))； 當(dāng) x = (x1, x2, , xn)T 時，f (x1, x2, , xn) 是一個超曲面。,24,專業(yè)參考,設(shè)函數(shù) f (x) = f (x1, ., xn) 對所有變元都有一階與二階連續(xù)偏導(dǎo)數(shù)，則 稱 n 個一階偏導(dǎo)數(shù)構(gòu)成的 n 維列向量為 f.(x) 的梯度，記作 稱滿足 f (x0) = 0 的點 x0 為函數(shù) f (x) 的駐點或臨界點。,25,專業(yè)參考, 稱 n2 個二階偏導(dǎo)數(shù)構(gòu)成的 n 階對稱矩陣為函數(shù) f (x) 的海森(Hessian)矩陣，記為 H(x) 或2f (x) ：,26,專業(yè)參考,

7、綜上所述，多元函數(shù) f (x) = f (x1, x2, , xn) 的一階導(dǎo)數(shù)是它的梯度 f.(x)，二階導(dǎo)數(shù)是它的 Hessian 矩陣 2f (x)。 在最優(yōu)化方法的討論中這是兩個常用的概念。,27,專業(yè)參考,定理 (最優(yōu)性條件)設(shè) n 元函數(shù) y = f (x) 對所有變元具有一階及二階連續(xù)偏導(dǎo)數(shù)，則 x0 是 f (x) 極小點的充分條件為 f (x0) = 0，2f (x0) 0(正定) 而 x0 是 f (x) 極大點的充分條件為 f (x0) = 0，2f (x0) 0(負(fù)定) 事實上，如果設(shè) x = (x1, , xn)T，則利用多元函數(shù)的泰勒展開式，我們有,28,專業(yè)參考,

8、其中 R 為 x 的高階無窮小，即 R = o| x |2。 于是，當(dāng) x0 為函數(shù) f.(x) 的駐點時可以得到 于是，當(dāng) xi(i = 1, , n)足夠小時，上式右端的正負(fù)號完全由二次型 xT2f (x0)x 決定，從而完全由 Hessian 矩陣 2f (x) 的正(負(fù))定性決定。 注記：微積分中求一元函數(shù)和二元函數(shù)極值的方法，是這個定理的特例。,29,專業(yè)參考,二、無約束優(yōu)化的梯度下降法 對于無約束優(yōu)化問題 min f (x) (1) x = (x1, x2, , xn)TRn 如果 f (x) 可微，根據(jù)古典分析的方法，可利用 f (x) = 0 (2) 求駐點，然后再利用 Hes

9、sian 矩陣 2f.(x) 來判定這些駐點是否極小值點，從而求出無約束優(yōu)化問題(1)的最優(yōu)解。,30,專業(yè)參考,但是，用古典分析的方法求解無約束優(yōu)化問題(1)實際上是行不通的，這是由于： (1) 實際應(yīng)用中相當(dāng)數(shù)量的函數(shù) f.(x) 不具有解析性，故非線性方程組 f (x) = 0 無法形成； (2) 即使形成了方程組 f (x) = 0，由于它是一個 n 元非線性方程組，因而求它的解與解決原問題一樣地困難； (3) 即使求得了 f (x) = 0 的解 x*，但由于最優(yōu)性條件不被滿足或者難于驗證，因此仍無法確定 x* 是否為(1)的解。,31,專業(yè)參考,例如，有些曲面有許多甚至無窮多極大值

10、和極小值，則無法驗證最優(yōu)性條件。,32,專業(yè)參考,鑒于上述種種原因，對于(1)的求解，通常采用一些比較切合實際、行之有效的數(shù)值算法。最常用的是迭代算法(搜索算法)。 迭代算法的基本思想是：從一個選定的初始點 x0Rn 出發(fā)，按照某一特定的迭代規(guī)則產(chǎn)生一個點列 xk，使得當(dāng) xk 是有窮點列時，其最后一個點是(1)的最優(yōu)解；當(dāng) xk 是無窮點列時，它有極限點，并且其極限點是(1)的最優(yōu)解。,33,專業(yè)參考,設(shè) xkRn 是某迭代算法的第 k 輪迭代點，而xk+1Rn 是第 k +1 輪迭代點，記 xk+1 = xk + k pk 這里 kR 稱為步長，pkRn 稱為搜索方向。在 k 和 pk 確

11、定之后，由 xkRn 就可以確定 xk+1Rn。 各種不同迭代算法的差別，在于選擇 k 和 pk(特別是 pk)的方法不同。,34,專業(yè)參考,使用最廣泛的一類是下降算法，它每迭代一次都是目標(biāo)函數(shù)值有所下降，即 f (xk+1) f (xk)。 在下降算法中 (1) 搜索方向 pk 有多種選擇方式，不同的選擇形成不同的下降算法，如梯度下降法(也叫最速下降法)，共軛梯度法，牛頓法，阻尼牛頓法，擬牛頓法等。但無論哪種下降法，pk 的選擇都有一個一般的原則：既要使它盡可能地指向極小值點，又不至于花費太大的使計算代價。,35,專業(yè)參考,(2) 步長的選擇也有多種不同方式，最常用的方式是尋找最優(yōu)步長，即求

12、單變量極值問題的最優(yōu)解 kR：,36,專業(yè)參考,梯度下降法(最速下降法) 早在 1847 年，法國數(shù)學(xué)家 Cauchy 就曾提出這樣的問題：從任一給定點 x0Rn 出發(fā)，沿著哪個方向 f (x) 的函數(shù)值下降最快？這個問題從理論上已經(jīng)得到解決，就是沿著在該點的負(fù)梯度方向，f (x) 的函數(shù)值下降最快。 這就是梯度下降法的理論依據(jù)。,37,專業(yè)參考,梯度下降法的迭代步驟 1 給定初始點 x0Rn，允許誤差 0，并令 k: = 0； 2 計算 pk = f (xk)； 3 檢驗是否滿足收斂性判別準(zhǔn)則： | pk | 若滿足判別準(zhǔn)則，則停止迭代，得到點 x* xk，否則進(jìn)行 4；,38,專業(yè)參考,4

13、 單變量極值問題的最優(yōu)解 kR： 5 令 xk+1 = xk + k pk；k: = k + 1 返回 2。,39,專業(yè)參考,例 用梯度下降法求解 min f (x) = 2x12 + x22。 解 (1) 取初始點 x0 = (1, 1)T，計算得 p0 = f (x0) = (4x01 , 2x02) T |x1 = 1, x2 = 1 = (4, 2)T 由于 所以 f (x0 + p0) = 2(1 4)2 + (1 2)2。再求解單變量極值問題：,40,專業(yè)參考,得 0 = 5/18，于是 x1 = x0 + 0 p0 = (1/9, 4/9)T (2) 計算得 p1 = f (x1

14、) = (4x11 2x12)|x11 = 1/9, x12 = 4/9 = (4/9, 8/9)T 所以,41,專業(yè)參考,故 再求解單變量極值問題： 得 1 = 5/12，于是 x2 = x1 + 1 p1 = (2/27, 2/27)T (3) 計算得 p2 = f (x2) = (8/27, 4/27)，. 如此繼續(xù)下去，直到滿足收斂準(zhǔn)則為止。,42,專業(yè)參考,該問題的最優(yōu)解為 x* = (0, 1)T，f (x*) = 0，如圖所示。,43,專業(yè)參考,梯度下降法是求解無約束優(yōu)化問題的最基本的算法，它在最優(yōu)化方法中占有重要地位。 梯度下降法的優(yōu)點是計算量小，存儲變量少，對初始點要求不高。

15、缺點是：f.(x) 僅僅反映了函數(shù)在點 x 處的局部性質(zhì)，對局部來說是最速的下降方向，但對整體求解過程并不一定使函數(shù)值下降的最快；另外，梯度下降法收斂速度慢，特別是在極小值點附近。 梯度下降法適用于尋優(yōu)過程的前期迭代或作為間插步驟，當(dāng)接近極值點時宜選用其它收斂快的算法。,44,專業(yè)參考,在MATLAB 上實現(xiàn)的幾個例子,45,專業(yè)參考,屬于解析型的算法有： 梯度法：又稱最速下降法。這是早期的解析法，收斂速度較慢。 牛頓法：收斂速度快，但不穩(wěn)定，計算也較困難。 共軛梯度法：收斂較快，效果較好。 變尺度法：這是一類效率較高的方法。 等等,46,專業(yè)參考,BP網(wǎng)絡(luò)的訓(xùn)練函數(shù),47,專業(yè)參考,例一：

16、利用三層BP神經(jīng)網(wǎng)絡(luò)來完成非線性函數(shù)的逼近任務(wù)，其中隱層神經(jīng)元個數(shù)為五個。 樣本數(shù)據(jù)：,48,專業(yè)參考,例二 利用三層BP神經(jīng)網(wǎng)絡(luò)來完成非線性函數(shù)的逼近任務(wù)，其中隱層神經(jīng)元個數(shù)為五個。 樣本數(shù)據(jù)：,49,專業(yè)參考,些論文對BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練學(xué)習(xí)過程進(jìn)行改進(jìn),用LM（Levenberg-Marquardt ）算法對BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練學(xué)習(xí)進(jìn)行改進(jìn)。 它是使用最廣泛的非線性最小二乘算法，它是利用梯度求最小（大）值的算法，形象的說，屬于“爬山”法的一種。它同時具有梯度 法和牛頓法的優(yōu)點。當(dāng)很小時，步長等于牛頓法步長，當(dāng)很大時，步長約等于梯度下降法的步長。 這個的變動有時候 像阻尼運動一樣，所以LM算法

17、又叫阻尼最小二乘法,50,專業(yè)參考,牛頓法的幾何意義,x 1,x 2,牛頓法也稱為切線法,51,專業(yè)參考,基本思想： 在極小點附近用二階Taylor多項式近似目標(biāo)函數(shù)，進(jìn)而求出極小點的估計值。,52,專業(yè)參考,53,專業(yè)參考,雅克比矩陣 ： 雅克比矩陣的定義很廣泛，只要是向量間微積分運算過程中所涉及的包含偏微粉的行列式都可以叫雅克比矩陣。如果說的更精確點的話，雅克比矩陣可以認(rèn)為是兩個向量空間中對應(yīng)的映射關(guān)系。想要了解雅克比矩陣首先要了解兩個向量空間的關(guān)系。及將初始向量空間的基矢量表示為末尾向量空間的基矢量的函數(shù)，然后通過求導(dǎo)既可以知道雅克比矩陣的具體形式了。,54,專業(yè)參考,基于蟻群算法神經(jīng)網(wǎng)絡(luò)中權(quán) 值和閾值的初始化,55,專業(yè)參考,仿真試驗,56,專業(yè)參考,收斂速度問題 局部極小點問題 逃離/避開局部極小點：修改W、V的初值并不是總有效。 逃離 統(tǒng)計方法；Wasserman，1986將Cauchy訓(xùn)練與BP算法結(jié)合起來，可以在保證訓(xùn)練速度不被降低的情況下，找到全局極小點。,2020/7/10,57,57,專業(yè)參考,網(wǎng)絡(luò)癱瘓問題 在訓(xùn)練中，權(quán)可能變得很大，這會使神經(jīng)元的網(wǎng)絡(luò)輸入變得很大，從而又使得其激活函數(shù)的導(dǎo)函數(shù)在此點上的取值很小。根據(jù)相應(yīng)式子，此時的訓(xùn)練步長會變得非常小，進(jìn)而將導(dǎo)致訓(xùn)練速度降得非常低，最終導(dǎo)致網(wǎng)絡(luò)停止收斂 穩(wěn)定性問題 用修改量的綜合實施權(quán)的修改 連續(xù)變化的