1、改進(jìn)BP神經(jīng)網(wǎng)絡(luò)與MATLAB實(shí)現(xiàn) 江西師范大學(xué) 2012.6.11,1：BP神經(jīng)網(wǎng)絡(luò)的概述 2：BP神經(jīng)網(wǎng)絡(luò)的標(biāo)準(zhǔn)訓(xùn)練學(xué)習(xí) 3：在MATLAB軟件上運(yùn)行幾個(gè)程序 4：基于Levenberg-Marquardt算法的學(xué)習(xí)優(yōu) 化（阻尼最小二乘法） 5：基于蟻群算法的初始權(quán)值優(yōu)化 6：經(jīng)過(guò)4 和 5 優(yōu)化后的 仿真試驗(yàn)（發(fā) 動(dòng)機(jī)性能趨勢(shì)分析和故障診斷中的應(yīng)用） 7：總結(jié),多元函數(shù)圖示,一元函數(shù),X,.,R,二元函數(shù),x,y,o,R,.,f,D,.,f,.,三元函數(shù),x,y,z,o,.,R,.,f,X,X,I,矩形的面積 S = xy,長(zhǎng)方體體積 V = xyz,多元函數(shù)圖示,x,R,.,.,多元函

2、數(shù)及其圖形,多元函數(shù)及其圖形,BP神經(jīng)網(wǎng)絡(luò)模型,激活函數(shù) 必須處處可導(dǎo) 一般都使用S型函數(shù) 使用S型激活函數(shù)時(shí)BP網(wǎng)絡(luò)輸入與輸出關(guān)系 輸入 輸出,BP神經(jīng)網(wǎng)絡(luò)模型,輸出的導(dǎo)數(shù),根據(jù)S型激活函數(shù)的圖形可知,對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，應(yīng)該將net的值盡量控制在收斂比較快的范圍內(nèi),網(wǎng)絡(luò)結(jié)構(gòu) 輸入層有n個(gè)神經(jīng)元，隱含層有p個(gè)神經(jīng)元, 輸出層有q個(gè)神經(jīng)元 變量定義 輸入向量; 隱含層輸入向量； 隱含層輸出向量; 輸出層輸入向量; 輸出層輸出向量; 期望輸出向量;,輸入層與中間層的連接權(quán)值: 隱含層與輸出層的連接權(quán)值: 隱含層各神經(jīng)元的閾值: 輸出層各神經(jīng)元的閾值: 樣本數(shù)據(jù)個(gè)數(shù): 激活函數(shù): 誤差函數(shù)：,第一

3、步，網(wǎng)絡(luò)初始化 給各連接權(quán)值分別賦一個(gè)區(qū)間（-1，1）內(nèi)的隨機(jī)數(shù)，設(shè)定誤差函數(shù)e，給定計(jì)算精度值 和最大學(xué)習(xí)次數(shù)M。 第二步,隨機(jī)選取第 個(gè)輸入樣本及對(duì)應(yīng)期望輸出,第三步，計(jì)算隱含層各神經(jīng)元的輸入和輸出,第四步，利用網(wǎng)絡(luò)期望輸出和實(shí)際輸出，計(jì)算誤差函數(shù)對(duì)輸出層的各神經(jīng)元的偏導(dǎo)數(shù) 。,第五步，利用隱含層到輸出層的連接權(quán)值、輸出層的 和隱含層的輸出計(jì)算誤差函數(shù)對(duì)隱含層各神經(jīng)元的偏導(dǎo)數(shù),第六步，利用輸出層各神經(jīng)元的 和隱含層各神經(jīng)元的輸出來(lái)修正連接權(quán)值,第七步，利用隱含層各神經(jīng)元的 和輸入層各神經(jīng)元的輸入修正連接權(quán)。,第八步，計(jì)算全局誤差 第九步，判斷網(wǎng)絡(luò)誤差是否滿足要求。當(dāng)誤差達(dá)到預(yù)設(shè)精度或?qū)W習(xí)次

4、數(shù)大于設(shè)定的最大次數(shù)，則結(jié)束算法。否則，選取下一個(gè)學(xué)習(xí)樣本及對(duì)應(yīng)的期望輸出，返回到第三步，進(jìn)入下一輪學(xué)習(xí)。,BP算法直觀解釋 情況1的直觀表達(dá) 當(dāng)誤差對(duì)權(quán)值的偏 導(dǎo)數(shù)大于零時(shí)，權(quán)值 調(diào)整量為負(fù)，實(shí)際輸 出大于期望輸出， 權(quán)值向減少方向調(diào)整， 使得實(shí)際輸出與期望 輸出的差減少。,BP算法直解釋 情況2的直觀表達(dá) 當(dāng)誤差對(duì)權(quán)值的偏導(dǎo)數(shù) 小于零時(shí)，權(quán)值調(diào)整量 為正，實(shí)際輸出少于期 望輸出，權(quán)值向增大方向 調(diào)整，使得實(shí)際輸出與期 望輸出的差減少。,梯度下降法,一、無(wú)約束優(yōu)化的古典分析法 無(wú)約束優(yōu)化問(wèn)題可表示為 min f (x1, x2, , xn) xiR，i = 1, 2, , n 如果令 x =

5、 (x1, x2, , xn)T，則無(wú)約束優(yōu)化問(wèn)題為 min f (x) xRn,關(guān)于 f (x)： 當(dāng) x = (x) 時(shí)，f (x) 是一條曲線； 當(dāng) x = (x1, x2)T 時(shí)，f (x1, x2) 是一個(gè)曲面； 當(dāng) x = (x1, x2, x3)T 時(shí)，f (x1, x2, x3) 是一個(gè)體密度(或類位勢(shì)函數(shù))； 當(dāng) x = (x1, x2, , xn)T 時(shí)，f (x1, x2, , xn) 是一個(gè)超曲面。,設(shè)函數(shù) f (x) = f (x1, ., xn) 對(duì)所有變?cè)加幸浑A與二階連續(xù)偏導(dǎo)數(shù)，則 稱 n 個(gè)一階偏導(dǎo)數(shù)構(gòu)成的 n 維列向量為 f.(x) 的梯度，記作 稱滿足 f

6、 (x0) = 0 的點(diǎn) x0 為函數(shù) f (x) 的駐點(diǎn)或臨界點(diǎn)。, 稱 n2 個(gè)二階偏導(dǎo)數(shù)構(gòu)成的 n 階對(duì)稱矩陣為函數(shù) f (x) 的海森(Hessian)矩陣，記為 H(x) 或2f (x) ：,綜上所述，多元函數(shù) f (x) = f (x1, x2, , xn) 的一階導(dǎo)數(shù)是它的梯度 f.(x)，二階導(dǎo)數(shù)是它的 Hessian 矩陣 2f (x)。 在最優(yōu)化方法的討論中這是兩個(gè)常用的概念。,定理 (最優(yōu)性條件)設(shè) n 元函數(shù) y = f (x) 對(duì)所有變?cè)哂幸浑A及二階連續(xù)偏導(dǎo)數(shù)，則 x0 是 f (x) 極小點(diǎn)的充分條件為 f (x0) = 0，2f (x0) 0(正定) 而 x0

7、是 f (x) 極大點(diǎn)的充分條件為 f (x0) = 0，2f (x0) 0(負(fù)定) 事實(shí)上，如果設(shè) x = (x1, , xn)T，則利用多元函數(shù)的泰勒展開(kāi)式，我們有,其中 R 為 x 的高階無(wú)窮小，即 R = o| x |2。 于是，當(dāng) x0 為函數(shù) f.(x) 的駐點(diǎn)時(shí)可以得到 于是，當(dāng) xi(i = 1, , n)足夠小時(shí)，上式右端的正負(fù)號(hào)完全由二次型 xT2f (x0)x 決定，從而完全由 Hessian 矩陣 2f (x) 的正(負(fù))定性決定。 注記：微積分中求一元函數(shù)和二元函數(shù)極值的方法，是這個(gè)定理的特例。,二、無(wú)約束優(yōu)化的梯度下降法 對(duì)于無(wú)約束優(yōu)化問(wèn)題 min f (x) (1

8、) x = (x1, x2, , xn)TRn 如果 f (x) 可微，根據(jù)古典分析的方法，可利用 f (x) = 0 (2) 求駐點(diǎn)，然后再利用 Hessian 矩陣 2f.(x) 來(lái)判定這些駐點(diǎn)是否極小值點(diǎn)，從而求出無(wú)約束優(yōu)化問(wèn)題(1)的最優(yōu)解。,但是，用古典分析的方法求解無(wú)約束優(yōu)化問(wèn)題(1)實(shí)際上是行不通的，這是由于： (1) 實(shí)際應(yīng)用中相當(dāng)數(shù)量的函數(shù) f.(x) 不具有解析性，故非線性方程組 f (x) = 0 無(wú)法形成； (2) 即使形成了方程組 f (x) = 0，由于它是一個(gè) n 元非線性方程組，因而求它的解與解決原問(wèn)題一樣地困難； (3) 即使求得了 f (x) = 0 的解

9、x*，但由于最優(yōu)性條件不被滿足或者難于驗(yàn)證，因此仍無(wú)法確定 x* 是否為(1)的解。,例如，有些曲面有許多甚至無(wú)窮多極大值和極小值，則無(wú)法驗(yàn)證最優(yōu)性條件。,鑒于上述種種原因，對(duì)于(1)的求解，通常采用一些比較切合實(shí)際、行之有效的數(shù)值算法。最常用的是迭代算法(搜索算法)。 迭代算法的基本思想是：從一個(gè)選定的初始點(diǎn) x0Rn 出發(fā)，按照某一特定的迭代規(guī)則產(chǎn)生一個(gè)點(diǎn)列 xk，使得當(dāng) xk 是有窮點(diǎn)列時(shí)，其最后一個(gè)點(diǎn)是(1)的最優(yōu)解；當(dāng) xk 是無(wú)窮點(diǎn)列時(shí)，它有極限點(diǎn)，并且其極限點(diǎn)是(1)的最優(yōu)解。,設(shè) xkRn 是某迭代算法的第 k 輪迭代點(diǎn)，而xk+1Rn 是第 k +1 輪迭代點(diǎn)，記 xk+1

10、= xk + k pk 這里 kR 稱為步長(zhǎng)，pkRn 稱為搜索方向。在 k 和 pk 確定之后，由 xkRn 就可以確定 xk+1Rn。 各種不同迭代算法的差別，在于選擇 k 和 pk(特別是 pk)的方法不同。,使用最廣泛的一類是下降算法，它每迭代一次都是目標(biāo)函數(shù)值有所下降，即 f (xk+1) f (xk)。 在下降算法中 (1) 搜索方向 pk 有多種選擇方式，不同的選擇形成不同的下降算法，如梯度下降法(也叫最速下降法)，共軛梯度法，牛頓法，阻尼牛頓法，擬牛頓法等。但無(wú)論哪種下降法，pk 的選擇都有一個(gè)一般的原則：既要使它盡可能地指向極小值點(diǎn)，又不至于花費(fèi)太大的使計(jì)算代價(jià)。,(2) 步

11、長(zhǎng)的選擇也有多種不同方式，最常用的方式是尋找最優(yōu)步長(zhǎng)，即求單變量極值問(wèn)題的最優(yōu)解 kR：,梯度下降法(最速下降法) 早在 1847 年，法國(guó)數(shù)學(xué)家 Cauchy 就曾提出這樣的問(wèn)題：從任一給定點(diǎn) x0Rn 出發(fā)，沿著哪個(gè)方向 f (x) 的函數(shù)值下降最快？這個(gè)問(wèn)題從理論上已經(jīng)得到解決，就是沿著在該點(diǎn)的負(fù)梯度方向，f (x) 的函數(shù)值下降最快。 這就是梯度下降法的理論依據(jù)。,梯度下降法的迭代步驟 1 給定初始點(diǎn) x0Rn，允許誤差 0，并令 k: = 0； 2 計(jì)算 pk = f (xk)； 3 檢驗(yàn)是否滿足收斂性判別準(zhǔn)則： | pk | 若滿足判別準(zhǔn)則，則停止迭代，得到點(diǎn) x* xk，否則進(jìn)行

12、 4；,4 單變量極值問(wèn)題的最優(yōu)解 kR： 5 令 xk+1 = xk + k pk；k: = k + 1 返回 2。,例 用梯度下降法求解 min f (x) = 2x12 + x22。 解 (1) 取初始點(diǎn) x0 = (1, 1)T，計(jì)算得 p0 = f (x0) = (4x01 , 2x02) T |x1 = 1, x2 = 1 = (4, 2)T 由于 所以 f (x0 + p0) = 2(1 4)2 + (1 2)2。再求解單變量極值問(wèn)題：,得 0 = 5/18，于是 x1 = x0 + 0 p0 = (1/9, 4/9)T (2) 計(jì)算得 p1 = f (x1) = (4x11 2

13、x12)|x11 = 1/9, x12 = 4/9 = (4/9, 8/9)T 所以,故 再求解單變量極值問(wèn)題： 得 1 = 5/12，于是 x2 = x1 + 1 p1 = (2/27, 2/27)T (3) 計(jì)算得 p2 = f (x2) = (8/27, 4/27)，. 如此繼續(xù)下去，直到滿足收斂準(zhǔn)則為止。,該問(wèn)題的最優(yōu)解為 x* = (0, 1)T，f (x*) = 0，如圖所示。,梯度下降法是求解無(wú)約束優(yōu)化問(wèn)題的最基本的算法，它在最優(yōu)化方法中占有重要地位。 梯度下降法的優(yōu)點(diǎn)是計(jì)算量小，存儲(chǔ)變量少，對(duì)初始點(diǎn)要求不高。缺點(diǎn)是：f.(x) 僅僅反映了函數(shù)在點(diǎn) x 處的局部性質(zhì)，對(duì)局部來(lái)說(shuō)是

14、最速的下降方向，但對(duì)整體求解過(guò)程并不一定使函數(shù)值下降的最快；另外，梯度下降法收斂速度慢，特別是在極小值點(diǎn)附近。 梯度下降法適用于尋優(yōu)過(guò)程的前期迭代或作為間插步驟，當(dāng)接近極值點(diǎn)時(shí)宜選用其它收斂快的算法。,在MATLAB 上實(shí)現(xiàn)的幾個(gè)例子,屬于解析型的算法有： 梯度法：又稱最速下降法。這是早期的解析法，收斂速度較慢。 牛頓法：收斂速度快，但不穩(wěn)定，計(jì)算也較困難。 共軛梯度法：收斂較快，效果較好。 變尺度法：這是一類效率較高的方法。 等等,BP網(wǎng)絡(luò)的訓(xùn)練函數(shù),例一： 利用三層BP神經(jīng)網(wǎng)絡(luò)來(lái)完成非線性函數(shù)的逼近任務(wù)，其中隱層神經(jīng)元個(gè)數(shù)為五個(gè)。 樣本數(shù)據(jù)：,例二 利用三層BP神經(jīng)網(wǎng)絡(luò)來(lái)完成非線性函數(shù)的逼

15、近任務(wù)，其中隱層神經(jīng)元個(gè)數(shù)為五個(gè)。 樣本數(shù)據(jù)：,些論文對(duì)BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練學(xué)習(xí)過(guò)程進(jìn)行改進(jìn),用LM（Levenberg-Marquardt ）算法對(duì)BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練學(xué)習(xí)進(jìn)行改進(jìn)。 它是使用最廣泛的非線性最小二乘算法，它是利用梯度求最?。ù螅┲档乃惴ǎ蜗蟮恼f(shuō)，屬于“爬山”法的一種。它同時(shí)具有梯度 法和牛頓法的優(yōu)點(diǎn)。當(dāng)很小時(shí)，步長(zhǎng)等于牛頓法步長(zhǎng)，當(dāng)很大時(shí)，步長(zhǎng)約等于梯度下降法的步長(zhǎng)。 這個(gè)的變動(dòng)有時(shí)候 像阻尼運(yùn)動(dòng)一樣，所以LM算法又叫阻尼最小二乘法,牛頓法的幾何意義,x 1,x 2,牛頓法也稱為切線法,基本思想： 在極小點(diǎn)附近用二階Taylor多項(xiàng)式近似目標(biāo)函數(shù)，進(jìn)而求出極小點(diǎn)的估計(jì)值。,雅克

16、比矩陣 ： 雅克比矩陣的定義很廣泛，只要是向量間微積分運(yùn)算過(guò)程中所涉及的包含偏微粉的行列式都可以叫雅克比矩陣。如果說(shuō)的更精確點(diǎn)的話，雅克比矩陣可以認(rèn)為是兩個(gè)向量空間中對(duì)應(yīng)的映射關(guān)系。想要了解雅克比矩陣首先要了解兩個(gè)向量空間的關(guān)系。及將初始向量空間的基矢量表示為末尾向量空間的基矢量的函數(shù)，然后通過(guò)求導(dǎo)既可以知道雅克比矩陣的具體形式了。,基于蟻群算法神經(jīng)網(wǎng)絡(luò)中權(quán) 值和閾值的初始化,仿真試驗(yàn),收斂速度問(wèn)題 局部極小點(diǎn)問(wèn)題 逃離/避開(kāi)局部極小點(diǎn)：修改W、V的初值并不是總有效。 逃離 統(tǒng)計(jì)方法；Wasserman，1986將Cauchy訓(xùn)練與BP算法結(jié)合起來(lái)，可以在保證訓(xùn)練速度不被降低的情況下，找到全局極小點(diǎn)。,2020/10/1,57,網(wǎng)絡(luò)癱瘓問(wèn)題 在訓(xùn)練中，權(quán)可能變得很大，這會(huì)使神經(jīng)元的網(wǎng)絡(luò)輸入變得很大，從而又使得其激活函數(shù)的導(dǎo)函數(shù)在此點(diǎn)上的取值很小。根據(jù)相應(yīng)式子，此時(shí)的訓(xùn)練步長(zhǎng)會(huì)變得非常小，進(jìn)而將導(dǎo)致訓(xùn)練速度降得非常低，最終導(dǎo)致網(wǎng)絡(luò)停止收斂 穩(wěn)定性問(wèn)題 用修改量的綜合實(shí)施權(quán)的修改 連續(xù)變化的