神經(jīng)網(wǎng)絡(luò)第四章第一頁，共五十二頁，編輯于2023年，星期三第4章反向傳播網(wǎng)絡(luò)

反向傳播網(wǎng)絡(luò)也稱為BP(BackPropagation)網(wǎng)絡(luò)，采用推廣的W-H學(xué)習(xí)規(guī)則-BP算法BP網(wǎng)絡(luò)的主要用途：函數(shù)逼近模式識別分類數(shù)據(jù)壓縮：在人工神經(jīng)網(wǎng)絡(luò)的實際應(yīng)用中，絕大多數(shù)的網(wǎng)絡(luò)模型都是BP網(wǎng)絡(luò)及其變化形式。第二頁，共五十二頁，編輯于2023年，星期三1BP網(wǎng)絡(luò)模型與結(jié)構(gòu)

BP網(wǎng)絡(luò)模型

輸入層隱層輸出層第三頁，共五十二頁，編輯于2023年，星期三1BP網(wǎng)絡(luò)模型與結(jié)構(gòu)▲BP網(wǎng)絡(luò)的激活函數(shù)一定要可微

多數(shù)情況下，隱層為S型，輸出層為線性。

輸入與輸出關(guān)系要求：非線性、光滑、取值連續(xù)，分類精確▲網(wǎng)絡(luò)誤差測定第p個樣本的誤差測度

網(wǎng)絡(luò)關(guān)于整個樣本集的誤差測度,第四頁，共五十二頁，編輯于2023年，星期三1BP網(wǎng)絡(luò)模型與結(jié)構(gòu)權(quán)值與偏差：隱層輸出層，第五頁，共五十二頁，編輯于2023年，星期三1BP網(wǎng)絡(luò)模型與結(jié)構(gòu)一組輸入與輸出多組輸入與輸出，，第六頁，共五十二頁，編輯于2023年，星期三關(guān)系表達(dá)式：

1.輸入向量、輸出向量的維數(shù)、網(wǎng)絡(luò)隱藏層的層數(shù)和各個隱藏層神經(jīng)元的個數(shù)的決定。

2.BP網(wǎng)很多都選用二級網(wǎng)絡(luò)。1BP網(wǎng)絡(luò)模型與結(jié)構(gòu)第七頁，共五十二頁，編輯于2023年，星期三2BP學(xué)習(xí)規(guī)則

是有指導(dǎo)訓(xùn)練的前饋多層網(wǎng)絡(luò)訓(xùn)練算法，靠調(diào)節(jié)各層的加權(quán)，使網(wǎng)絡(luò)學(xué)會由輸入輸出對組成的訓(xùn)練組。類似于感知器中線性單元和非線性單元的訓(xùn)練算法，執(zhí)行優(yōu)化的基本方法是梯度下降法。

求多元函數(shù)的U(x1,x2,…,xn)的極小值：若出發(fā)點(diǎn)是M0=(x10,x20,…,xn0),則自變量按如下規(guī)則改變：，第八頁，共五十二頁，編輯于2023年，星期三2BP學(xué)習(xí)規(guī)則▲BP算法的主要思想：通過引入誤差函數(shù)，對于學(xué)習(xí)樣本P及目標(biāo)輸出T，利用梯度下降法來調(diào)整權(quán)值W和B，使網(wǎng)絡(luò)的實際輸出A與T盡可能接近，而使誤差盡量達(dá)到最小。其過程是用輸出層的誤差估計輸出層的直接前導(dǎo)層的誤差，再用輸出層前導(dǎo)層誤差估計更前一層的誤差。如此獲得所有其它各層的誤差估計，并用這些估計實現(xiàn)對權(quán)矩陣的修改。形成將輸出端表現(xiàn)出的誤差沿著與輸入信號相反的方向逐級向輸入端傳遞的過程▲BP算法從形式上看，分為兩個計算過程：

1．信息的正向傳遞；

2.調(diào)整W和B的誤差反向傳播第九頁，共五十二頁，編輯于2023年，星期三2BP學(xué)習(xí)規(guī)則1.信息的正向傳遞▲隱層中第i個神經(jīng)元輸出：▲輸出層中第k個神經(jīng)元輸出：第十頁，共五十二頁，編輯于2023年，星期三2BP學(xué)習(xí)規(guī)則▲誤差函數(shù)一組輸入情形：

其中，第十一頁，共五十二頁，編輯于2023年，星期三2BP學(xué)習(xí)規(guī)則

q組輸入情形：

第十二頁，共五十二頁，編輯于2023年，星期三2BP學(xué)習(xí)規(guī)則2.誤差反向傳播▲輸出層權(quán)值、偏差的調(diào)整因為故由最速下降法，得權(quán)值改變量：第十三頁，共五十二頁，編輯于2023年，星期三2BP學(xué)習(xí)規(guī)則偏差改變量：其中▲隱層權(quán)值、偏差的調(diào)整

因為第十四頁，共五十二頁，編輯于2023年，星期三2BP學(xué)習(xí)規(guī)則故由最速下降法，得其中第十五頁，共五十二頁，編輯于2023年，星期三誤差反向傳播的流程圖

與圖形解釋第十六頁，共五十二頁，編輯于2023年，星期三3誤差反向傳播的流程圖

與圖形解釋S型激活函數(shù)

1（0,0.5）

n（0,0）o

0.5f′(n)0.25o0

1第十七頁，共五十二頁，編輯于2023年，星期三4BP網(wǎng)絡(luò)的訓(xùn)練

及其設(shè)計過程▲設(shè)計Bp網(wǎng)絡(luò)的結(jié)構(gòu)包括以下內(nèi)容：網(wǎng)絡(luò)的層數(shù)，每層神經(jīng)元數(shù)，每層的激活函數(shù)等▲BP網(wǎng)絡(luò)的訓(xùn)練步驟：1）初始化每層權(quán)值和偏差，期望誤差，最大循環(huán)次數(shù)，學(xué)習(xí)率等2）建立多層前向網(wǎng)絡(luò)函數(shù)newcf.m或newff.m，格式如下：

net=newcf(minmax(P),[5,1],{‘tansig’‘purelin’},‘traingd’);3)訓(xùn)練

net=train(net,P,T)第十八頁，共五十二頁，編輯于2023年，星期三4BP網(wǎng)絡(luò)的訓(xùn)練

及其設(shè)計過程例4.1用于函數(shù)逼近的BP網(wǎng)絡(luò)的設(shè)計?！螖?shù)：經(jīng)過4000-7000次訓(xùn)練成功，誤差小于給定的門限誤差0.02?！`差變化圖：逼近曲線效果良好▲結(jié)論：二層BP網(wǎng)絡(luò)可很好地逼近非線性函數(shù)。

第十九頁，共五十二頁，編輯于2023年，星期三5BP網(wǎng)絡(luò)的設(shè)計考慮因素：層數(shù)，每層神經(jīng)元數(shù)，初始化，學(xué)習(xí)率等1網(wǎng)絡(luò)的層數(shù)▲理論結(jié)果：具有偏差和至少一個S型隱含層的網(wǎng)絡(luò)，能夠逼近任意的有理函數(shù)?！鴮訑?shù)對網(wǎng)絡(luò)影響：增加層數(shù)可進(jìn)一步降低誤差，提高精度；不足之處是使網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜化?！[層節(jié)點(diǎn)數(shù)對網(wǎng)絡(luò)影響：可提高精度，降低誤差；雖然也增加了一點(diǎn)網(wǎng)絡(luò)的復(fù)雜度，但比增加層數(shù)要低▲設(shè)計的原則：首先應(yīng)選擇層數(shù)較少的網(wǎng)絡(luò)，這樣可降低復(fù)雜度；同時為了提高精度和降低誤差，應(yīng)先考慮增加隱層的神經(jīng)元數(shù)目。

第二十頁，共五十二頁，編輯于2023年，星期三5BP網(wǎng)絡(luò)的設(shè)計為了提高精度和逼近能力：1）增加隱層神經(jīng)元數(shù)；2）增加網(wǎng)絡(luò)層數(shù)。綜合效果：以增加網(wǎng)絡(luò)層數(shù)效果更好。第二十一頁，共五十二頁，編輯于2023年，星期三5BP網(wǎng)絡(luò)的設(shè)計例4.2考慮兩個單元輸入的聯(lián)想問題：其輸入和輸出為：

P=[-32],T=[0.4,0.8]

目標(biāo)誤差：0.001

該問題可采用自適應(yīng)網(wǎng)絡(luò)解決：

w=0.08,b=0.64,e=T-A=0

利用Bp網(wǎng)絡(luò)解決：有一定誤差。結(jié)論：能利用自適應(yīng)網(wǎng)絡(luò)或感知器解決的問題，應(yīng)盡量不用Bp網(wǎng)絡(luò)第二十二頁，共五十二頁，編輯于2023年，星期三5BP網(wǎng)絡(luò)的設(shè)計例4.3用一層網(wǎng)絡(luò)來實現(xiàn)下面的輸入/輸出關(guān)系：

P=[-6-6.1-4.1-444.166.1]T=[0.00.00.970.990.010.0311]▲理論分析：約束等式共8個，參數(shù)1個權(quán)值+1個偏差。因此，可能無準(zhǔn)確解?！抡嬗嬎悖嚎汕蟪鼋平狻５Чc線性網(wǎng)絡(luò)相當(dāng)。▲逼近圖效果：近似解相當(dāng)于一種分類功能。▲結(jié)論：單層網(wǎng)絡(luò)不能解決。能利用單層網(wǎng)絡(luò)解決問題，應(yīng)先考慮利用感知器和自適應(yīng)線性元件。第二十三頁，共五十二頁，編輯于2023年，星期三5BP網(wǎng)絡(luò)的設(shè)計例4.4非線性誤差曲面特性觀察▲BP網(wǎng)絡(luò)的誤差函數(shù)E凸凹不平，有些地方很平坦，另外的地方很陡峭，這對算法的效果有較大影響。▲從提高算法的效率上講，在陡峭的地方應(yīng)選擇小的學(xué)習(xí)率，以避免“過調(diào)”，在平坦的地方利用大學(xué)習(xí)率，以加快收斂速度?！Y(jié)論：常學(xué)習(xí)率在誤差曲面非常不規(guī)則時可能效果不好。第二十四頁，共五十二頁，編輯于2023年，星期三5BP網(wǎng)絡(luò)的設(shè)計2隱含層的神經(jīng)元數(shù)問題：隱含層的神經(jīng)元數(shù)應(yīng)選擇為多少才適合？例4.5用兩層BP網(wǎng)絡(luò)實現(xiàn)“異或”問題。數(shù)學(xué)描述：輸入及目標(biāo)輸出矢量隱層神經(jīng)元數(shù)分別為：2，3，4，5，6，20，25，30▲對二值型離散數(shù)據(jù)也能利用BP網(wǎng)絡(luò)逼近：可將二值型激活函數(shù)利用S型代替，訓(xùn)練成功后，將輸出層的激活函數(shù)換成二值型函數(shù)，則訓(xùn)練達(dá)到一定精度時，實際輸出與目標(biāo)輸出一致。第二十五頁，共五十二頁，編輯于2023年，星期三5BP網(wǎng)絡(luò)的設(shè)計▲訓(xùn)練效果表

s1Time(s)epoch25.7111834.409044.398854.458564.6285203.5768254.0672305.1196第二十六頁，共五十二頁，編輯于2023年，星期三5BP網(wǎng)絡(luò)的設(shè)計▲分析：神經(jīng)元太少，影響學(xué)習(xí)效果，精度不高，易訓(xùn)練失敗理論上講，神經(jīng)元越多，網(wǎng)絡(luò)功能越強(qiáng)，但神經(jīng)元越多訓(xùn)練時間會增加，并可能出現(xiàn)不協(xié)調(diào)的擬合。s1=3,4,5,6的效果相當(dāng)，s1小，循環(huán)一次的時間少

▲結(jié)論：在隱層神經(jīng)元數(shù)設(shè)計的原則是在能解決問題的情況下，增加1~2個神經(jīng)元。第二十七頁，共五十二頁，編輯于2023年，星期三5BP網(wǎng)絡(luò)的設(shè)計3初始權(quán)值的選取▲飽和區(qū)域：誤差曲面中非常平坦的區(qū)域，通常出現(xiàn)在為很小的值，因，且▲初始值的選取應(yīng)避免取在飽和區(qū)域?！[層的初始值：在工具箱中，可采用initnw.m函數(shù)初始化W1和B1第二十八頁，共五十二頁，編輯于2023年，星期三5BP網(wǎng)絡(luò)的設(shè)計例4.6.好的初始值的訓(xùn)練效果觀察。（例1數(shù)據(jù)）▲舊方法：隨機(jī)初始化的訓(xùn)練次數(shù)為5000次左右；▲新方法：用initnw產(chǎn)生初始值的訓(xùn)練次數(shù)為400次左右▲在同樣的目標(biāo)誤差下，訓(xùn)練速度加快了?！粋€好的學(xué)習(xí)算法應(yīng)在統(tǒng)計的基礎(chǔ)上來評價第二十九頁，共五十二頁，編輯于2023年，星期三5BP網(wǎng)絡(luò)的設(shè)計4學(xué)習(xí)速率學(xué)習(xí)率的大小對算法的影響：過大的學(xué)習(xí)率使計算不穩(wěn)定，出現(xiàn)“震蕩”過小的學(xué)習(xí)率導(dǎo)致計算時間長，收斂慢。學(xué)習(xí)率選取一般在0.01~0.8之間問題：由于誤差曲面的復(fù)雜性，有的地方要求大學(xué)習(xí)率，另外地方要求小的學(xué)習(xí)率。

例4.7觀察學(xué)習(xí)速率太大的影響第三十頁，共五十二頁，編輯于2023年，星期三5BP網(wǎng)絡(luò)的設(shè)計5期望誤差的選取期望誤差的大小對訓(xùn)練的影響：▲期望誤差的大小受問題本身的影響，應(yīng)選擇適當(dāng)；▲期望誤差過小，往往要求多的隱含層的節(jié)點(diǎn)數(shù)，并可能增加訓(xùn)練時間?！鴮嶋H訓(xùn)練時，可選擇2-3個不同的期望誤差進(jìn)行比較后，進(jìn)行綜合考慮第三十一頁，共五十二頁，編輯于2023年，星期三6限制與不足

BP算法存在問題：完全不能訓(xùn)練網(wǎng)絡(luò)的麻痹現(xiàn)象局部最小訓(xùn)練時間過長，復(fù)雜問題甚至要訓(xùn)練幾天到幾周時間。選取了不適當(dāng)?shù)膶W(xué)習(xí)速率第三十二頁，共五十二頁，編輯于2023年，星期三6限制與不足網(wǎng)絡(luò)的麻痹現(xiàn)象在訓(xùn)練過程中，加權(quán)調(diào)得較大可能迫使所有的或大部分的加權(quán)和輸出sj較大，從而使得操作會在S型函數(shù)的飽和區(qū)進(jìn)行，此時函數(shù)處在其導(dǎo)數(shù)f’(s)非常小的區(qū)域內(nèi)。由于在計算加權(quán)修正量時，σ正比于f’(s)，因此當(dāng)f’(s)->0時σ->0，這使得，相當(dāng)于調(diào)節(jié)過程幾乎停頓下來。為了避免這種現(xiàn)象，可將學(xué)習(xí)（訓(xùn)練）速率系數(shù)η減小，但這又會增加訓(xùn)練時間。第三十三頁，共五十二頁，編輯于2023年，星期三6限制與不足局部最小BP訓(xùn)練算法實際上采用梯度下降法，訓(xùn)練過程從某一起始點(diǎn)沿誤差函數(shù)的斜面最陡方向逐漸達(dá)到最小點(diǎn)E->0。對于復(fù)雜的網(wǎng)絡(luò)，其誤差函數(shù)面在多維空間，其表面可能凹凸不平，因而在訓(xùn)練過程中可能會陷入某一個小谷區(qū)，稱之為局部最小點(diǎn)。由此點(diǎn)向各方向變化均使E增加，以致無法逃出這個局部最小點(diǎn)。第三十四頁，共五十二頁，編輯于2023年，星期三6限制與不足局部最小點(diǎn)示意圖初始隨機(jī)加權(quán)的影響。如果這些加權(quán)太大，可能一開始就使網(wǎng)絡(luò)處于S型函數(shù)飽和區(qū)，系統(tǒng)就很有可能陷入局部最小。為此，可采用如下策略選取隨機(jī)加權(quán)值：－使結(jié)點(diǎn)輸入加權(quán)和的絕對值|sj|<1，但又不可太小。－可選擇各加權(quán)值的量級為，其中ki為連接到結(jié)點(diǎn)j的所有前層結(jié)點(diǎn)的數(shù)目。第三十五頁，共五十二頁，編輯于2023年，星期三6限制與不足學(xué)習(xí)速率η大小如果η選得太小，收斂會很慢；如果η選得太大，可能出現(xiàn)麻痹現(xiàn)象或連續(xù)不穩(wěn)定。需按照實驗和經(jīng)驗確定η。Wasserman曾提出自適應(yīng)學(xué)習(xí)速率算法，在訓(xùn)練過程中自動調(diào)節(jié)階距的大小。例4.8誤差的局部和全局最小值的觀察第三十六頁，共五十二頁，編輯于2023年，星期三7反向傳播法的改進(jìn)1附加動量法基本思想：在BP法的調(diào)整權(quán)值方法的基礎(chǔ)上，增加一個正比于前次權(quán)值變化量的值，稱之為附加動量(法)附加動量法的計算公式：其中，k為訓(xùn)練次數(shù)，mc為動量因子，可取0.95左右。第三十七頁，共五十二頁，編輯于2023年，星期三7反向傳播法的改進(jìn)▲附加動量法的一個顯著特點(diǎn)：避免局部極小值

在誤差曲面很平坦的地方，接近0，此時BP法的權(quán)值修正量幾乎為0，但。這樣防止了，并可從誤差曲面的局部極小值中跳出來?！嚓P(guān)函數(shù)的動量因子的調(diào)整公式

▲工具函數(shù)：traingdm.m作為train.m或newcf.m的一個選項。

第三十八頁，共五十二頁，編輯于2023年，星期三7反向傳播法的改進(jìn)附加動量法的幾個問題學(xué)習(xí)速率的選擇：不能太大，或太小訓(xùn)練次數(shù)的選擇：要給予足夠的訓(xùn)練次數(shù)初始值的選擇：誤差下降方向，位置選擇例4.9采用附加動量法的反向傳播網(wǎng)絡(luò)的訓(xùn)練。第三十九頁，共五十二頁，編輯于2023年，星期三7反向傳播法的改進(jìn)2自適應(yīng)學(xué)習(xí)速率▲恰當(dāng)學(xué)習(xí)率的選取很困難，主要憑經(jīng)驗或訓(xùn)練▲過大或過小的學(xué)習(xí)率對訓(xùn)練都不利▲固定學(xué)習(xí)率的不足之處在于沒有利用誤差曲面的特性，因此影響了學(xué)習(xí)效果；自適應(yīng)學(xué)習(xí)利用誤差曲面特性，可增強(qiáng)學(xué)習(xí)效果?；舅枷耄涸谡`差曲面平坦之處利用大學(xué)習(xí)率，可避免無法“訓(xùn)練”現(xiàn)象，加快收斂速度等；在誤差曲面非常狹窄陡峭之處，利用小學(xué)習(xí)率，可避免出現(xiàn)“過調(diào)”現(xiàn)象。

第四十頁，共五十二頁，編輯于2023年，星期三7反向傳播法的改進(jìn)▲一種自適應(yīng)學(xué)習(xí)率的調(diào)整公式：

注：的選取有任意性。工具函數(shù)：taningda.m作為train.m的參數(shù)。動量法和變學(xué)習(xí)率算法可結(jié)合起來：taningdx.m

調(diào)用格式：

net=newff(minmax(P),[5,1],(‘tansig’,’purelin’),’traingdx’)▲例4.10采用自適應(yīng)學(xué)習(xí)率訓(xùn)練網(wǎng)絡(luò)。第四十一頁，共五十二頁，編輯于2023年，星期三7反向傳播法的改進(jìn)3彈性BP算法

▲標(biāo)準(zhǔn)的BP法中利用S型函數(shù)，其不足之處在于當(dāng)輸入絕對值很大時，，訓(xùn)練可出現(xiàn)完全不能訓(xùn)練；▲彈性BP算法：只取的符號，它決定了權(quán)值變化的方向，確定一個“更新值”；若連續(xù)兩次“同號”，增加更新值；否則，減少更新值。算法出現(xiàn)“振蕩”，減少“更新值”。第四十二頁，共五十二頁，編輯于2023年，星期三8基于數(shù)值優(yōu)化方法的訓(xùn)練算法

BP網(wǎng)絡(luò)訓(xùn)練實質(zhì)是一個非線性目標(biāo)函數(shù)優(yōu)化問題。求誤差函數(shù)極小值，除了可利用“最速下降法”-BP法外，還存在其他求極小值方法—稱為“優(yōu)化”法。BP法是利用誤差函數(shù)的一階導(dǎo)數(shù)信息，此外，還有利用“二階導(dǎo)數(shù)”信息的“優(yōu)化”算法，例如：

擬牛頓法，Levenberg-Marquardt法，共軛梯度法等。第四十三頁，共五十二頁，編輯于2023年，星期三8基于數(shù)值優(yōu)化方法的訓(xùn)練算法▲優(yōu)化算法的統(tǒng)一表示如下：尋優(yōu)分二步：確定當(dāng)前迭代的最佳搜索方向；在該方向上尋找最優(yōu)步長；梯度下降法、擬牛頓法、Levenberg-Marquardt法、共軛梯度法等是其中的幾種尋優(yōu)方法。他們的主要區(qū)別在于“尋優(yōu)”的技巧不一樣。第四十四頁，共五十二頁，編輯于2023年，星期三8基于數(shù)值優(yōu)化方法的訓(xùn)練算法擬牛頓法牛頓法的步驟:

第一次迭代的搜索方向：負(fù)梯度方向調(diào)整公式為以后的各次迭代的搜索方向：調(diào)整公式為第四十五頁，共五十二頁，編輯于2023年，星期三8基于數(shù)值優(yōu)化方法的訓(xùn)練算法其中是海森（Hessian）矩陣：?一個問題：

海森（Hessian）矩陣的計算量和存儲量大，因此，利用不同的簡化計算方法得到不同的“擬牛頓法”第四十六頁，共五十二頁，編輯于2023年，星期三8基于數(shù)值優(yōu)化方法的訓(xùn)練算法1．BFGS擬牛頓法：海森矩陣的近似計算公式：