第3章反向傳播算法3.1反向傳播機(jī)制3.2反向傳播算法性能分析3.3改進(jìn)的反向傳播算法3.4反向傳播算法實(shí)現(xiàn)的幾點(diǎn)說(shuō)明

3.1反向傳播機(jī)制

梯度下降法的優(yōu)點(diǎn)之一在于它可以用在隱層神經(jīng)網(wǎng)絡(luò)的訓(xùn)練中，因此梯度下降法是多層前饋神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的一種常用方法。梯度下降法要求誤差函數(shù)必須是可導(dǎo)的，線(xiàn)性元件雖然滿(mǎn)足這個(gè)條件，但是如果在多層前饋神經(jīng)網(wǎng)絡(luò)模型中采用線(xiàn)性元件，多層前饋神經(jīng)網(wǎng)絡(luò)也只能產(chǎn)生線(xiàn)性函數(shù)，即采用線(xiàn)性元件的多層前饋網(wǎng)絡(luò)和單層前饋網(wǎng)絡(luò)本質(zhì)上是一樣的。因此，在多層前饋神經(jīng)網(wǎng)絡(luò)中通常采取Sigmoid單元(簡(jiǎn)稱(chēng)S-元件)和線(xiàn)性元件配合使用的方法。

假設(shè)訓(xùn)練樣例集為

，其中是網(wǎng)絡(luò)的輸入,

是對(duì)應(yīng)的目標(biāo)輸出值。反向傳播神經(jīng)網(wǎng)絡(luò)采用的是與自適應(yīng)線(xiàn)性網(wǎng)絡(luò)中類(lèi)似的性能學(xué)習(xí),同LMS算法類(lèi)似,首先定義誤差函數(shù),再對(duì)訓(xùn)練樣例集進(jìn)行遞推,每一次掃描都逐個(gè)處理訓(xùn)練樣例。在處理一個(gè)訓(xùn)練樣例時(shí),先從輸入向前計(jì)算結(jié)果,再向后傳播誤差,并根據(jù)誤差值修改權(quán)值。值得指出的是,誤差函數(shù)是隱藏層可調(diào)參數(shù)的一個(gè)隱函數(shù),因此需要用到隱函數(shù)求導(dǎo)的法則。

以均方誤差定義性能函數(shù):

那么第m+1層的凈輸入向量相對(duì)第m層的凈輸入向量的倒數(shù)為

(3.11)接下來(lái),第m層單元的敏感度向量就可以記為

(3.12)

這樣第m層單元的敏感度函數(shù)就可以通過(guò)第m+1層單元的敏感度函數(shù),即后一層單元的敏感度函數(shù)獲得。網(wǎng)絡(luò)中每一層的敏感度向量計(jì)算出來(lái)后,就可以利用它來(lái)計(jì)算性能函數(shù)對(duì)各層的權(quán)值和偏置的梯度,即

(3.13)

(3.14)

網(wǎng)絡(luò)的權(quán)值與偏置的更新公式可記成向量的形式:

(3.15)

(3.16)

考慮具有2層(隱層為Sigmoid單元，輸出層為線(xiàn)性單元)結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò)模型，如圖3.1所示，設(shè)有個(gè)網(wǎng)絡(luò)輸入節(jié)點(diǎn),每一個(gè)輸入節(jié)點(diǎn)代表一個(gè)輸入分量；全體輸入分量合在一起記為x，作為隱藏層中每一個(gè)元件的輸入；隱藏層中有多個(gè)隱藏S-元件,計(jì)算出每個(gè)S-元件對(duì)輸入x

的輸出,并傳輸給輸出層的所有S-元件。輸出層中有多個(gè)輸出線(xiàn)性元件,元件的輸入是隱藏層的輸出，計(jì)算出最終網(wǎng)絡(luò)的輸出。

下面采用上述算法訓(xùn)練一個(gè)單隱層的前饋神經(jīng)網(wǎng)絡(luò)模型。

在該模型中，隱藏層的輸出可以寫(xiě)為

式中:W1、f1、a1

分別是隱藏層的權(quán)值矩陣、傳遞函數(shù)和輸出，p

為網(wǎng)絡(luò)的輸入。經(jīng)過(guò)線(xiàn)性輸出層之后，網(wǎng)絡(luò)的最終輸出為

式中:W2、f2、a2分別是線(xiàn)性層的權(quán)值矩陣、傳遞函數(shù)和輸出。在使用梯度下降法訓(xùn)練網(wǎng)絡(luò)時(shí),首先計(jì)算隱藏層的適應(yīng)度函數(shù):

算法3.1

1.建立前饋網(wǎng)絡(luò);

2.將網(wǎng)絡(luò)上的各個(gè)權(quán)值隨機(jī)初始化

Repeat

For每一個(gè)訓(xùn)練例<x,t>

Do根據(jù)網(wǎng)絡(luò)輸入x向前計(jì)算各個(gè)隱層單元的輸出(前向傳播);

計(jì)算每一個(gè)輸出單元的誤差、性能函數(shù)和敏感度函數(shù);

計(jì)算每一個(gè)隱藏單元的敏感度函數(shù)(后向傳播)

修改網(wǎng)絡(luò)的各層權(quán)值和偏置

Until終止條件滿(mǎn)足定理1只要隱層神經(jīng)元的個(gè)數(shù)充分，隱層傳輸函數(shù)就為S型輸出傳輸函數(shù)，輸出的線(xiàn)性的單隱層網(wǎng)絡(luò)可逼近任意函數(shù)。

已經(jīng)證明:這種結(jié)構(gòu)的單隱層神經(jīng)網(wǎng)絡(luò)可以用來(lái)逼近任意函數(shù)。由上述分析可以看到，反向傳播算法實(shí)現(xiàn)了一種對(duì)可能的網(wǎng)絡(luò)權(quán)值空間的梯度下降搜索，它通過(guò)迭代地減小訓(xùn)練樣本的目標(biāo)值和網(wǎng)絡(luò)實(shí)際輸出間的誤差來(lái)最小化性能函數(shù)。在這種情況下，單隱層網(wǎng)絡(luò)的性能指數(shù)可能不再是如自適應(yīng)線(xiàn)性網(wǎng)絡(luò)中的二次函數(shù)，那么性能曲面就有多個(gè)極小點(diǎn)。雖然反向傳播算法是最常見(jiàn)的多層前饋網(wǎng)絡(luò)學(xué)習(xí)算法，但是由上述訓(xùn)練過(guò)程可以看出，梯度下降決定了反向傳播只能收斂到局部而非全局最優(yōu)，在理論上并不能保證網(wǎng)絡(luò)收斂到性能函數(shù)的全局極小點(diǎn)。人們?cè)诜聪騻鞑ニ惴ǖ幕A(chǔ)上也提出了很多其他的算法，包括對(duì)于特殊任務(wù)的一些算法。

3.2反向傳播算法性能分析

理論上，基于最陡梯度下降的反向傳播算法可能陷入局部極小點(diǎn)，目前人們對(duì)局部極小點(diǎn)問(wèn)題仍缺乏理論上的分析結(jié)果，但實(shí)際上問(wèn)題并不像想象的那樣嚴(yán)重。這主要是因?yàn)橐韵聝煞矫娴脑?(1)當(dāng)網(wǎng)絡(luò)的權(quán)值較多時(shí)，一個(gè)權(quán)陷入極小點(diǎn)不等于別的權(quán)值也陷入極小點(diǎn)，權(quán)值越多，逃離某權(quán)值的局部極小點(diǎn)的機(jī)會(huì)越多。

(2)若權(quán)值的初始值接近0，則網(wǎng)絡(luò)所表達(dá)的函數(shù)接近線(xiàn)性函數(shù)(沒(méi)有什么局部極小點(diǎn))，只有在學(xué)習(xí)過(guò)程中當(dāng)權(quán)值的絕對(duì)值較大時(shí)，網(wǎng)絡(luò)才表示高度非線(xiàn)性函數(shù)(含有很多局部極小點(diǎn))，而此時(shí)權(quán)值已經(jīng)接近全局極小點(diǎn)，即使陷入局部極小點(diǎn)也與全局極小點(diǎn)沒(méi)有太大的區(qū)別。

由于局部極小點(diǎn)問(wèn)題在實(shí)際上并非很?chē)?yán)重，因此反向傳播算法的實(shí)用價(jià)值是很大的。此外，還有一些避免陷入局部極小點(diǎn)的誘導(dǎo)方法，例如：

(1)在算法中使用隨機(jī)梯度下降法而不是真正的梯度下降法。隨機(jī)梯度下降法的實(shí)質(zhì)是：在處理每一個(gè)例子時(shí)使用不同的誤差曲面的梯度，而不同的誤差曲面有不同的局部極小點(diǎn)，所以整個(gè)過(guò)程不太容易陷入任何一個(gè)這樣的局部極小點(diǎn)。

(2)用多個(gè)具有相同的結(jié)構(gòu)和不同的權(quán)初始化的網(wǎng)絡(luò)對(duì)同一個(gè)訓(xùn)練樣例集進(jìn)行學(xué)習(xí)，在它們分別落入不同的局部極小點(diǎn)時(shí)，將對(duì)獨(dú)立驗(yàn)證集具有最佳結(jié)果的網(wǎng)絡(luò)作為學(xué)習(xí)的結(jié)果;或全體網(wǎng)絡(luò)形成一個(gè)“決策委員會(huì)”，取它們的平均結(jié)果作為學(xué)習(xí)的結(jié)果。

(3)引入沖量使過(guò)程“沖過(guò)”局部極小點(diǎn)(但有時(shí)也會(huì)“沖過(guò)”全局極小點(diǎn))

3.3改進(jìn)的反向傳播算法

BP算法因其簡(jiǎn)單、易行、計(jì)算量小、并行性強(qiáng)等優(yōu)點(diǎn)，目前是神經(jīng)網(wǎng)絡(luò)訓(xùn)練采用最多的訓(xùn)練方法之一。但通常存在以下兩方面問(wèn)題：(1)學(xué)習(xí)效率低，收斂速度慢。BP算法誤差減小得太慢，使得權(quán)值調(diào)整的時(shí)間太長(zhǎng)，迭代步數(shù)太多。由于梯度逐漸變?yōu)?，越接近局部最優(yōu)，收斂速度越慢。為了保證算法的收斂性，學(xué)習(xí)速率不能過(guò)大，否則會(huì)出現(xiàn)振蕩。因此需要經(jīng)過(guò)多次調(diào)整才能將誤差函數(shù)曲面降低。這是BP算法學(xué)習(xí)速度慢的一個(gè)重要原因。

(2)易陷入局部極小狀態(tài)。

BP算法是以梯度下降法為基礎(chǔ)的非線(xiàn)性?xún)?yōu)化方法，不可避免地存在局部極小問(wèn)題，且實(shí)際問(wèn)題的求解空間往往是極其復(fù)雜的多維曲面，存在著許多局部極小點(diǎn)，更使這種陷于局部極小點(diǎn)的可能性大大增加。

3.3.1帶動(dòng)量項(xiàng)自適應(yīng)變步長(zhǎng)BP算法(ABPM)

動(dòng)量法是將上一次權(quán)值調(diào)整量的一部分疊加到按本次誤差計(jì)算所得的權(quán)值調(diào)整量上，作為本次權(quán)值實(shí)際調(diào)整量，即本次的實(shí)際調(diào)整量為

式中:α為動(dòng)量系數(shù)。動(dòng)量項(xiàng)的引入使得調(diào)節(jié)向著底部的平均方向變化，不至于產(chǎn)生大的擺動(dòng)，若系統(tǒng)進(jìn)入誤差函數(shù)的平坦區(qū)，則誤差將變化很小。在改變學(xué)習(xí)速度的同時(shí)，一定程度上也解決了局部極小的問(wèn)題。

標(biāo)準(zhǔn)BP網(wǎng)絡(luò)的逼近誤差曲面的梯度變化是不均勻的，如果采用固定步長(zhǎng)λ，那么在誤差曲面較平坦的區(qū)域收斂較慢;當(dāng)λ較大時(shí)，又會(huì)在峽谷區(qū)域引起震蕩，自適應(yīng)變步長(zhǎng)算法就是針對(duì)定步長(zhǎng)的缺陷提出來(lái)的。它是以進(jìn)化論中的進(jìn)退法為生物理論基礎(chǔ)的。

學(xué)習(xí)率的調(diào)整公式為

式中:Emin

是前k

次迭代中的最小誤差，er為誤差反彈許可率,de和in分別是學(xué)習(xí)步長(zhǎng)增長(zhǎng)率和減小率,α為動(dòng)量系數(shù)。采用自適應(yīng)變步長(zhǎng)BP算法(advancedbackpropagation

method，ABPM)修改后的權(quán)值向量為

3.3.2同倫BP算法(HBP)

同倫BP算法(homotopybackpropagation,HBP)是循序漸進(jìn)地將解決復(fù)雜問(wèn)題的思想引入BP網(wǎng)絡(luò)的能量函數(shù)極小值的確定中。同倫方法網(wǎng)絡(luò)根據(jù)采用的組成部分的不同，可分為教師同倫、輸入同倫、結(jié)構(gòu)同倫等。本節(jié)主要介紹教師同倫算法。該算法首先要確定教師同倫函數(shù)T

：

式中：t是形成過(guò)渡函數(shù)的變量,在學(xué)習(xí)過(guò)程中由0逐漸變到1；Tb和Te分別是構(gòu)造出的初始教師和給定教師，其中Tb可以表示為

3.3.3LMBP算法

高斯牛頓迭代法在非線(xiàn)性問(wèn)題的求解中具有二階收斂速度，但迭代過(guò)程中的Hessian矩陣有可能變成奇異陣，從而無(wú)法迭代。LM(levenberg-marquardt)算法則是在高斯牛頓法

和最速下降法之間進(jìn)行平滑調(diào)和，其公式為

式中：H

為能量函數(shù)E

在w(k)處的Hessian矩陣，DH

是對(duì)角元素為H的對(duì)角陣；是E

在w(k)的導(dǎo)數(shù)矩陣。

μ可以通過(guò)下式調(diào)整：

3.4反向傳播算法實(shí)現(xiàn)的幾點(diǎn)說(shuō)明

反向傳播算法提供了使用最速下降法在權(quán)空間計(jì)算得到軌跡的一種近似。使用的學(xué)習(xí)步長(zhǎng)越小，從一次迭代到另一次迭代的網(wǎng)絡(luò)的突觸權(quán)值的變化量就越小，軌跡在權(quán)值空間就越光滑。在反向傳播算法中，動(dòng)量的使用對(duì)更新權(quán)值來(lái)說(shuō)是一個(gè)較小的變化，而它對(duì)學(xué)習(xí)算法會(huì)產(chǎn)生有利的影響，動(dòng)量項(xiàng)可以降低學(xué)習(xí)過(guò)程停止在誤差曲面上一個(gè)局部最小的概率，這對(duì)于得到全局極值點(diǎn)可能是有幫助的。動(dòng)量和學(xué)習(xí)率參數(shù)一般會(huì)隨著迭代的增加而逐步減小。在一個(gè)訓(xùn)練過(guò)程中,一個(gè)訓(xùn)練集合的完全呈現(xiàn)稱(chēng)為一個(gè)回合(epoch)。對(duì)于一個(gè)給定的訓(xùn)練集合，反向傳播算法可以以下面兩種基本形式進(jìn)行學(xué)習(xí)：

(1)串行方式，又稱(chēng)為在線(xiàn)方式、模式方式或隨機(jī)方式。這種運(yùn)行方式在每個(gè)訓(xùn)練樣本呈現(xiàn)之后進(jìn)行權(quán)值更新。首先將一個(gè)樣本對(duì)提交給網(wǎng)絡(luò)，完成前饋計(jì)算和反向傳播，修改網(wǎng)絡(luò)的權(quán)值和偏置，接著將第二個(gè)樣本提交給網(wǎng)絡(luò)，重復(fù)前述過(guò)程,直到回合中的最后一例子也被處理過(guò)。

(2)并行方式。權(quán)值更新要在組成一個(gè)回合的所有訓(xùn)練樣本都呈現(xiàn)完之后才進(jìn)行。整個(gè)訓(xùn)練集合在全部提交完之后才進(jìn)行權(quán)值更新。從在線(xiàn)運(yùn)行的角