神經(jīng)網(wǎng)絡(luò)配套第一頁，共三十五頁，2022年，8月28日BP算法的缺點(diǎn)算法的收斂速度很慢可能有多個局部極小點(diǎn)BP網(wǎng)絡(luò)的隱層神經(jīng)元個數(shù)的選取尚無理論上的指導(dǎo)，而是根據(jù)經(jīng)驗(yàn)選取BP網(wǎng)絡(luò)是一個前向網(wǎng)絡(luò)，具有非線性映射能力，但較之非線性動力學(xué)系統(tǒng)，功能上有其局限性第二頁，共三十五頁，2022年，8月28日BP算法的變形啟發(fā)式改進(jìn)動量可變的學(xué)習(xí)速度標(biāo)準(zhǔn)的數(shù)值優(yōu)化共軛梯度牛頓法(Levenberg-Marquardt)第三頁，共三十五頁，2022年，8月28日性能曲面例子網(wǎng)絡(luò)結(jié)構(gòu)指定的函數(shù)參數(shù)值多層非線性網(wǎng)絡(luò)與單層線性網(wǎng)絡(luò)在均方誤差性能曲面上完全不同。后者的均方誤差只有一個極小點(diǎn)，且具有常數(shù)曲率；前者的均方誤差可能有多個局部極小點(diǎn)而且在參數(shù)空間不同區(qū)域曲率也是變化的。第四頁，共三十五頁，2022年，8月28日性能曲面例子（續(xù)）w11,1w21,1w11,1w21,1w11,1和w21,1變化時(shí)的平方誤差第五頁，共三十五頁，2022年，8月28日性能曲面例子（續(xù)）

w11,1b11b11w11,1w11,1andb11變化時(shí)的平方誤差

第六頁，共三十五頁，2022年，8月28日性能曲面例子（續(xù)）

b11b21b21b11b11和b12變化時(shí)的平方誤差第七頁，共三十五頁，2022年，8月28日性能曲面例子的提示

?算法初始參數(shù)不要設(shè)置為０(參數(shù)空間的原點(diǎn)趨向于鞍點(diǎn))?算法初始參數(shù)不要設(shè)置過大(在遠(yuǎn)離優(yōu)化點(diǎn)的位置，性能曲面將變得十分平坦)第八頁，共三十五頁，2022年，8月28日收斂性例子w11,1w21,1第九頁，共三十五頁，2022年，8月28日學(xué)習(xí)速度太大情形w11,1w21,1第十頁，共三十五頁，2022年，8月28日提高收斂速度?改變學(xué)習(xí)速度在曲面平坦時(shí)增加學(xué)習(xí)速度，在斜速率增加時(shí)減少學(xué)習(xí)速度。?平滑軌跡：當(dāng)算法開始振蕩時(shí)，平滑掉振蕩以產(chǎn)生一個穩(wěn)定的軌跡。第十一頁，共三十五頁，2022年，8月28日動量方法濾波器例子第十二頁，共三十五頁，2022年，8月28日動量反向傳播算法最速下降反傳算法(SDBP)動量反傳算法(MOBP)w11,1w21,1第十三頁，共三十五頁，2022年，8月28日可變的學(xué)習(xí)速度(VLBP)如果誤差平方(在整個訓(xùn)練集上)在權(quán)值更新后增加了百分?jǐn)?shù)z(典型值為1%至5%),則取消權(quán)值更新,學(xué)習(xí)速度乘上一個因子(1

>

r

>

0),并且動量系數(shù)g置為0.如果誤差平方在權(quán)值更新后減少,則接受權(quán)值更新,并且學(xué)習(xí)速度乘上一個因子h>1.如果動量系數(shù)g先前被置為0,則恢復(fù)到先前的值.如果誤差平方的增加少于z,則接受權(quán)值更新,但是學(xué)習(xí)速度和動量系數(shù)不變.第十四頁，共三十五頁，2022年，8月28日例子w11,1w21,1平方誤差學(xué)習(xí)速度第十五頁，共三十五頁，2022年，8月28日啟發(fā)式方法的缺點(diǎn)要設(shè)置一些額外的參數(shù)算法的性能對這些參數(shù)的改變十分敏感參數(shù)的選擇是與問題相關(guān)的對某些用最速下降反傳算法能找到解的問題卻不能收斂。算法越復(fù)雜這樣問題越容易發(fā)生第十六頁，共三十五頁，2022年，8月28日共軛梯度1. 初始搜索方向?yàn)樘荻鹊姆捶较?最速下降)。2. 迭代一次，學(xué)習(xí)速度的選取采用沿搜索方向最小化性能函數(shù)。3. 選擇下一次的搜索方向：其中或或因?yàn)橥ǔＰ阅苤笖?shù)不是二次的，以下二個方面需要改進(jìn)：1.需要一個一般的過程去確定函數(shù)在某個特定方向的極值；2.算法在共扼方向迭代過n次后，可能要重新設(shè)置搜索方向。4. 如果算法不收斂，繼續(xù)第２步。第十七頁，共三十五頁，2022年，8月28日區(qū)間定位第十八頁，共三十五頁，2022年，8月28日區(qū)間縮小第十九頁，共三十五頁，2022年，8月28日黃金分割搜索t=0.618Set c1=a1+(1-t)(b1-a1),Fc=F(c1)

d1=b1-(1-t)(b1-a1),Fd=F(d1)Fork=1,2,...repeat IfFc

<Fdthen Set ak+1=ak;bk+1=dk;dk+1=ck

ck+1=ak+1+(1-t)(bk+1-ak+1)

Fd=Fc;Fc=F(ck+1) else Set ak+1=ck;bk+1=bk;ck+1=dk

dk+1=bk+1-(1-t)(bk+1-ak+1)

Fc=Fd;Fd=F(dk+1) endenduntilbk+1-ak+1<tol第二十頁，共三十五頁，2022年，8月28日共扼梯度反向傳播法(CGBP)w11,1w21,1w11,1w21,1中間步驟完整軌跡第二十一頁，共三十五頁，2022年，8月28日Newton方法如果性能指數(shù)是函數(shù)平方的和:則梯度的第j個元素是:第二十二頁，共三十五頁，2022年，8月28日矩陣形式梯度能寫成矩陣形式:其中J是Jacobian矩陣:Jx()v1x()?x1?----------------v1x()?x2?----------------?v1x()?xn?----------------v2x()?x1?----------------v2x()?x2?----------------?v2x()?xn?----------------???vNx()?x1?-----------------vNx()?x2?-----------------?vNx()?xn?-----------------=第二十三頁，共三十五頁，2022年，8月28日Hessian矩陣第二十四頁，共三十五頁，2022年，8月28日Gauss-Newton方法xkJTxk()Jxk()[]1–JTxk()vxk()–=設(shè)S(x)很小，Hessian矩陣近似表示為:Newton方法成為:第二十五頁，共三十五頁，2022年，8月28日Levenberg-Marquardt(LM)算法Gauss-Newton方法近似表示Hessian矩陣如下：這個矩陣可能奇異,但是可進(jìn)行如下轉(zhuǎn)換：如果H的特征值和特征向量是：那么G的特征值對所有i，增加μ以保證，可使G成為正定，所以矩陣G可逆。由此可導(dǎo)出如下LM算法：第二十六頁，共三十五頁，2022年，8月28日mk的調(diào)整當(dāng)mk?0，LM方法變成Gauss-Newton方法：當(dāng)mk?￥,LM方法變成有小的學(xué)習(xí)速度的最速下降算法：所以，開始時(shí)取小的mk值用Gauss-Newton法加速收斂。如果某一步不能獲得較小的F(x)值，那么增加mk值（乘以一個因子）重復(fù)那一步直到F(x)值的減少。F(x)值最終一定會減少，因?yàn)槲覀儗⒃谧钏傧陆捣较蛏嫌煤苄〉牟介L。第二十七頁，共三十五頁，2022年，8月28日應(yīng)用到多層網(wǎng)絡(luò)多層網(wǎng)絡(luò)的性能指數(shù)是:誤差向量是:參數(shù)向量是:兩個向量的維數(shù)是:第二十八頁，共三十五頁，2022年，8月28日J(rèn)acobian矩陣Jx()e11,?w11,1?--------------e11,?w12,1?--------------?e11,?wS1R,1?----------------e11,?b11?------------?e21,?w11,1?--------------e21,?w12,1?--------------?e21,?wS1R,1?----------------e21,?b11?------------?????eSM1,?w11,1?---------------eSM1,?w12,1?---------------?eeSM1,?wS1R,1?----------------eeSM1,?b11?----------------?e12,?w11,1?--------------e12,?w12,1?--------------?e12,?wS1R,1?----------------e12,?b11?------------?????=第二十九頁，共三十五頁，2022年，8月28日計(jì)算Jacobian矩陣標(biāo)準(zhǔn)BP算法計(jì)算公式為：對于Jacobian矩陣的元素可用下式計(jì)算：使用鏈規(guī)則：其中敏感度：是用反向傳播方法計(jì)算得到。第三十頁，共三十五頁，2022年，8月28日Marquardt敏感度如果定義Marquardt敏感度為:Jacobian矩陣能如下算得:權(quán)偏置第三十一頁，共三十五頁，2022年，8月28日敏感度計(jì)算S?mS?1mS?2m?S?Qm=反向傳播初始化第三十二頁，共三十五頁，2022年，8月28日LMBP算法1.將所有輸入提交網(wǎng)絡(luò)并計(jì)算相應(yīng)的網(wǎng)絡(luò)輸出和誤差。計(jì)算所有輸入的誤差平方和F(x).2.計(jì)算Jacobian矩陣。初始化敏感度，用反向傳播算法遞歸計(jì)算各層的敏感度。將各個單獨(dú)的矩陣增廣到Marquardt敏感度中。計(jì)算Jacobian矩陣的元素。3.求得權(quán)的改變量