反向傳播算法的變形BP算法的缺點算法的收斂速度很慢可能有多個局部極小點BP網(wǎng)絡(luò)的隱層神經(jīng)元個數(shù)的選取尚無理論上的指導(dǎo)，而是根據(jù)經(jīng)驗選取BP網(wǎng)絡(luò)是一個前向網(wǎng)絡(luò)，具有非線性映射能力，但較之非線性動力學(xué)系統(tǒng)，功能上有其局限性BP算法的變形啟發(fā)式改進(jìn)動量可變的學(xué)習(xí)速度標(biāo)準(zhǔn)的數(shù)值優(yōu)化共軛梯度牛頓法(Levenberg-Marquardt)性能曲面例子（續(xù)）w11,1w21,1w11,1w21,1w11,1和w21,1變化時的平方誤差性能曲面例子（續(xù)）

w11,1b11b11w11,1w11,1andb11變化時的平方誤差

性能曲面例子（續(xù)）

b11b21b21b11b11和b12變化時的平方誤差收斂性例子w11,1w21,1學(xué)習(xí)速度太大情形w11,1w21,1提高收斂速度?改變學(xué)習(xí)速度在曲面平坦時增加學(xué)習(xí)速度，在斜速率增加時減少學(xué)習(xí)速度。?平滑軌跡：當(dāng)算法開始振蕩時，平滑掉振蕩以產(chǎn)生一個穩(wěn)定的軌跡。動量反向傳播算法最速下降反傳算法(SDBP)動量反傳算法(MOBP)w11,1w21,1可變的學(xué)習(xí)速度(VLBP)如果誤差平方(在整個訓(xùn)練集上)在權(quán)值更新后增加了百分?jǐn)?shù)z(典型值為1%至5%),則取消權(quán)值更新,學(xué)習(xí)速度乘上一個因子(1

>

r

>

0),并且動量系數(shù)g置為0.如果誤差平方在權(quán)值更新后減少,則接受權(quán)值更新,并且學(xué)習(xí)速度乘上一個因子h>1.如果動量系數(shù)g先前被置為0,則恢復(fù)到先前的值.如果誤差平方的增加少于z,則接受權(quán)值更新,但是學(xué)習(xí)速度和動量系數(shù)不變.例子w11,1w21,1平方誤差學(xué)習(xí)速度共軛梯度1. 初始搜索方向為梯度的反方向(最速下降)。2. 迭代一次，學(xué)習(xí)速度的選取采用沿搜索方向最小化性能函數(shù)。3. 選擇下一次的搜索方向：其中或或因為通常性能指數(shù)不是二次的，以下二個方面需要改進(jìn)：1.需要一個一般的過程去確定函數(shù)在某個特定方向的極值；2.算法在共扼方向迭代過n次后，可能要重新設(shè)置搜索方向。4. 如果算法不收斂，繼續(xù)第２步。區(qū)間定位區(qū)間縮小共扼梯度反向傳播法(CGBP)w11,1w21,1w11,1w21,1中間步驟完整軌跡Newton方法如果性能指數(shù)是函數(shù)平方的和:則梯度的第j個元素是:矩陣形式梯度能寫成矩陣形式:其中J是Jacobian矩陣:Jx()v1x()?x1?----------------v1x()?x2?----------------?v1x()?xn?----------------v2x()?x1?----------------v2x()?x2?----------------?v2x()?xn?----------------???vNx()?x1?-----------------vNx()?x2?-----------------?vNx()?xn?-----------------=Gauss-Newton方法xkJTxk()Jxk()[]1–JTxk()vxk()–=設(shè)S(x)很小，Hessian矩陣近似表示為:Newton方法成為:Levenberg-Marquardt(LM)算法Gauss-Newton方法近似表示Hessian矩陣如下：這個矩陣可能奇異,但是可進(jìn)行如下轉(zhuǎn)換：如果H的特征值和特征向量是：那么G的特征值對所有i，增加μ以保證，可使G成為正定，所以矩陣G可逆。由此可導(dǎo)出如下LM算法：Jacobian矩陣Jx()e11,?w11,1?--------------e11,?w12,1?--------------?e11,?wS1R,1?----------------e11,?b11?------------?e21,?w11,1?--------------e21,?w12,1?--------------?e21,?wS1R,1?----------------e21,?b11?------------?????eSM1,?w11,1?---------------eSM1,?w12,1?---------------?eeSM1,?wS1R,1?----------------eeSM1,?b11?----------------?e12,?w11,1?--------------e12,?w12,1?--------------?e12,?wS1R,1?----------------e12,?b11?------------?????=計算Jacobian矩陣標(biāo)準(zhǔn)BP算法計算公式為：對于Jacobian矩陣的元素可用下式計算：使用鏈規(guī)則：其中敏感度：是用反向傳播方法計算得到。Marquardt敏感度如果定義Marquardt敏感度為:Jacobian矩陣能如下算得:權(quán)偏置敏感度計算S?mS?1mS?2m?S?Qm=反向傳播初始化LMBP算法1.將所有輸入提交網(wǎng)絡(luò)并計算相應(yīng)的網(wǎng)絡(luò)輸出和誤差。計算所有輸入的誤差平方和F(x).2.計算Jacobian矩陣。初始化敏感度，用反向傳播算法遞歸計算各層的敏感度。將各個單獨的矩陣增廣到Marquardt敏感度中。計算Jacobian矩陣的元素。3.求得權(quán)的改變量。4.用重復(fù)計算誤差平方的和。如