反向傳播基礎主講：胡林01反向傳播算法概述02反向傳播算法推導目錄反向傳播算法概述1反向傳播算法概述一、反向傳播算法的定義

BP算法(即反向傳播算法)適合于多層神經元網絡的一種學習算法，它建立在梯度下降法的基礎上。BP網絡的輸入輸出關系實質上是一種映射關系：一個n輸入m輸出的BP神經網絡所完成的功能是從n維歐氏空間向m維歐氏空間中一有限域的連續(xù)映射，這一映射具有高度非線性。它的信息處理能力來源于簡單非線性函數(shù)的多次復合，因此具有很強的函數(shù)復現(xiàn)能力。這是BP算法得以應用的基礎。二、反向傳播算法簡介反向傳播算法被設計為減少公共子表達式的數(shù)量而不考慮存儲的開銷。反向傳播避免了重復子表達式的指數(shù)爆炸。然而，其他算法可能通過對計算圖進行簡化來避免更多的子表達式，或者也可能通過重新計算而不是存儲這些子表達式來節(jié)省內存。反向傳播算法主要由兩個環(huán)節(jié)(激勵傳播、權重更新)反復循環(huán)迭代，直到網絡的對輸入的響應達到預定的目標范圍為止。BP算法的學習過程由正向傳播過程和反向傳播過程組成。在正向傳播過程中，輸入信息通過輸入層經隱含層，逐層處理并傳向輸出層。如果在輸出層得不到期望的輸出值，則取輸出與期望的誤差的平方和作為目標函數(shù)，轉入反向傳播，逐層求出目標函數(shù)對各神經元權值的偏導數(shù)，構成目標函數(shù)對權值向量的梯量，作為修改權值的依據(jù)，網絡的學習在權值修改過程中完成。誤差達到所期望值時，網絡學習結束。反向傳播算法概述激勵傳播中每次迭代的傳播環(huán)節(jié)包含兩步：(前向傳播階段)將訓練輸入送入網絡以獲得激勵響應；(反向傳播階段)將激勵響應同訓練輸入對應的目標輸出求差，從而獲得隱層和輸出層的響應誤差權重更新的步驟：將輸入激勵和響應誤差相乘，從而獲得權重的梯度；將這個梯度乘上一個比例并取反后加到權重上。這個比例將會影響到訓練過程的速度和效果，因此稱為“訓練因子”。梯度的方向指明了誤差擴大的方向，因此在更新權重的時候需要對其取反，從而減小權重引起的誤差。反向傳播算法推導2反向傳播算法推導一、誤差反向傳播

梯度下降需要每一層都有明確的誤差才能更新參數(shù)，所以接下來的重點是如何將輸出層的誤差反向傳播給隱藏層。

其中輸出層、隱藏層節(jié)點的誤差如圖所示，輸出層誤差已知，接下來對隱藏層第一個節(jié)點c作誤差分析。還是站在節(jié)點c上，不同的是這次是往前看（輸出層的方向），可以看到指向c節(jié)點的兩個藍色粗箭頭是從節(jié)點e和節(jié)點f開始的，因此對于節(jié)點c的誤差肯定是和輸出層的節(jié)點e和f有關。反向傳播算法推導

不難發(fā)現(xiàn)，輸出層的節(jié)點e有箭頭分別指向了隱藏層的節(jié)點c和d，因此對于隱藏節(jié)點e的誤差不能被隱藏節(jié)點c霸為己有，而是要服從按勞分配的原則（按權重分配），同理節(jié)點f的誤差也需服從這樣的原則，因此對于隱藏層節(jié)點c的誤差為：

同理，對于隱藏層節(jié)點d的誤差為：

如果能夠簡化到前向傳播那樣的形式就更好了。實際上我們可以這么來做，只要不破壞它們的比例就好，因此我們可以忽略掉分母部分，所以重新成矩陣形式為：

仔細觀察，你會發(fā)現(xiàn)這個權重矩陣，其實是前向傳播時權重矩陣w的轉置，因此簡寫形式如下：

不難發(fā)現(xiàn)，輸出層誤差在轉置權重矩陣的幫助下，傳遞到了隱藏層，這樣我們就可以利用間接誤差來更新與隱藏層相連的權重矩陣。反向傳播算法推導首先對隱藏層的w11進行參數(shù)更新，更新之前讓我們從后往前推導，直到預見w11為止：因此誤差對w11求偏導如下：求導得如下公式（所有值已知）：反向傳播算法推導

同理求得W12，接著對輸入層的w11進行參數(shù)更新，更新之前我們依然從后往前推導，直到預見第一層的w11為止：

因此誤差對輸入層的w11求偏導如下：

同理，輸入層的其他三