深度學(xué)習(xí)之反向傳輸算法（BackPropagation）算法介紹反向傳輸算法(BP算法)重要由兩個(gè)環(huán)節(jié)(激勵(lì)傳輸、權(quán)重更新)重復(fù)循環(huán)迭代，直到網(wǎng)絡(luò)的對(duì)輸入的響應(yīng)達(dá)成預(yù)定的目的范疇為止。BP算法規(guī)定每個(gè)人工神經(jīng)元（節(jié)點(diǎn)）所使用的激勵(lì)函數(shù)必須是可微的。BP算法特別適合用來訓(xùn)練前向神經(jīng)網(wǎng)絡(luò)。算法原理假設(shè)有一種固定樣本集

，它包含

個(gè)樣例。能夠用批量梯度下降法來求解神經(jīng)網(wǎng)絡(luò)。具體來講，對(duì)于單個(gè)樣例

，其代價(jià)函數(shù)(或損失函數(shù))為：這是一種（二分之一的）方差代價(jià)函數(shù)。給定一種包含

個(gè)樣例的數(shù)據(jù)集，能夠定義整體代價(jià)函數(shù)為：以上公式中的第一項(xiàng)

是一種均方差項(xiàng)。第二項(xiàng)是一種規(guī)則化項(xiàng)（也叫權(quán)重衰減項(xiàng)），其目的是減小權(quán)重的幅度，避免過分?jǐn)M合。[注：普通權(quán)重衰減的計(jì)算并不使用偏置項(xiàng)

，例如在

的定義中就沒有使用。普通來說，將偏置項(xiàng)包含在權(quán)重衰減項(xiàng)中只會(huì)對(duì)最后的神經(jīng)網(wǎng)絡(luò)產(chǎn)生很小的影響。]權(quán)重衰減參數(shù)

用于控制公式中兩項(xiàng)的相對(duì)重要性。在此重申一下這兩個(gè)復(fù)雜函數(shù)的含義：

是針對(duì)單個(gè)樣例計(jì)算得到的方差代價(jià)函數(shù)；

是整體樣本代價(jià)函數(shù)，它包含權(quán)重衰減項(xiàng)。以上的代價(jià)函數(shù)經(jīng)常被用于分類和回歸問題。在分類問題中，運(yùn)用

或

1，來代表兩種類型的標(biāo)簽（這是由于sigmoid激活函數(shù)的值域?yàn)?/p>

；如果我們使用雙曲正切型激活函數(shù)，那么應(yīng)當(dāng)選用

和

作為標(biāo)簽）。對(duì)于回歸問題，我們首先要變換輸出值域，以確保其范疇為

（同樣地，如果使用雙曲正切型激活函數(shù)，要使輸出值域?yàn)?/p>

）。我們的目的是針對(duì)參數(shù)

和

來求其函數(shù)

的最小值。為了求解神經(jīng)網(wǎng)絡(luò)，需要將每一種參數(shù)

和

初始化為一種很小的、靠近零的隨機(jī)值（例如說，使用正態(tài)分布

生成的隨機(jī)值，其中

設(shè)立為

），之后對(duì)目的函數(shù)使用諸如批量梯度下降法的最優(yōu)化算法。由于

是一種非凸函數(shù)，梯度下降法很可能會(huì)收斂到局部最優(yōu)解；但是在實(shí)際應(yīng)用中，梯度下降法普通能得到令人滿意的成果。最后，需要再次強(qiáng)調(diào)的是，要將參數(shù)進(jìn)行隨機(jī)初始化，而不是全部置為

。如果全部參數(shù)都用相似的值作為初始值，那么全部隱藏層單元最后會(huì)得到與輸入值有關(guān)的、相似的函數(shù)（也就是說，對(duì)于全部

，都會(huì)取相似的值，那么對(duì)于任何輸入

都會(huì)有：

（圖1））。隨機(jī)初始化的目的是使對(duì)稱失效。梯度下降法中每一次迭代都按照以下公式對(duì)參數(shù)

和

進(jìn)行更新：其中

是學(xué)習(xí)速率。其中核心環(huán)節(jié)是計(jì)算偏導(dǎo)數(shù)。我們現(xiàn)在來講一下反向傳輸算法，它是計(jì)算偏導(dǎo)數(shù)的一種有效辦法。下面來介紹一下如何使用反向傳輸算法來計(jì)算

和

，這兩項(xiàng)是單個(gè)樣例

的代價(jià)函數(shù)

的偏導(dǎo)數(shù)。一旦求出該偏導(dǎo)數(shù)，就能夠推導(dǎo)出整體代價(jià)函數(shù)

的偏導(dǎo)數(shù)：以上兩行公式稍有不同，第一行比第二行多出一項(xiàng)，是由于權(quán)重衰減是作用于

而不是

。算法實(shí)例圖1三層神經(jīng)網(wǎng)絡(luò)上圖是典型的三層神經(jīng)網(wǎng)絡(luò)的基本構(gòu)成，LayerL1是輸入層，LayerL2是隱含層，LayerL3是隱含層，給定某些數(shù)據(jù){x1，x2，x3，...，xn}，輸出也是一堆數(shù)據(jù){y1，y2，y3，...，yn}，現(xiàn)在將它們在隱含層做某種變換，讓輸入的數(shù)據(jù)訓(xùn)練后得到盼望的輸出。如果輸出和原始輸入同樣，那么就是最常見的自編碼模型（Auto-Encoder）。如果輸出和原始輸入不同，那么就是很常見的人工神經(jīng)網(wǎng)絡(luò)了，相稱于讓原始數(shù)據(jù)通過一種映射來得到但愿輸出的數(shù)據(jù)。在此直接舉一種例子，帶入數(shù)值演示反向傳輸法的過程，假設(shè)，有一種網(wǎng)絡(luò)層：第一層是輸入層，包含兩個(gè)神經(jīng)元i1，i2，和截距項(xiàng)b1；第二層是隱含層，包含兩個(gè)神經(jīng)元h1，h2和截距項(xiàng)b2，第三層是輸出o1，o2，每條線上標(biāo)的wi是層與層之間連接的權(quán)重，激活函數(shù)我們默認(rèn)為sigmoid函數(shù)。對(duì)它們賦上初值，以下圖：其中，輸入數(shù)據(jù)

i1=0.05，i2=0.10;輸出數(shù)據(jù)o1=0.01，o2=0.99;初始權(quán)重

w1=0.15，w2=0.20，w3=0.25，w4=0.30;w5=0.40，w6=0.45，w7=0.50，w8=0.88；目的：給出輸入數(shù)據(jù)i1，i2(0.05和0.10)，使輸出盡量與原始輸出o1，o2(0.01和0.99)靠近。前向傳輸輸入層---->隱含層：計(jì)算神經(jīng)元h1的輸入加權(quán)和：神經(jīng)元h1的輸出outh1:(此處用到激活函數(shù)為sigmoid函數(shù))：同理，可計(jì)算出神經(jīng)元h2的輸出outh2：隱含層---->輸出層：計(jì)算輸出層神經(jīng)元o1和o2的值：這樣前向傳輸?shù)倪^程就結(jié)束了，得到輸出值為[0.75136079，0.]，與實(shí)際值[0.01，0.99]相差還很遠(yuǎn)，因此對(duì)誤差進(jìn)行反向傳輸，更新權(quán)值，重新計(jì)算輸出。反向傳輸計(jì)算總誤差總誤差：(squareerror)由于有兩個(gè)輸出，因此分別計(jì)算o1和o2的誤差，總誤差為兩者之和：隱含層---->輸出層的權(quán)值更新：以權(quán)重參數(shù)w5為例，如果想懂得w5對(duì)整體誤差產(chǎn)生了多少影響，能夠用整體誤差對(duì)w5求偏導(dǎo)求出：（鏈?zhǔn)椒▌t）下面的圖能夠更直觀的看清晰誤差是如何反向傳輸?shù)模悍謩e計(jì)算每個(gè)式子的值：計(jì)算：計(jì)算：（這一步事實(shí)上就是對(duì)sigmoid函數(shù)求導(dǎo)）計(jì)算：最后三者相乘：這樣就計(jì)算出整體誤差E(total)對(duì)w5的偏導(dǎo)值。根據(jù)w5的偏導(dǎo)值，更新w5的值：（其中，是學(xué)習(xí)速率，這里取0.5）同理，可更新w6，w7，w8:隱含層---->隱含層的權(quán)值更新：計(jì)算過程與上述類似，但是有個(gè)地方需要變一下，在上文計(jì)算總誤差對(duì)w5的偏導(dǎo)時(shí)，是從out(o1)---->net(o1)---->w5，但是在隱含層之間的權(quán)值更新時(shí)，是out(h1)---->net(h1)---->w1，而out(h1)會(huì)接受E(o1)和E(o2)兩個(gè)地方傳來的誤差，因此這個(gè)地方兩個(gè)都要計(jì)算。計(jì)算：先計(jì)算：同理，計(jì)算出：兩者相加得到總值：再計(jì)算：再計(jì)算：最后，三者相乘：最后，更新w1的權(quán)值：同理，額可更新w2，w3，