如不慎侵犯了你的權益，請聯(lián)系我們告知！一、什么是卷積首先回顧一下，數字圖像處理中我們用卷積模板和原始圖像的像素卷積。過程如下：Step2、然后讓模板依次和原始圖像重疊，并且計算重疊部分的數值乘積之和先對模板K做折疊，然后依次覆蓋圖像I，并且計算重疊部分的數值乘積之和依次進行到最后，會多出一圈，得到最后的卷積結果如不慎侵犯了你的權益，請聯(lián)系我們告知！卷積的意義(圖像處理而言)；對圖像使用不同的卷積模板，對圖像做不同的處理。比如平滑模板可以使圖像模糊，并且可以減少噪聲、銳化模板可以使圖像的輪廓變得清晰。二、卷積網絡的結構間是全連接的。這樣設想一下，如果BP網絡中層與層之間的節(jié)點連接不再是全連接，而是局部連接的。這樣，就是一種最簡單的一維卷積網絡。如果我們把上述這個思路擴展到二維，這就是我們在大多數參考資料上看到的卷積神經網絡。具體參看下圖：接的2D網絡(BP網絡)圖2：局部連接的2D網絡(卷積網絡)x層因此，卷積網絡降低了網絡模型的復雜度，減少了權值的數量。該優(yōu)點在網絡的輸入是多維圖像時表現(xiàn)的更為明顯，使圖像可以直接作為網絡的輸入，避免了傳統(tǒng)識別算法中復雜的特征提取和數據重建過程。如不慎侵犯了你的權益，請聯(lián)系我們告知！2.2卷積網絡的結構卷積神經網絡是一個多層的神經網絡，每層由多個二維平面組成，而每個平面由多個獨立神經元組成。卷積神經網絡中的每一個特征提取層(C-層)都緊跟著一個用來求局部平均與二次提取的下采樣層(S-層)，這種特有的兩次特征提取結構使網絡在識別時對輸入樣本有較高的畸變容忍能力。原始圖像的大小決定了輸入向量的尺寸，隱層由C-層(特征提取層)和S-層(下采樣層)組成，每就是局部輸入窗口)相連。C1層中各平面(由神經元構成)提取圖像中不同的局部特征，如邊緣特征，上下左右方向特征等，C1層中的輸入是有由上一層局部窗口的數值和連接的權值的加權和(也的加權平均。換句話說，就是我們把2*2的像素縮小成為一個像素，某種意義上來說可以認識是圖S的特征圖是由S2層圖像的感受野和對應權值的卷積后，通過隨機的組合而形成的，也就意味著S2過特征提取后就變成一個像素了，這里我們開始使用全連接(這樣才能完整的把特征保留)。如不慎侵犯了你的權益，請聯(lián)系我們告知！2.3為什么給這種局部連接命名為卷積網絡卷積網絡第一個特點是連接權值遠遠小于BP網絡的權值。卷積神經網絡另外一個特性是權值共享。這樣一來就更進一步減少了對網絡權值的訓練(畢竟權值是共享的，也就意味著有一些全是是相同的)。權值共享是指同一平面層的神經元權值相同。如何理解呢！看下圖2，假設紅色的點和這2個神經元連接的權值是共享的(相同的)。這樣一來，C1層中的每個神經元的輸入值，都有由原始圖像和這個相同的連接權值的加權和構成的，想想看，這個過程是不是和卷積的過程很像呢！沒錯，就是由這個得名的。同時這樣一來，我們需要訓練的權值就更少了，因為有很多都是相同的。還沒理解的話，接著看C1層是一個卷積層(也就是上面說的特征提取層)，由6個特征圖FeatureMap構成。特征圖中每器5*5=25個unit參數和一個bias[偏置]參數，一共6個濾波器，共(5*5+1)*6=156個參數)，共SC如不慎侵犯了你的權益，請聯(lián)系我們告知！三、卷積網絡的訓練我們想想卷積網絡到底有什么那些參數需要訓練呢。第一、卷積層中的卷積模板的權值。第二、下采樣層的2個參數(每個單元的4個輸入相加，乘以一個可訓練參數，再加上一個可訓練偏置)，S到C3的組合方式)輸出。對于多類問題，輸出一般組織為“one-of-c”的形式，也就是只有該輸入對應的類的輸出節(jié)點輸就是-1.因為在全部訓練集上的誤差只是每個訓練樣本的誤差的總和，所以這里我們先考慮對于一個樣傳統(tǒng)的全連接神經網絡中，我們需要根據BP規(guī)則計算代價函數E關于網絡每一個權值的偏導數。我們用l來表示當前層，那么當前層的輸出可以表示為：oid縮到[0,1]，所以最后的輸出平均值一般趨于0。所以如果將我們的訓練數據歸一化為零均值和方差如不慎侵犯了你的權益，請聯(lián)系我們告知！為1，可以在梯度下降的過程中增加收斂性。對于歸一化的數據集來說，雙曲線正切函數也是不錯如不慎侵犯了你的權益，請聯(lián)系我們告知！反向傳播回來的誤差可以看做是每個神經元的基的靈敏度sensitivities(靈敏度的意思就是我們b化多少，誤差會變化多少，也就是誤差對基的變化率，也就是導數了)，定義如下：(第二個等號是根據求導的鏈式法則得到的)因為?u/?b=1，所以?E/?b=?E/?u=δ，也就是說bias基的靈敏度?E/?b=δ和誤差E對一個節(jié)點全公公式(1)這里的“?”表示每個元素相乘。輸出層的神經元的靈敏度是不一樣的：最后，對每個神經元運用delta(即δ)規(guī)則進行權值更新。具體來說就是，對一個給定的神經元，得到它的輸入，然后用這個神經元的delta(即δ)來進行縮放。用向量的形式表述就是，對于第l層，誤差對于該層每一個權值(組合為矩陣)的導數是該層的輸入(等于上一層的輸出)與該層的靈敏度(該層每個神經元的δ組合成一個向量的形式)的叉乘。然后得到的偏導數乘以一個負學習率就是該層的神經元的權值的更新了：公式(2)對于bias基的更新表達式差不多。實際上，對于每一個權值(W)ij都有一個特定的學習率ηIj。3.2卷積神經網絡如不慎侵犯了你的權益，請聯(lián)系我們告知！ComputingtheGradients梯度計算ll(也就是權值更新的公式(2))。為了求這個靈敏度我們就需要先對下一層的節(jié)點(連接到當前層l的感興趣節(jié)點的第l+1層的節(jié)點)的靈敏度求和(得到δl+1)，然后乘以這些連接對應的權值(連接第l層感興趣節(jié)點和第l+1層節(jié)點的權值)W。再乘以當前層l的該神經元節(jié)點的輸入u的激活函數f的導數值 (也就是那個靈敏度反向傳播的公式(1)的δl的求解)，這樣就可以得到當前層l每個神經節(jié)點對然而，因為下采樣的存在，采樣層的一個像素(神經元節(jié)點)對應的靈敏度δ對應于卷積層(上相應map的一個節(jié)點連接。le的靈敏度map逐元素相乘(也就是公式(1))。我們可以對卷積層中每一個特征mapj重復相同的計算過程。但很明顯需要匹配相應的子采樣層的map(參考公式(1))：up(.)表示一個上采樣操作。如果下采樣的采樣因子是n的話，它簡單的將每個像素水平和垂直n就可以恢復原來的大小了。實際上，這個函數可以用Kronecker乘積來實現(xiàn)：好，到這里，對于一個給定的map，我們就可以計算得到其靈敏度map了。然后我們就可以通公式(3)最后，對卷積核的權值的梯度就可以用BP算法來計算了(公式(2))。另外，很多連接的權值是共享的，因此，對于一個給定的權值，我們需要對所有與該權值有聯(lián)系(權值共享的連接)的連接對該點求梯度，然后對這些梯度進行求和，就像上面對bias基的梯度計算一樣：如不慎侵犯了你的權益，請聯(lián)系我們告知！咋一看，好像我們需要煞費苦心地記住輸出map(和對應的靈敏度map)每個像素對應于輸入mappatchMatlab中，可以通過一個代碼就實現(xiàn)。對于上面的公式，可以用定義中，特征矩陣(卷積核)在傳遞給conv2時需要先翻轉(flipped)一下。也就是顛倒下特征矩陣的行和列)。然后把輸出反旋轉回來，這樣我們在前向傳播進行卷積的時候，卷積核才是我們想要wnnxn一個加性偏置b。ComputingtheGradients梯度計算b就可以輕而易舉了(公式(3))。如果下一個卷積層與這個子采樣層是全連接的，那么就可以通過BP來計算子采樣層的靈敏度maps。這樣才可以利用公式(1)那樣的6遞推，也就是靈敏度反向傳播回來。另外，需要乘以輸入patch與輸出像素之間連接的權值，這個權值實際上就是卷積核的權值(已旋轉的)。在這之前，我們需要先將核旋轉一下，讓卷積函數可以實施互相關計算。另外，我們需要對卷如不慎侵犯了你的權益，請聯(lián)系我們告知！而對于乘性偏置β，因為涉及到了在前向傳播過程中下采樣map的計算，所以我們最好在前向sa