卷積神經(jīng)網(wǎng)絡(luò)的基本原理分析目錄TOC\o"1-3"\h\u15463卷積神經(jīng)網(wǎng)絡(luò)的基本原理分析 1254651.1卷積神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu) 1258241.1.1卷積層 1158171.1.2池化層 363721.1.3全連接層 478051.2卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程 5121961.1.1反向傳播算法 687761.1.2梯度下降法 6297611.3LeNet-5網(wǎng)絡(luò)結(jié)構(gòu)及其修剪之后的結(jié)構(gòu) 7276731.3.1LeNet-5的基本網(wǎng)絡(luò)結(jié)構(gòu) 7145831.3.2基于LeNet-5的壓縮卷積神經(jīng)網(wǎng)絡(luò) 91.1卷積神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)CNN網(wǎng)絡(luò)不需要對(duì)它的輸入圖像事先進(jìn)行特別復(fù)雜的預(yù)處理，因?yàn)樗且环N有監(jiān)督的前饋神經(jīng)網(wǎng)絡(luò)，它可以對(duì)輸入的數(shù)據(jù)進(jìn)行的特征提取，同時(shí)得到圖片的抽象特征，并將其進(jìn)行分類(lèi)標(biāo)簽。網(wǎng)絡(luò)主要的主體部分一般是交替的卷積層和池化層，網(wǎng)絡(luò)結(jié)構(gòu)的尾部是全連接層和輸出層，輸出完整的結(jié)果之后構(gòu)成完整的卷積神經(jīng)網(wǎng)絡(luò)。如圖1.1所示結(jié)構(gòu)，是經(jīng)典卷積網(wǎng)絡(luò)結(jié)構(gòu)LeNet-5，并且已經(jīng)在當(dāng)年成功的應(yīng)用于美國(guó)的銀行系統(tǒng)中。圖1.1LetNet-5的網(wǎng)絡(luò)結(jié)構(gòu)1.1.1卷積層卷積層的作用是提取圖像的深層次特征，卷積的過(guò)程實(shí)際上是利用卷積核對(duì)圖像進(jìn)行特征提取，卷積運(yùn)算如公式（2-1）所示gx,y公式中的g(x,y)分別代表第x行和第y列的卷積輸出結(jié)果，fx,y分別代表輸入段第x行和第y卷積層的主要操就是卷積的過(guò)程，如圖1.2所示，輸入的圖像尺寸為5×5，卷積核的尺寸為3×3。卷積的過(guò)程以結(jié)果a為例，卷積核是通過(guò)滑窗的形式，以步長(zhǎng)為1的距離，按照順序，一一滑過(guò)輸入的圖片，對(duì)圖像進(jìn)行掃描，并將卷積核中的數(shù)值和輸入圖像的數(shù)值分別進(jìn)行矩陣運(yùn)算。由公式（2-2）a=1.1×w1+1.2×w2+1.3×w3+1.4×w4+1.5×w5+1.6×w6+1.7×w7+1.8×w8+1.9×w9(2-2)卷積核中的數(shù)值通過(guò)順序以步長(zhǎng)為1的方式，對(duì)輸入圖片中的值進(jìn)行乘累加計(jì)算，直到輸入的圖片數(shù)值全被卷積核掃描完之后，得到最后的輸出結(jié)果3×3。結(jié)果如圖1.2。圖1.2卷積示意圖 值得一提的是輸出的尺寸公式為（2-3）所示O=M?K其中O為輸出的尺寸O×O，輸入的圖片尺寸為（M×M），K代表卷積核的尺寸（K×K），P（pading）是為了讓卷積后的結(jié)果和卷積前輸入圖像的圖像尺寸保持一致，在外圍補(bǔ)0的層數(shù)，S在計(jì)算過(guò)程中卷積核通過(guò)滑窗的方式，在輸入圖像上掃描的過(guò)程，是源于卷積神經(jīng)網(wǎng)絡(luò)中擁有局部連接和參數(shù)共享這兩個(gè)特性。局部連接的特性是源于生物學(xué)視覺(jué)系統(tǒng)的的視覺(jué)神經(jīng)元，視覺(jué)皮層中神經(jīng)元對(duì)受到的信息會(huì)有所響應(yīng)。在神經(jīng)網(wǎng)絡(luò)中通過(guò)局部連接可以提起網(wǎng)絡(luò)中的特征信息，而且還可以利用像素間的位置信息。參數(shù)共享是指，在卷積核對(duì)輸入的圖像進(jìn)行滑窗掃描的整個(gè)過(guò)程中，使用的卷積核中的數(shù)值是一樣的，使得輸入的圖像信息中的所有的數(shù)值都是“共享”這一個(gè)參數(shù)，通過(guò)對(duì)參數(shù)進(jìn)行共享，減少了卷積神經(jīng)網(wǎng)絡(luò)中參數(shù)的數(shù)量，可以加大提取特征的效率。通過(guò)使用這兩個(gè)特性，在對(duì)輸入的圖像進(jìn)行特征提取的時(shí)候，可以極大的減少圖像中參數(shù)的數(shù)量，加大提取的效率，提高整個(gè)網(wǎng)絡(luò)框架的性能。1.1.2池化層 池化層（pooling）也可以被稱(chēng)為采樣層，它是將上一層的輸出結(jié)果作為這一層的輸入，對(duì)輸入的特征映射值進(jìn)行下采樣的操作。下采樣的的操作目的和作用主要是以下三個(gè)方面，第一是特征不變，即圖片經(jīng)過(guò)下采樣處理之后，圖片的特征不變性，比如輸入是一張貓的圖片，經(jīng)過(guò)下采樣縮小了一倍之后，依然可以辨認(rèn)出貓的特征，圖片在縮小過(guò)程中僅僅是去除了一些不重要的其他信息，關(guān)于貓?zhí)卣鞯年P(guān)鍵特征信息留下來(lái)；第二是特征的降維，在原本的輸入圖像之中，含有的特征和其他的冗余信息是十分多的，但是這些信息中，有些信息對(duì)于圖像的處理和識(shí)別方面并不是非常重要，所有要將這些不重要的信息給去除掉，把最重要的特征信息給留下來(lái)，進(jìn)行下采樣操作來(lái)達(dá)到降低特征維度這一目的；第三是要防止過(guò)擬合，優(yōu)化網(wǎng)絡(luò)的結(jié)構(gòu)。 池化層的操作主要是利用一個(gè)n×n的矩陣窗口，在輸入的特征值上進(jìn)行步長(zhǎng)為n的滑動(dòng)，目前采用的池化方法分為最大池化法和平均池化法，最后可以經(jīng)過(guò)池化操作可以得到一個(gè)尺寸為原來(lái)1/n的輸入。最大池化的公式如（2-4）所示，平均池化的公式如（2-5）所示。xkjlmaxxkj公式中的xkil是第l層Vkj圖像經(jīng)過(guò)池化后的輸出，xk1l?1是Vkj輸入圖像所包含的元素，Vkj是第圖1.3平均池化圖1.4最大池化1.1.3全連接層輸入的圖像經(jīng)過(guò)卷積層和池化層之后，輸入圖像中具有代表性的特征已經(jīng)被提取了出來(lái)，最后要把所有的特征映射的值平展開(kāi)為一個(gè)一維的向量，并且把這個(gè)輸入到全連接層中，全連接層的主要作用就是把這些輸入的特征對(duì)第一步輸入的圖片進(jìn)行分類(lèi)。全連接層的結(jié)構(gòu)和傳統(tǒng)的深度神經(jīng)網(wǎng)絡(luò)的全連接層結(jié)構(gòu)相同，最后一層是分類(lèi)層。輸出層的結(jié)構(gòu)本質(zhì)上和全連接層的結(jié)構(gòu)相同，只是激活函數(shù)有所不同，采用的是分類(lèi)函數(shù)進(jìn)行分類(lèi)。在沒(méi)有激活函數(shù)的網(wǎng)絡(luò)，網(wǎng)絡(luò)很難模擬現(xiàn)實(shí)環(huán)境中的非線(xiàn)性的數(shù)據(jù)，當(dāng)添加了激活函數(shù)之后，非線(xiàn)性的部分就被添加進(jìn)去了。本文主要介紹以下的三種激活函數(shù)，如圖1.5所示。圖1.5三種激活函數(shù)圖（1）Sigmoid函數(shù)。其計(jì)算公式為（2-6）所示它的輸出值在（0，1）之間，但是只有當(dāng)x在0附近時(shí)，函數(shù)變化會(huì)非常大。fx（2）Tanh函數(shù)。其計(jì)算公式為（2-7）所示，它是由上一個(gè)函數(shù)先平移再縮放得到的，由圖可以看出它的收斂速度要高于上一個(gè)函數(shù)，但是當(dāng)x很大或者很小的時(shí)候，它的導(dǎo)數(shù)也無(wú)限的逼近0。fx（3）Relu函數(shù)。其計(jì)算公式為（2-8）所示，當(dāng)x為0的時(shí)候，不可導(dǎo)，但是可以用過(guò)其他的途徑在實(shí)驗(yàn)中解決這個(gè)問(wèn)題。Relu函數(shù)和上面這兩個(gè)公式相比較為簡(jiǎn)單，當(dāng)輸入值為負(fù)數(shù)的時(shí)候，函數(shù)值直接為0。也正是因?yàn)檫@一特性，使得神經(jīng)網(wǎng)絡(luò)使用Relu函數(shù)時(shí)，計(jì)算變得簡(jiǎn)單。fx由于Sigmoid函數(shù)和Tanh函數(shù)屬于飽和函數(shù)，在x取特別大的值或者特別小的值的時(shí)候效果不好，而Relu函數(shù)屬于非飽和函數(shù)，所以在網(wǎng)絡(luò)中使用Relu函數(shù)作為激活函數(shù)。卷積神經(jīng)網(wǎng)絡(luò)的輸入層一般要參與分類(lèi)的情況，所以對(duì)于分類(lèi)函數(shù)一般會(huì)使用Softmax函數(shù)作為分類(lèi)函數(shù)，它會(huì)把最后一層的輸出zL進(jìn)行歸一化處理，同時(shí)讓眾多的輸出值加起來(lái)和為1，完成分類(lèi)的目的，Softmax函數(shù)為（2-9）所示，zaiLzi在上式中，L是輸出的層數(shù)，nL是輸入層中的輸出神經(jīng)元的個(gè)數(shù)，有n個(gè)分類(lèi)，aiL是分類(lèi)中的第i個(gè)分類(lèi)的輸出，ziL是第i1.2卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練目前使用最多的方法是反向傳播算法(BackPropogation,BP)和梯度下降算法(GradientDescent)。對(duì)于一個(gè)具體的網(wǎng)絡(luò)，先要選取一個(gè)數(shù)量合適的數(shù)據(jù)集，使用數(shù)據(jù)集中的數(shù)據(jù)作為訓(xùn)練的樣本，再將樣本輸入到網(wǎng)絡(luò)模型中進(jìn)行訓(xùn)練，通過(guò)計(jì)算輸出計(jì)算的結(jié)果，再將輸出的誤差通過(guò)反向傳播的過(guò)程傳給各個(gè)隱含層，更新權(quán)值，經(jīng)過(guò)反復(fù)的重復(fù)訓(xùn)練，得到逐漸優(yōu)化的網(wǎng)絡(luò)模型。1.1.1反向傳播算法反向傳播BP算法是在1985年之后被人提出的，主要分為兩個(gè)過(guò)程，一是信息的正向傳播，二是誤差的反向傳播。輸入層中的外界信息通過(guò)神經(jīng)元輸入；中間層負(fù)責(zé)內(nèi)部的信息處理和不同信息之間的交換等重用，根據(jù)信息的復(fù)雜程度和信息的大小，中間層可以設(shè)計(jì)為單或者多隱層結(jié)構(gòu)。以卷積神經(jīng)網(wǎng)絡(luò)為例，中間層就含有多個(gè)卷積池化層交替進(jìn)行組成。最后一個(gè)隱層的作用是將神經(jīng)元中的信息傳遞給輸出層，通過(guò)最后的處理之后，完成了一次正向傳播過(guò)程，輸出層此時(shí)就可以將輸出的結(jié)果輸出給外界。如果當(dāng)最后的輸出的結(jié)果和實(shí)際我們所期望的輸出結(jié)果不一致的時(shí)候，就會(huì)進(jìn)入誤差的反向傳播過(guò)程中。這時(shí)輸出層會(huì)通過(guò)梯度下降的方法來(lái)修改各個(gè)層之間的權(quán)值，使各層權(quán)值不斷調(diào)整，此過(guò)程一直持續(xù)的進(jìn)行，直到網(wǎng)絡(luò)輸出的誤差減小到期望值或者達(dá)到之前規(guī)定的迭代次數(shù)后停止[45]。1.1.2梯度下降法在網(wǎng)絡(luò)實(shí)際的訓(xùn)練應(yīng)用的過(guò)程之中，網(wǎng)絡(luò)的權(quán)值和偏置是要經(jīng)過(guò)一定程度的訓(xùn)練之后才確定的值。在訓(xùn)練的過(guò)程之中，先確定訓(xùn)練的樣本，在此作為數(shù)據(jù)集的基礎(chǔ)上學(xué)習(xí)特征，權(quán)值和偏置就是通過(guò)學(xué)習(xí)可以得來(lái)參數(shù)，輸出和輸入都是關(guān)于權(quán)值和偏置的變量，輸出的結(jié)果和真實(shí)值之間的誤差也和學(xué)習(xí)得到的權(quán)值和偏置之間有著一定的函數(shù)關(guān)系，輸出和真實(shí)值之間的差距被定義為損失值Loss。如圖1.6所示，梯度下降法是指從某一點(diǎn)出發(fā)，向從這點(diǎn)下降最快的方向移動(dòng)達(dá)到快速下降的目的，如果沒(méi)有達(dá)到Loss的最低點(diǎn)，則再重復(fù)以上的操作直至達(dá)到Loss的最低點(diǎn)。在梯度下降法中有幾個(gè)最基本的參數(shù)，第一個(gè)是每次下降過(guò)程中移動(dòng)步長(zhǎng)值1，由于在每次下降走步長(zhǎng)值都不是相同的，使用可以使用一個(gè)系數(shù)a和對(duì)權(quán)值的梯度表示步長(zhǎng)值，利用N表示下降的次數(shù)，由于不一定能下降到最低點(diǎn)，所以需要一定的迭代次數(shù)N來(lái)決定下降的次數(shù)。閾值ε表示可以接受的誤差，當(dāng)損失值達(dá)到了這個(gè)范圍內(nèi)的時(shí)候，就認(rèn)為達(dá)到了最低點(diǎn)，停止梯度下降的操作，再將最后一層的損失值通過(guò)反向傳遞到之前的各層，更新其中的權(quán)值和偏置。圖1.6梯度下降過(guò)程梯度下降的具體算法如下：（1）先定義樣本的數(shù)目為m。初始的步長(zhǎng)值為a，下降的次數(shù)為N，可以接受的損失值為ε。（2）對(duì)每個(gè)樣本先進(jìn)行計(jì)算，算出具體的損失值為L(zhǎng)oss，如果loss<ε的話(huà)，則結(jié)束下降。（3）計(jì)算網(wǎng)絡(luò)的權(quán)值梯度和偏置梯度，l代表網(wǎng)絡(luò)的層數(shù)，i代表樣本的編號(hào)。（4）更新每一層的權(quán)值和偏置，如公（2-11）、（2-12）所示。wlbl=（5）如果達(dá)到次數(shù)N在，則停止下降。1.3LeNet-5網(wǎng)絡(luò)結(jié)構(gòu)及其修剪之后的結(jié)構(gòu)1.3.1LeNet-5的基本網(wǎng)絡(luò)結(jié)構(gòu)為了在FPGA上能夠完整實(shí)現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)，本文選擇了結(jié)構(gòu)完整但是體積較小的LeNet-5這個(gè)網(wǎng)絡(luò)結(jié)構(gòu)作為研究對(duì)象，主要的結(jié)構(gòu)對(duì)象如圖1.7所示。該結(jié)構(gòu)較為簡(jiǎn)單，但是這是最具有代表的網(wǎng)絡(luò)結(jié)構(gòu)，在早期應(yīng)用于手寫(xiě)和機(jī)器打印的字符識(shí)別，十分的適合在資源受限的FPGA上進(jìn)行實(shí)現(xiàn)，圖中一共包括七層網(wǎng)絡(luò)結(jié)構(gòu)，首先輸入圖片尺寸為32×32（原始的輸入圖像為28×28，通過(guò)在圖像周?chē)a(bǔ)0變?yōu)?2×32），之后依次經(jīng)過(guò)以上七層的輸出結(jié)果為10個(gè)不同數(shù)字的概率值。特別的是其中的C3通道，和之前的介紹卷積操作有所不同，C3的輸入通道有6個(gè)但是輸出的通道數(shù)卻有16個(gè)，C3采用的方法是將16個(gè)輸出的通道對(duì)應(yīng)的卷積核和S2池化層的多個(gè)通道進(jìn)行卷積再疊加為1個(gè)通道，具體的操作如圖1.8所示。它將S2的六個(gè)通道都分別編號(hào)，之后將C3的輸出的通道再依次編號(hào)，以輸出的通道0為例，卷積核與S2的前三個(gè)通道進(jìn)行卷積操作，卷積核的尺寸為5?5，最后再作為為單通道的輸出。使用這種非對(duì)稱(chēng)的方式來(lái)進(jìn)行卷積操作的目的有兩個(gè)，一是可以減少參數(shù)的大小，可以減少25%的量。二是可以提取到更深層次的特征。但是由于完整的LeNet-5的網(wǎng)絡(luò)在卷積運(yùn)算之中，會(huì)耗費(fèi)過(guò)多的查找表資源，所以，本次實(shí)驗(yàn)準(zhǔn)備對(duì)原本的LeNet-5的網(wǎng)路模型進(jìn)行一部分的修剪，保證準(zhǔn)確率的同時(shí)，減少參數(shù)的量，從而提高系統(tǒng)的效率。圖1.7LeNet-5模型圖1.8C3卷積層卷積具體操作1.3.2基于LeNet-5的壓縮卷積神經(jīng)網(wǎng)絡(luò)為了提高卷積網(wǎng)絡(luò)的運(yùn)算速度，主流的方法通常有兩種，一種是可以通過(guò)簡(jiǎn)化網(wǎng)絡(luò)結(jié)構(gòu)，通過(guò)減少設(shè)計(jì)的結(jié)構(gòu)，減少參數(shù)等手段來(lái)提高效率。但是使用這種方法之后，要重新對(duì)修剪后的網(wǎng)絡(luò)災(zāi)異齒進(jìn)行訓(xùn)練；第二種方法是要壓縮現(xiàn)有的參數(shù)，在已經(jīng)訓(xùn)練好的網(wǎng)絡(luò)上對(duì)網(wǎng)絡(luò)的參數(shù)進(jìn)行過(guò)濾，將對(duì)輸出影響較大的參數(shù)留下來(lái)，再去掉對(duì)輸出影響較小的參數(shù)，減少參數(shù)的產(chǎn)生，主要使用的方法有網(wǎng)絡(luò)剪枝，參數(shù)量化等方法。根據(jù)本次實(shí)驗(yàn)的特點(diǎn)和所使用的硬件平臺(tái)，在網(wǎng)絡(luò)剪枝的基礎(chǔ)上，通過(guò)采用壓縮網(wǎng)絡(luò)的結(jié)構(gòu)和參數(shù)量化這兩種方式來(lái)對(duì)算法進(jìn)行加速。通過(guò)這兩種方法，既可以解決開(kāi)發(fā)板無(wú)法存儲(chǔ)原始的參數(shù)整個(gè)問(wèn)題，有提高了整體的運(yùn)算速度。下面將著重介紹使用的壓縮方法，以及壓縮之后最后使用的網(wǎng)絡(luò)結(jié)構(gòu)。網(wǎng)絡(luò)剪枝的過(guò)程實(shí)際上是一共找到神經(jīng)元之間多余的鏈接，并把多余的部分進(jìn)行刪減的過(guò)程，它主要針對(duì)的是卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中，靠近輸出層的部分，這是因?yàn)榫矸e層較全連接層來(lái)說(shuō)更加的敏感，而靠近輸入層的卷積層較靠近輸出層的全連接層又會(huì)更加的敏感。修剪的過(guò)程主要是在網(wǎng)絡(luò)訓(xùn)練之后，找到對(duì)輸出影響較大的參數(shù)，一個(gè)參數(shù)就對(duì)應(yīng)著網(wǎng)絡(luò)的一個(gè)鏈接，權(quán)重比較大的鏈接對(duì)于網(wǎng)絡(luò)的影響就更大，而剩下來(lái)權(quán)重較小的鏈接就屬于要被修剪的對(duì)象。以L(fǎng)eNet-5為例，在C5卷積核和F6全連接層之中的參數(shù)占整個(gè)網(wǎng)絡(luò)的95%，所以要精簡(jiǎn)這部分的參數(shù)就可以減少參數(shù)的總量。這次實(shí)驗(yàn)中參考的是2017年曠世科技提出的通道剪枝法（ChannelPruning）這個(gè)方法的核心是要將不重要的通道直接刪減掉來(lái)提高運(yùn)算的速度。但是如果刪減掉了通道數(shù)，會(huì)對(duì)下游的各層照成一定程度的影響，比如C5層中卷積核的尺寸為16?120?1?1，如果刪減掉了60個(gè)輸出通道數(shù)的化，F(xiàn)6的輸入也變?yōu)榱?0，和網(wǎng)絡(luò)的結(jié)構(gòu)相異，所以要對(duì)整個(gè)網(wǎng)絡(luò)的模型進(jìn)行重新訓(xùn)練。這次實(shí)驗(yàn)將對(duì)