卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)概述目錄TOC\o"1-3"\h\u1141卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)概述 1189331.1.1卷積層 1288321.1.2激活函數(shù) 2275351.1.3池化層 5288311.1.4Dropout層 6306631.1.5全連接層 6305831.1.6優(yōu)化器 7卷積神經(jīng)網(wǎng)絡(luò)包括卷積層、激活函數(shù)、池化層、Dropout層、全連接層、優(yōu)化器。卷積層該層是卷積神經(jīng)網(wǎng)絡(luò)中最重要的層，也是“卷積神經(jīng)網(wǎng)絡(luò)”名稱(chēng)的來(lái)源。與傳統(tǒng)的需要人工設(shè)計(jì)特征工程的算法不同，卷積神經(jīng)網(wǎng)絡(luò)通過(guò)諸如BP算法和梯度下降之類(lèi)的優(yōu)化算法來(lái)學(xué)習(xí)特征，卷積層的功能是基于局部連接權(quán)重的共享使用不同的卷積核提取輸入信號(hào)的各種屬性。神經(jīng)網(wǎng)絡(luò)提取特征的能力也通過(guò)卷積層實(shí)現(xiàn)。為了提取更多特征，每個(gè)神經(jīng)元共享一個(gè)核，并且在卷積層中可以使用多個(gè)不同的卷積核，并且不同的卷積核提取不同的特征。如圖3.2所示，對(duì)卷積層的幾個(gè)術(shù)語(yǔ)進(jìn)行了解釋?zhuān)簣D3.2卷積層示例卷積的運(yùn)算它其實(shí)是一種簡(jiǎn)單數(shù)學(xué)運(yùn)算，有兩個(gè)步驟：一是矩陣內(nèi)積乘法，另一個(gè)是將內(nèi)積乘法的結(jié)果進(jìn)行全加。（1）矩陣內(nèi)積乘法矩陣的內(nèi)積乘法非常簡(jiǎn)單，就是把兩個(gè)相乘的矩陣，相同位置的元素進(jìn)行乘法運(yùn)算，這個(gè)時(shí)候會(huì)得到一個(gè)新的矩陣。（2）全加計(jì)算這個(gè)新矩陣的全部值會(huì)進(jìn)行相加，然后會(huì)得到一個(gè)值，這個(gè)值才是卷積運(yùn)算的結(jié)果。卷積計(jì)算過(guò)程如下圖所示：圖3.3卷積運(yùn)算激活函數(shù)所謂的激活函數(shù)是一種在人工神經(jīng)網(wǎng)絡(luò)的神經(jīng)元上運(yùn)行的函數(shù)，負(fù)責(zé)將神經(jīng)元的輸入分配給輸出。在網(wǎng)絡(luò)計(jì)算中，節(jié)點(diǎn)的激活功能確定節(jié)點(diǎn)在特定輸入或一組輸入下的輸出，可以將標(biāo)準(zhǔn)計(jì)算機(jī)芯片電路視為數(shù)字電路的激活功能，該數(shù)字電路根據(jù)輸入獲得開(kāi)（1）或關(guān)（0）輸出。這類(lèi)似于神經(jīng)網(wǎng)絡(luò)中線性感知的行為。但是，只有非線性激活函數(shù)才允許此類(lèi)網(wǎng)絡(luò)僅使用少量節(jié)點(diǎn)來(lái)解決非平凡的問(wèn)題。在人工神經(jīng)網(wǎng)絡(luò)中，此函數(shù)也稱(chēng)為傳遞函數(shù)。由于存在激活函數(shù)的原因，如果不使用激活函數(shù)，則每一層的輸出都是上層輸入的線性函數(shù)。無(wú)論神經(jīng)網(wǎng)絡(luò)有多少層，輸出都是輸入的線性組合，這是最原始的感知器。沒(méi)有激活功能的每一層等效于乘以一個(gè)矩陣。即使您堆疊了幾層，也無(wú)非就是將矩陣相乘。如果使用激活函數(shù)，則將非線性因素引入到神經(jīng)元中，從而使神經(jīng)網(wǎng)絡(luò)可以任意接近任何非線性函數(shù)，從而可以將神經(jīng)網(wǎng)絡(luò)應(yīng)用于許多非線性模型。如果使用線性激活函數(shù)，則輸入和輸出之間的關(guān)系是線性的，并且無(wú)論神經(jīng)網(wǎng)絡(luò)有多少層，它都是線性組合。激活函數(shù)通常是非線性函數(shù)，非線性激活函數(shù)的使用是為了增加神經(jīng)網(wǎng)絡(luò)模型的非線性因子，從而使網(wǎng)絡(luò)更加厲害，容量更大，使學(xué)習(xí)復(fù)雜的事物，形成復(fù)雜的數(shù)據(jù)，在非線性之間映射復(fù)雜的函數(shù)。輸出層可以使用線性激活函數(shù)，而隱藏層使用非線性激活函數(shù)。簡(jiǎn)而言之，激活功能是減少計(jì)算參數(shù)并防止過(guò)度擬合。常用的激活函數(shù)：sigmoid，Tanh，ReLUsigmoid函數(shù)sigmoid函數(shù)又稱(chēng)Logistic函數(shù)，用于隱層神經(jīng)元輸出，取值范圍是（0,1），可以用做二分類(lèi)。其函數(shù)表達(dá)式為： （3.1）其函數(shù)圖像如下圖：圖3.3sigmoid函數(shù)圖像從圖3.3可以看出Sigmoid函數(shù)的優(yōu)點(diǎn)是：1.可以將輸入的值域從轉(zhuǎn)換成范圍為的數(shù)值，輸出范圍有限，如果輸入較大的負(fù)數(shù)則輸出0，輸入較大的正數(shù)輸出則為1。2.是連續(xù)函數(shù)，便于求導(dǎo)。缺點(diǎn)是：1.Sigmoid函數(shù)當(dāng)變量取非常大的正值或負(fù)值時(shí)將飽和，這就意味著函數(shù)將變得非常平坦，并且對(duì)輸入中的微小變化不敏感。在反向傳播的時(shí)候，梯度接近0時(shí)，權(quán)值基本上不會(huì)更新，梯度很容易消失，無(wú)法完成深層網(wǎng)絡(luò)的訓(xùn)練。2.Sigmoid函數(shù)的輸出不是均值的，會(huì)導(dǎo)致后面層的神經(jīng)元輸入是非零均值信號(hào)，容易過(guò)飽和，因此這會(huì)對(duì)梯度產(chǎn)生影響。3.Sigmoid的計(jì)算復(fù)雜度很高。tanh函數(shù)Tanh函數(shù)也稱(chēng)為雙曲正切函數(shù)，取值范圍為。其函數(shù)表達(dá)式為： （3.2）函數(shù)圖像為：圖3.4tanh函數(shù)由圖3.4可得出Tanh函數(shù)是sigmoid的變形： （3.3）Tanh函數(shù)是0均值的，因此實(shí)際應(yīng)用Tanh會(huì)比Sigmoid更好。但依然會(huì)存在梯度飽和與指數(shù)計(jì)算的問(wèn)題。Relu函數(shù)Relu函數(shù)（Rectifiedlinearunit，ReLU），即整流線性單元，是現(xiàn)代神經(jīng)網(wǎng)絡(luò)中最經(jīng)常用的激活函數(shù)之一，是大多數(shù)前饋神經(jīng)網(wǎng)絡(luò)默認(rèn)使用的激活函數(shù)。此非線性的relu函數(shù)比飽和非線性的Sigmoid和Tanh函數(shù)收斂速度更快。在相同的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)下，使用Relu函數(shù)訓(xùn)練要比使用tanh及Sigmoid函數(shù)快很多倍。其數(shù)學(xué)表達(dá)式為： （3.4）函數(shù)圖像為：圖3.5relu函數(shù)圖像由于Relu函數(shù)為線性函數(shù)，只要一個(gè)閾值就可以得到激活值，計(jì)算復(fù)雜度將大大降低。Relu函數(shù)使得小于零輸入的輸出皆為0，而輸入大于零的輸出皆為本身數(shù)值。但Relu函數(shù)也有缺點(diǎn)，例如：1.其輸出不是0均值。2.會(huì)出現(xiàn)神經(jīng)元壞死現(xiàn)象（relu在訓(xùn)練時(shí)容易出現(xiàn)梯度為零的狀況，不再對(duì)任何數(shù)據(jù)有所響應(yīng)，這樣會(huì)使得相關(guān)的參數(shù)永遠(yuǎn)不會(huì)更新）池化層池化層（poolinglayer）,簡(jiǎn)單來(lái)說(shuō)就是其目的就是減少了下一層待處理的數(shù)據(jù)量。例如當(dāng)卷積層輸出的大小為32*32時(shí)，如果池化層過(guò)濾器的大小為2*2時(shí)，那么經(jīng)過(guò)池化層處理后，輸出數(shù)據(jù)的大小就為16*16，也就是現(xiàn)有的數(shù)據(jù)量一下子減少到了池化前的1/4，這樣就減少了參數(shù)數(shù)量，從而可以防止網(wǎng)絡(luò)過(guò)擬合。常見(jiàn)的池化層有最大池化和平均池化，最大池化保留了紋理特征,平均池化保留整體的數(shù)據(jù)特征. 最大池化（maximumpooling）：選取區(qū)域內(nèi)的最大值的神經(jīng)元作為該區(qū)域的概括。平均池化（meanpooling）：取區(qū)域內(nèi)所有神經(jīng)元的均值作為該區(qū)域的概括。示例如下圖：圖3.6池化策略池化層不僅可以降低特征的維數(shù)，而且具有平移不變性。如果圖片有輕微的平移，它的輸出特性也不會(huì)改變。當(dāng)你不需要知道特征出現(xiàn)在哪里，而只需要知道特征是否存在時(shí)，平移不變性可以發(fā)揮很大的作用。比如，當(dāng)需要預(yù)測(cè)圖片是否包含人臉時(shí)，不需要精確的眼睛位置。只需要知道人眼的位置，一個(gè)在臉的左側(cè)，另一個(gè)在臉的右側(cè)。也就是說(shuō)，更為重要的是獲取特征的局部信息Dropout層Dropout層是指在深度學(xué)習(xí)網(wǎng)絡(luò)的訓(xùn)練過(guò)程中，神經(jīng)網(wǎng)絡(luò)單元按一定概率暫時(shí)退出網(wǎng)絡(luò)。對(duì)于隨機(jī)梯度下降，因?yàn)樗请S機(jī)丟棄的，所以每個(gè)小批量都在訓(xùn)練不同的網(wǎng)絡(luò)。Dropout層是CNN防止過(guò)擬合和提高效率的一個(gè)非常有效的工具。為了避免過(guò)度擬合，還可以使用另一種方法來(lái)降低測(cè)試集的錯(cuò)誤率，即訓(xùn)練大量不同的網(wǎng)絡(luò)，最終的預(yù)測(cè)結(jié)果取這些網(wǎng)絡(luò)的平均值。如果你使用這種方法，就意味著你需要單獨(dú)訓(xùn)練大量不同的網(wǎng)絡(luò)，并對(duì)測(cè)試集進(jìn)行預(yù)測(cè)，很明顯增加了訓(xùn)練和識(shí)別的工作量。然而使用Dropout層后，某些隱藏單元在每次迭代中都不會(huì)按照一定的概率進(jìn)行更新，這樣就減少了網(wǎng)絡(luò)訓(xùn)練的參數(shù)，加快了訓(xùn)練速度，使得效率提高。簡(jiǎn)單來(lái)說(shuō)，Dropout之所以解決過(guò)擬合，是因?yàn)槠淙∑骄?、減少神經(jīng)元之間復(fù)雜的共適應(yīng)關(guān)系，降低權(quán)重以使得網(wǎng)絡(luò)對(duì)丟失特定神經(jīng)元連接的魯棒性提高。全連接層每個(gè)輸入層的節(jié)點(diǎn)之后連接到輸出層的節(jié)點(diǎn)即為全連接。全連接層在整個(gè)卷積神經(jīng)網(wǎng)絡(luò)相當(dāng)于分類(lèi)器。如果說(shuō)諸如卷積層、池化層和激活函數(shù)之類(lèi)的操作將原始數(shù)據(jù)映射到隱藏層特征空間，則全連接的層充當(dāng)將被學(xué)習(xí)的“分布式特征表示”映射到樣本標(biāo)簽空間的效果。簡(jiǎn)單來(lái)說(shuō)就是就是通過(guò)特征提取實(shí)現(xiàn)分類(lèi)。優(yōu)化器由于深度學(xué)習(xí)訓(xùn)練特別復(fù)雜且耗時(shí)，可能需要在數(shù)百臺(tái)機(jī)器上花費(fèi)數(shù)十天，因此為了解決這個(gè)問(wèn)題，人們提出了很多優(yōu)化方案，優(yōu)化器就是其中之一。本次實(shí)驗(yàn)采用了GradientDescent和Adam優(yōu)化器，對(duì)比之下Adam優(yōu)化器訓(xùn)練效果更好，因此主要介紹Adam優(yōu)化器，實(shí)證結(jié)果表明：在實(shí)踐中，Adam的工作效果良好，并優(yōu)于其他隨機(jī)優(yōu)化算法。當(dāng)還未收斂時(shí)