人工智能技術(shù)基礎(chǔ)卷積神經(jīng)網(wǎng)絡(luò)第三章

卷積神經(jīng)網(wǎng)絡(luò)（ConvolutionalNeuralNetworks,CNN）是一類包含卷積計(jì)算且具有深層結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò)。卷積神經(jīng)網(wǎng)絡(luò)的研究始于20世紀(jì)80~90年代，LeNet-5是最早出現(xiàn)的卷積神經(jīng)網(wǎng)絡(luò)；2012年，AlexKrizhevsky等憑借AlexNet得了當(dāng)年的視覺圖像挑戰(zhàn)賽，震驚世界。自此之后，各類采用卷積神經(jīng)網(wǎng)絡(luò)的算法紛紛成為大規(guī)模視覺識(shí)別競賽的優(yōu)勝算法。如今，卷積神經(jīng)網(wǎng)絡(luò)已經(jīng)成為計(jì)算機(jī)視覺領(lǐng)域最具有影響力的技術(shù)手段。

3卷積神經(jīng)網(wǎng)絡(luò)簡介1.了解圖像基本特點(diǎn)，并掌握卷積神經(jīng)網(wǎng)絡(luò)的基本特性；2.掌握卷積神經(jīng)網(wǎng)絡(luò)的基本組成，卷積層、池化層和全連接層的特性；3.學(xué)習(xí)常用的幾種卷積操作、池化操作以及全連接層的卷積操作，掌握卷積層步長的選擇和padding的選擇會(huì)實(shí)現(xiàn)圖像語義分割中常用的反卷積和空洞卷積；4.了解幾種經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)模型LeNet5、AlexNet、VGG、GoogleNet、ResNet、DenseNet和SE-Net。學(xué)習(xí)目標(biāo)3卷積神經(jīng)網(wǎng)絡(luò)目錄Contents3.1卷積神經(jīng)網(wǎng)絡(luò)的特性卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)與訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)經(jīng)典模型介紹本章小結(jié)3.23.33.401卷積神經(jīng)網(wǎng)絡(luò)特性3.1卷積神經(jīng)網(wǎng)絡(luò)特性

卷積神經(jīng)網(wǎng)絡(luò)具有的局部連接、權(quán)值共享和不變性與圖像的局部性、相同性和不變性相一致，特別適合處理與圖像相關(guān)的任務(wù)，因此在計(jì)算機(jī)視覺領(lǐng)域發(fā)揮了重要作用。特征定義局部性當(dāng)需要從一張圖片中獲取某一特征時(shí)，該特征通常不是由整張圖片決定的，而是僅由圖片中的一些局部區(qū)域來決定。相同性對(duì)于不同的圖片，如果它們具有相同特征，即使這些特征位于不同的位置，但是檢測(cè)所做的操作是一樣的。不變性對(duì)于一張圖片在進(jìn)行下采樣后，圖片的性質(zhì)基本上是保持不變的，改變的僅僅是圖片的尺寸。3.1卷積神經(jīng)網(wǎng)絡(luò)特性

全連接神經(jīng)網(wǎng)絡(luò)中的每個(gè)神經(jīng)元都與它前一層中的所有神經(jīng)元相連，如果將圖像的每一個(gè)像素看作一個(gè)神經(jīng)元，使用全連接網(wǎng)絡(luò)完成與圖像相關(guān)的任務(wù)，無疑對(duì)計(jì)算機(jī)的存儲(chǔ)和運(yùn)算速度有著很高的要求，而且圖像越大，要求越高。并且對(duì)于圖像來說，每個(gè)像素和其周圍像素的聯(lián)系是相對(duì)比較緊密的，而和離得很遠(yuǎn)的像素的聯(lián)系可能就比較小了。如果一個(gè)神經(jīng)元和上一層所有的神經(jīng)元相連，那么就相當(dāng)于對(duì)于一個(gè)像素來說，把圖像的所有像素都同等看待了，缺少了位置信息。而卷積神經(jīng)網(wǎng)絡(luò)采用局部連接的方法，每個(gè)神經(jīng)元不再和上一層的所有神經(jīng)元相連，而只和一小部分神經(jīng)元相連，這樣就減少了很多的參數(shù)，加快了學(xué)習(xí)速度。3.1.1局部連接局部連接全連接3.1卷積神經(jīng)網(wǎng)絡(luò)特性

一般神經(jīng)網(wǎng)絡(luò)層與層之間的連接是，每個(gè)神經(jīng)元與上一層的全部神經(jīng)元相連，這些連接權(quán)重獨(dú)立于其他的神經(jīng)元，所以假設(shè)上一層是m個(gè)神經(jīng)元，當(dāng)前層是n個(gè)神經(jīng)元，那么共有m×n個(gè)連接，也就有m×n個(gè)權(quán)重。權(quán)重矩陣就是m×n形狀。而在卷積神經(jīng)網(wǎng)絡(luò)中，給一張輸入圖片，通常的做法是用一個(gè)卷積核（類似于圖像處理中的濾波器，實(shí)質(zhì)為針對(duì)一個(gè)小區(qū)域的一組連接權(quán)重）去掃描這張圖，卷積核里面的數(shù)實(shí)質(zhì)就是神經(jīng)網(wǎng)絡(luò)中不同層神經(jīng)元之間的連接權(quán)。權(quán)值共享意味著每一個(gè)卷積核在遍歷整個(gè)圖像的時(shí)候，卷積核的參數(shù)(連接權(quán)值)是固定不變的，比如有3個(gè)卷積核，每個(gè)卷積核都會(huì)掃描整個(gè)圖像，在掃描的過程中，卷積核的參數(shù)值是固定不變的，即整個(gè)圖像的所有元素都“共享”了相同的權(quán)值。3.1.2權(quán)值共享3.1卷積神經(jīng)網(wǎng)絡(luò)特性

卷積神經(jīng)網(wǎng)絡(luò)中有一種重要的操作：池化操作（通常采用取最大值操作），它將前一層的一個(gè)小區(qū)域中所有像素值變成了下一層中的一個(gè)像素值。這就意味著即使圖像經(jīng)歷了一個(gè)小的平移或旋轉(zhuǎn)之后，依然會(huì)產(chǎn)生相同的特征，這使卷積神經(jīng)網(wǎng)絡(luò)對(duì)微小的平移和旋轉(zhuǎn)具有不變性。在很多任務(wù)中，例如物體檢測(cè)、語音識(shí)別等，我們都更希望得到具有平移和旋轉(zhuǎn)不變性的特征，希望即使圖像經(jīng)過了平移和旋轉(zhuǎn)，圖像的標(biāo)記仍然保持不變。3.1.3不變性02卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)與訓(xùn)練3.2卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)與訓(xùn)練

卷積神經(jīng)網(wǎng)絡(luò)由卷積層、池化層和全連接層組成，其訓(xùn)練采用誤差反向傳播（BP）算法。3.2卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)與訓(xùn)練

3.2.1卷積層圖像的像素矩陣1Texthere卷積核填充

在卷積操作過程中，如果不對(duì)要進(jìn)行卷積的圖像（隱層的圖像稱特征圖）預(yù)先作填充處理，卷積后的圖像會(huì)變小，卷積層越多，卷積后的特征圖會(huì)越小。而且輸入特征圖四個(gè)角的邊緣像素只被計(jì)算一次，而中間像素則被卷積計(jì)算多次，意味著丟失圖像角落信息。此外，實(shí)際應(yīng)用中有時(shí)希望輸入和輸出在空間上尺寸是一致的。因此，為了解決上述問題，就對(duì)輸入特征圖進(jìn)行邊界填充，即填充像素。常用的邊界填充方法包括：零填充、邊界復(fù)制、鏡像、塊復(fù)制，常用的是零填充。卷積核

在進(jìn)行圖像處理時(shí)，給定輸入圖像，輸出圖像中的每一個(gè)像素就是輸入圖像中一個(gè)小區(qū)域中像素的加權(quán)平均，其中權(quán)值由一個(gè)函數(shù)定義，這個(gè)函數(shù)即為卷積核。在卷積神經(jīng)網(wǎng)絡(luò)里，通常稱之為濾波器。

主要特點(diǎn)：1.卷積核只關(guān)注局部特征，局部的程度取決于卷積核的大??；2.卷積核的深度要和輸入圖片的通道數(shù)相同；3.一個(gè)卷積核在與輸入圖片的不同區(qū)域做卷積時(shí)，它的參數(shù)是固定不變的；4.在一個(gè)卷積層中，通常會(huì)有一整個(gè)集合的卷積核組（也稱濾波器組），每個(gè)卷積核組對(duì)應(yīng)檢測(cè)一種特征。步長

步長即卷積核在原始圖片上做卷積時(shí)每次滑動(dòng)的像素點(diǎn)，步長不同，所得到的輸出結(jié)果也是不同的。如不加以說明，默認(rèn)步長為1。3.2卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)與訓(xùn)練步長卷積層填充3.2卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)與訓(xùn)練幾種在圖像上的卷積過程：單通道卷積多通道卷積3D卷積分組卷積混洗分組卷積3.2.1卷積層多通道+多卷積3D卷積分組卷積混洗分組卷積3.2卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)與訓(xùn)練

在卷積神經(jīng)網(wǎng)絡(luò)中，通常會(huì)在卷積層之間周期性的插入一個(gè)池化層（Pooling），也稱下采樣層（Downsampling），它的作用有三個(gè)：池化層具有特征不變性池化能夠?qū)μ卣鬟M(jìn)行降維加入池化層能在一定程度上防止過擬合，更方便優(yōu)化。3.2.2池化層池化過程3.2卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)與訓(xùn)練常用的池化操作有最大池化（Max-pooling）、平均池化（Mean-pooling）。研究人員還提出了針對(duì)整個(gè)特征圖進(jìn)行的池化操作稱為全局池化，也分為全局最大值池化（GMP）和全局平均池化（GAP）。將GMP和GAP的結(jié)果并接后用于通道注意力和空間注意力中，提高CNN的性能已成為常用手段。3.2.2池化層3.2卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)與訓(xùn)練卷積層提取的是輸入圖片的局部特征，全連接層則是把提取到的局部特征重新排列為一維向量。全連接層將局部特征中的每一個(gè)點(diǎn)與輸出向量中的每一個(gè)點(diǎn)都互相連接起來，并且讓每個(gè)連接都具有獨(dú)立的權(quán)值，所以稱為全連接。在卷積神經(jīng)網(wǎng)絡(luò)中，全連接層充當(dāng)著網(wǎng)絡(luò)的分類器。全連接層可以整合卷積層或者池化層中具有類別區(qū)分性的局部信息。3.2.3全連接層卷積層——全連接層3.2卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)與訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練直接采用第2章介紹的誤差反向傳播（BP）算法，只需注意各層神經(jīng)元的連接關(guān)系和共享特性。批正則化（BN）針對(duì)卷積網(wǎng)絡(luò)的每個(gè)神經(jīng)元，使數(shù)據(jù)在進(jìn)入激活函數(shù)之前，沿著通道計(jì)算每個(gè)批次（Batch）的均值、方差，‘強(qiáng)迫’數(shù)據(jù)保持均值為0，方差為1的正態(tài)分布，避免發(fā)生梯度消失。3.2.4卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練批正則化（BN）過程3.2卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)與訓(xùn)練BatchNormalization的優(yōu)勢(shì)與局限：優(yōu)勢(shì)極大提升了訓(xùn)練速度，收斂過程大大加快；還能增加分類效果，一種解釋是這是類似于Dropout的一種防止過擬合的正則化表達(dá)方式，所以不用Dropout也能達(dá)到相當(dāng)?shù)男Ч?；另外調(diào)參過程也簡單多了，對(duì)于初始化要求沒那么高，而且可以使用大的學(xué)習(xí)率等。3.2.4卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練3.2卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)與訓(xùn)練BatchNormalization的優(yōu)勢(shì)與局限：2.局限每次是在一個(gè)Batch上計(jì)算均值、方差，如果Batchsize太小，則計(jì)算的均值、方差不足以代表整個(gè)數(shù)據(jù)分布；Batchsize太大：會(huì)超過內(nèi)存容量；需要跑更多的Epoch，導(dǎo)致總訓(xùn)練時(shí)間變長；會(huì)直接固定梯度下降的方向，導(dǎo)致很難更新；不適用于動(dòng)態(tài)網(wǎng)絡(luò)結(jié)構(gòu)，例如，RNN。3.2.4卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練03卷積神經(jīng)網(wǎng)絡(luò)經(jīng)典模型介紹卷積神經(jīng)網(wǎng)絡(luò)經(jīng)典模型LeNetAlexNetVGGGoogleNetResNetDenseNetSE-Net3.3卷積神經(jīng)網(wǎng)絡(luò)經(jīng)典模型介紹LeNet-5模型是YannLeCun教授于1998年在論文《Gradient-basedlearningappliedtodocumentrecognition》中提出的，它是第一個(gè)成功應(yīng)用于手寫數(shù)字識(shí)別問題的卷積神經(jīng)網(wǎng)絡(luò)。LeNet的最大貢獻(xiàn)是：它定義了CNN的基本結(jié)構(gòu)，可稱為CNN的鼻祖。自那時(shí)起，CNN最基本的架構(gòu)就定下來了：卷積層、池化層、全連接層。LeNet-5模型一共有7層，主要有2個(gè)卷積層、2個(gè)下采樣層（池化層）、3個(gè)全連接層。3.3卷積神經(jīng)網(wǎng)絡(luò)經(jīng)典模型介紹LeNet-5網(wǎng)絡(luò)結(jié)構(gòu)3.3.1LeNet網(wǎng)絡(luò)AlexNet是由2012年圖像識(shí)別大賽冠軍獲得者辛頓和他的學(xué)生亞歷克斯·克里熱夫斯基（AlexKrizhevsky）設(shè)計(jì)的，AlexNet的出現(xiàn)也使得CNN成為了圖像分類的核心算法模型。其官方提供的數(shù)據(jù)模型，準(zhǔn)確率Top-1達(dá)到57.1%,Top-5達(dá)到80.2%。這相對(duì)于傳統(tǒng)的機(jī)器學(xué)習(xí)分類算法而言，已經(jīng)相當(dāng)出色。因?yàn)槭遣捎脙膳_(tái)GPU服務(wù)器，所以會(huì)看到兩路網(wǎng)絡(luò)。AlexNet模型共有八層，其中包括5個(gè)卷積層和3個(gè)全連接層，每一個(gè)卷積層中都包含了ReLU激活函數(shù)和局部相應(yīng)歸一化（LocalResponseNormalization，LRN）處理。3.3卷積神經(jīng)網(wǎng)絡(luò)經(jīng)典模型介紹AlexNet網(wǎng)絡(luò)結(jié)構(gòu)3.3.2AlexNet網(wǎng)絡(luò)VGGNet是VisualGeometryGroup的縮寫，是由牛津大學(xué)計(jì)算機(jī)視覺組合和谷歌DeepMind公司研究員一起研發(fā)的深度卷積神經(jīng)網(wǎng)絡(luò)。VGGNet和GoogleNet同在2014年參賽，圖像分類任務(wù)中GoogLeNet第一，VGG第二，它們都是十分有意義的網(wǎng)絡(luò)結(jié)構(gòu)。VGGNet的提出，證明了用尺寸很小的卷積（3×3）來增加網(wǎng)絡(luò)深度能夠有效提升模型的效果，且此網(wǎng)絡(luò)對(duì)其他數(shù)據(jù)集有較好的泛化能力，同時(shí)證明了增加網(wǎng)絡(luò)的深度能夠在一定程度上提升網(wǎng)絡(luò)最終的性能。VGGNet有兩種結(jié)構(gòu)，分別是VGG16和VGG19，兩者除了網(wǎng)絡(luò)深度不一樣，其本質(zhì)并沒有什么區(qū)別。其中VGG16是最常用的。3.3卷積神經(jīng)網(wǎng)絡(luò)經(jīng)典模型介紹VGGNet網(wǎng)絡(luò)結(jié)構(gòu)3.3.3VGGNet網(wǎng)絡(luò)LeNet-5、AlexNet、VGGNet屬于早期的網(wǎng)絡(luò)結(jié)構(gòu)。它們都是通過加深網(wǎng)絡(luò)、修改卷積核大小等手段來提升性能。雖然這三個(gè)網(wǎng)絡(luò)模型的性能有所提高，但是網(wǎng)絡(luò)的結(jié)構(gòu)仍然是卷積-池化串聯(lián)的方式。通過增加網(wǎng)絡(luò)層數(shù)的方式雖然在一定程度上能夠增強(qiáng)模型的性能，但是當(dāng)網(wǎng)絡(luò)的層數(shù)已經(jīng)很多時(shí)，繼續(xù)增加網(wǎng)絡(luò)層數(shù)，并不能提高模型性能。因此Inception-block、ResNet-block、DenseNet-block、SE-block等模塊的提出在一定程度上避免了這種問題，通過模塊與模塊的不斷堆疊組成了Inception、ResNet、DenseNet等經(jīng)典網(wǎng)絡(luò)。本節(jié)主要介紹Inception-block、ResNet-block、DenseNet-block、SE-block等模塊的基本結(jié)構(gòu)。3.3卷積神經(jīng)網(wǎng)絡(luò)經(jīng)典模型介紹3.3.4其它經(jīng)典網(wǎng)絡(luò)的基本結(jié)構(gòu)1.Inception-blockInception網(wǎng)絡(luò)在ILSVRC14中達(dá)到了當(dāng)時(shí)最好的分類和檢測(cè)性能。這個(gè)架構(gòu)的主要特點(diǎn)是能夠更好地利用網(wǎng)絡(luò)內(nèi)部的計(jì)算資源。3.3卷積神經(jīng)網(wǎng)絡(luò)經(jīng)典模型介紹3.3.4其它經(jīng)典網(wǎng)絡(luò)的基本結(jié)構(gòu)Inception原始模塊1.Inception-blockInception網(wǎng)絡(luò)在ILSVRC14中達(dá)到了當(dāng)時(shí)最好的分類和檢測(cè)性能。這個(gè)架構(gòu)的主要特點(diǎn)是能夠更好地利用網(wǎng)絡(luò)內(nèi)部的計(jì)算資源。3.3卷積神經(jīng)網(wǎng)絡(luò)經(jīng)典模型介紹3.3.4其它經(jīng)典網(wǎng)絡(luò)的基本結(jié)構(gòu)Inception原始模塊實(shí)現(xiàn)降維Inception模塊1.Inception-blockInceptionv2和Inceptionv3來自同一篇論文《RethinkingtheInceptionArchitectureforComputerVision》，作者提出了一系列能夠增加準(zhǔn)確度和減少計(jì)算復(fù)雜度的修正方法。3.3卷積神經(jīng)網(wǎng)絡(luò)經(jīng)典模型介紹3.3.4其它經(jīng)典網(wǎng)絡(luò)的基本結(jié)構(gòu)InceptionV2模塊擴(kuò)展后的模型1.Inception-blockInceptionv4在2015年被提出，大部分沿用了之前v1、v2的結(jié)構(gòu)，主要是為分片訓(xùn)練考慮。2015年Tensorflow還沒有出現(xiàn)，在分片訓(xùn)練時(shí)需要考慮各個(gè)機(jī)器上計(jì)算量的平衡來縮短總的訓(xùn)練時(shí)間，因此在設(shè)計(jì)結(jié)構(gòu)時(shí)會(huì)受到限制。2016年，Tensorflow開始被廣泛使用，其在內(nèi)存的占用上做了優(yōu)化，所以便不需要采取分片訓(xùn)練，在這一基礎(chǔ)上，Inception網(wǎng)絡(luò)做了優(yōu)化，于是就有了Iceptionv4。3.3卷積神經(jīng)網(wǎng)絡(luò)經(jīng)典模型介紹3.3.4其它經(jīng)典網(wǎng)絡(luò)的基本結(jié)構(gòu)InceptionV4模塊2.ResNet-blockResNet引入了殘差網(wǎng)絡(luò)結(jié)構(gòu)（ResidualNetwork），通過這種殘差網(wǎng)絡(luò)結(jié)構(gòu)，可以在加深網(wǎng)絡(luò)層數(shù)的同時(shí)得到非常不錯(cuò)的分類效果。殘差網(wǎng)絡(luò)借鑒了高速網(wǎng)絡(luò)（HighwayNetwork）的跨層連接思想，并在此基礎(chǔ)上進(jìn)行改善，殘差項(xiàng)原本是帶權(quán)值的，但是ResNet用恒等映射作為替代。3.3卷積神經(jīng)網(wǎng)絡(luò)經(jīng)典模型介紹3.3.4其它經(jīng)典網(wǎng)絡(luò)的基本結(jié)構(gòu)殘差網(wǎng)絡(luò)基本結(jié)構(gòu)3.DenseNet-blockDenseNet-block的基本思路與ResNet-block一致，但是它建立的是前面所有層與后面層的密集連接（DenseConnection），它的名稱也是由此而來。DenseNet的另一大特色是通過特征在通道上的連接來實(shí)現(xiàn)特征重用（FeatureReuse）。這