PAGE40深度學(xué)習(xí)的網(wǎng)絡(luò)模型概述目錄TOC\o"1-3"\h\u26707深度學(xué)習(xí)的網(wǎng)絡(luò)模型概述 1254201.1卷積神經(jīng)網(wǎng)絡(luò)（CNN） 1303291.2R-CNN、SPP-Net、FastR-CNN網(wǎng)絡(luò)模型 2169821.3FasterR-CNN的網(wǎng)絡(luò)模型 41.1卷積神經(jīng)網(wǎng)絡(luò)（CNN）深度神經(jīng)網(wǎng)絡(luò)，又稱為深度學(xué)習(xí)，它的概念主要來源于前人對人工神經(jīng)網(wǎng)絡(luò)的研究。深度神經(jīng)網(wǎng)絡(luò)是根據(jù)動物的大腦神經(jīng)結(jié)構(gòu)，從信號數(shù)據(jù)的角度出發(fā)，人為地搭建抽象出來的網(wǎng)絡(luò)學(xué)習(xí)框架。在具體的應(yīng)用背景下，類比動物大腦內(nèi)部神經(jīng)網(wǎng)絡(luò)中神經(jīng)元各種不同的連接方式，設(shè)計人工神經(jīng)網(wǎng)絡(luò)連接方式，構(gòu)建相應(yīng)的網(wǎng)絡(luò)模型。利用海量的數(shù)據(jù)樣本進行訓(xùn)練學(xué)習(xí)，從而實現(xiàn)網(wǎng)絡(luò)模型對已知樣本和先驗知識的訓(xùn)練，即可將得到的訓(xùn)練成果用于對未知樣本目標(biāo)的檢測。卷積神經(jīng)網(wǎng)絡(luò)研究最早是受到對貓視覺皮層細(xì)胞研究的啟發(fā)，在上世紀(jì)六十年代，Hubel等研究者因此提出了感受野這一概念。這是由于在貓的視覺皮層細(xì)胞在認(rèn)知物體時，能夠?qū)σ曈X輸入空間的子區(qū)域非常敏感。二十世紀(jì)八十年代，學(xué)者Fukushima在此基礎(chǔ)上提出了神經(jīng)認(rèn)知機的概念。神經(jīng)認(rèn)知機的思想是將整個視覺模式分解為若干子模式，即通過感知整個目標(biāo)的局部特征來識別目標(biāo)，然后進入層次特征平面進行處理。第一個卷積神經(jīng)網(wǎng)絡(luò)是YanLecun[1]等人于1998年提出的LeNet-5模型。卷積神經(jīng)網(wǎng)絡(luò)主要特點表現(xiàn)為卷積運算操作，與上文的神經(jīng)認(rèn)知機相似，卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練的目的在于學(xué)習(xí)樣本中圖像的特征，它通過逐層提取和組合圖像的中低層次特征進而形成高級抽象語義特征，從而有效地實現(xiàn)特征映射和表達。早期的CNN網(wǎng)絡(luò)由于計算機硬件計算能力不足，以及大規(guī)模訓(xùn)練的數(shù)據(jù)樣本稀少等原因，其訓(xùn)練效果不盡人意。不過隨著計算機硬件環(huán)境的提高，尤其是GPU發(fā)展出來的多核計算能力，卷積神經(jīng)網(wǎng)絡(luò)模型有了極大飛速的發(fā)展。像AlexNet、ZF、GoogLeNet、VGG以及熱門的ResNet模型涌現(xiàn)出來。卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)包括:卷積層、池化層和全連通層。每一層有多個特征圖，每個特征圖通過卷積濾波器提取一個輸入特征。將輸入圖像與濾波器進行卷積，提取目標(biāo)局部特征。一旦特征被提取出來，就可以確定其與其他特征的位置關(guān)系。提取局部特征信號時，會產(chǎn)生相應(yīng)的信號，當(dāng)相應(yīng)信號通過網(wǎng)絡(luò)結(jié)點響應(yīng)輸入到激活函數(shù)中，累積超過一定閾值時便可繼續(xù)將得到特征圖輸入下一層網(wǎng)絡(luò)，即池化層。在這里已提取好的特征輸入圖進行池化操作從而實現(xiàn)降采樣。最后則是全連接層，它通常包含兩到三個隱層。第一隱藏層負(fù)責(zé)接收卷積合并后得到的特征子圖，第二隱藏層負(fù)責(zé)將特征圖拉伸成一維特征向量，實現(xiàn)高級特征到樣本標(biāo)簽空間的映射。最后，根據(jù)為具體任務(wù)定義的目標(biāo)函數(shù)，計算樣本的真實值與預(yù)測值的誤差以及網(wǎng)絡(luò)模型的訓(xùn)練損失，并利用反向傳播算法將損失值從網(wǎng)絡(luò)的最后一層向前傳播，從而實現(xiàn)參數(shù)更新，達到深度學(xué)習(xí)的效果。圖1.1為卷積神經(jīng)網(wǎng)絡(luò)一般結(jié)構(gòu)：圖1.1卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)1.2R-CNN、SPP-Net、FastR-CNN網(wǎng)絡(luò)模型FastR-CNN，F(xiàn)asterR-CNN的算法基礎(chǔ)均是繼承于R-CNN的思路框架發(fā)展而來的。因此本節(jié)將以各自算法提出的先后順序進行展開論述。傳統(tǒng)的目標(biāo)檢測算法采用的是滑動窗法依次判斷圖像中目標(biāo)特征?；瑒哟胺▌t是通過使用特定大小的窗口（長度），一次遍歷圖像中每一個區(qū)域，進而提取出信息。這樣的傳統(tǒng)方法固然會消耗大量時間，也增加了運算工作量。R-CNN則是預(yù)先提取出一系列較可能是目標(biāo)的候選區(qū)域，之后僅在這些候選區(qū)域進行提取特征，進行目標(biāo)判斷，即SelectiveSearch算法的基本思路。R-CNN算法大致的思路：首先，由一張圖片生成一千至兩千個圖像候選區(qū)域；其次，對每個候選區(qū)域進行圖像目標(biāo)特征提取，在輸入候選區(qū)域前，需要完成對候選區(qū)域的縮放；然后，送入每一類的支持向量機分類器，判斷是否屬于這一類；最后再用回歸器精細(xì)修正候選框位置。圖1.2則是R-CNN的框架結(jié)構(gòu)圖1.2R-CNN網(wǎng)絡(luò)結(jié)構(gòu)之后發(fā)展而來的SPP-Net網(wǎng)絡(luò)模型在R-CNN的基礎(chǔ)上繼續(xù)改進，首先該網(wǎng)絡(luò)取消了縮放圖像即圖1.4中的Crop/Warp過程，避免了像素?fù)p失，解決了圖像變形導(dǎo)致的信息丟失及存儲問題。其次SPP-Net采用了空間金字塔池化層（SpatialPyramidPooling,SPP）替換了R-CNN全連接層之前的最后一個池化層，放在所有卷積層的后面，有效地提高運算速度。FastR-CNN借鑒了空間金字塔池化層的思想，提出了比SPP更簡單的池化層，之前的算法流程與R-CNN非常相似。FASTR-CNN在繼承了SPP-NET網(wǎng)絡(luò)之后，在提取特征前不需要對候選區(qū)域進行縮放。在每個卷積層后面還添加了一個池化層。但是FASTR-CNN的改進在于:首先，它增加了候選盒映射函數(shù)，使得網(wǎng)絡(luò)可以往回傳播。其次，結(jié)合分類和邊界回歸，通過Loss層進一步整合深度網(wǎng)絡(luò)，統(tǒng)一訓(xùn)練過程，提高算法精度。具體來說，前一部分與R-CNN過程有很大的不同，后一部分將之前提取的候選區(qū)域映射到最后一個卷積層的特征圖上。特征圖是通過卷積層背后的池化層由每個候選區(qū)域基礎(chǔ)上生成而得來的。最后利用SoftmaxLoss（探測分類概率）和SmoothL1Loss（探測邊框回歸）對分類概率和邊框回歸進行聯(lián)合訓(xùn)練。探測分類概率公式如下： (1.1)其中Lcls為分類誤差，p邊框回歸誤差公式如下： (1.2)smoot?L1 (1.3)對于窗口而言，一般使用四維向量(x,y,w,h)表示窗口的中心點坐標(biāo)和寬高。對于我們提出的每一個候選建議窗口不一定總是合理的，總會與我們實際需要的輸出存在誤差。這樣的情況如圖1.3所示圖1.3提取候選框、實際框、回歸框的分布圖圖1.3中紅色框P代表的是原始提出來的候選區(qū)域建議，綠色框G代表的是真實窗口。顯然根據(jù)之前網(wǎng)絡(luò)提取出來的候選區(qū)域建議窗口（regionproposal）不一定完美匹配真實窗口（Groundtruth），因此邊框回歸的目的在于輸入得到的候選區(qū)域建議窗口能夠構(gòu)建回歸模型，使得P能夠調(diào)整到上圖中G的位置，即藍色窗口，使得這個窗口G非常接近真實窗口G。1.3FasterR-CNN的網(wǎng)絡(luò)模型對于FasterR-CNN算法而言，它在FastR-CNN算法的基礎(chǔ)上繼續(xù)改進，那就是候選區(qū)域建議窗口的提取。候選框提取不一定在原圖上提取，可以在特征圖上提取。鑒于特征圖的低分辨率，候選區(qū)域建議窗口的提取也會降低計算量。因此FasterR-CNN提出了區(qū)域建議網(wǎng)絡(luò)（RegionProposalNetwork,RPN）。改進后的RPN算法，比之前R-CNN、FastR-CNN提取候選區(qū)域所采用的SeletiveSearch算法計算時間縮短，而且也實現(xiàn)了端對端的檢測。圖1.4是由R-CNN到SPP-Net網(wǎng)絡(luò)、FastR-CNN網(wǎng)絡(luò)、再到FasterR-CNN網(wǎng)絡(luò)的演進過程。圖1.4R-CNN的演進過程FasterR-CNN算法框架[1]由特征提取網(wǎng)絡(luò)（FeatureExtractionNetwork,FEN）、區(qū)域建議網(wǎng)絡(luò)和目標(biāo)檢測網(wǎng)絡(luò)（ObjectDetectionNetwork,ODN）組成。與前面的R-CNN、FastR-CNN算法流程相似。對于一幅輸入圖像，首先用基本的卷積神經(jīng)網(wǎng)絡(luò)進行特征提取，然后RPN接收FEN的輸出特征圖，生成候選框。最后，ODN根據(jù)區(qū)域定位網(wǎng)絡(luò)生成的候選區(qū)域的位置，通過感興趣區(qū)域池從分區(qū)域神經(jīng)網(wǎng)絡(luò)的輸出特征圖中提取候選區(qū)域的特征。從而進行目標(biāo)分類和包圍盒回歸?；咎卣魈崛【W(wǎng)絡(luò)(FEN)需要使用大規(guī)模分類數(shù)據(jù)集進行預(yù)訓(xùn)練，為特定的檢測任務(wù)加載預(yù)訓(xùn)練好的網(wǎng)絡(luò)參數(shù)，然后利用特定領(lǐng)域的數(shù)據(jù)集調(diào)整模型的網(wǎng)絡(luò)參數(shù)，使其適合相應(yīng)的檢測任務(wù)。RPN使用滑動窗口方法遍歷FEN輸出的特征圖上的所有特征點。對于每個特征點，會以該特征點為中心生成9個錨點，錨點為特定大小的邊界框。隨后分別送入到分類層和邊界框回歸層進行前景背景判別和坐標(biāo)回歸?？紤]到不同尺度的目標(biāo)，F(xiàn)asterR-CNN設(shè)定了三種不同長寬比（0.5，1，2）以及三種不同尺度（64×64、128×128、256×256）的9個候選邊界框。即每個特征點產(chǎn)生了9個錨點對于RPN網(wǎng)絡(luò)而言，限定輸入圖像長邊不超過1000個像素，短邊不超過600個像素.因此一幅圖像最多能產(chǎn)生1000/16×600/16×9≈20000個錨點。由于錨點數(shù)量巨大，需要對錨點進行選擇和篩選。該選擇算法設(shè)定在每一批mini-batch從20000個錨點中挑選256個錨點。選擇策略如下：①首先，隨機選擇128個交叉點大于0.7的錨點作為陽性樣本；如果重疊度不滿足0.7，檢查每個真實目標(biāo)框選擇重疊度最高的作為陽性樣本。②隨機選取與任意真實目標(biāo)幀重疊小于0.3的128個錨點作為陰性樣本。③如果陽性樣本少于128個，多選擇陰性樣本進行彌補，這樣每批就有256個樣本進行訓(xùn)練。關(guān)于重疊度公式如式（1.4）所示: (1.4)對于真實框A和錨點B而言，A∩B代表兩個方框相交重疊在一起的面積，A∪B代表二者并集區(qū)域的面積。RPN除了利用選擇錨點機制用于自身訓(xùn)練外，還輸出候選區(qū)域給ODN用以后續(xù)的目標(biāo)類別判別和位置修正。對于每幅徑向圖像，計算20,000個錨點屬于目標(biāo)標(biāo)注框的概率值及其對應(yīng)的位置回歸值。前12,000個錨點按概率值降序排列。然后，利用非最大抑制(non-maximumsuppression,NMS)方法選擇2000個錨點作為候選區(qū)域。ODN利用FEN提取的featuremap和RPN生成的2000個候選區(qū)域，通過ROIPoolinglayer提取候選區(qū)域?qū)?yīng)的feature，從而進行后續(xù)的目標(biāo)類別判別和位置回歸。ODN利用F