第第頁從RCNN到Faster-RCNN的發(fā)展歷程綜述RCNN(RegionswithCNNfeatures)系列算法主要是RCNN，F(xiàn)ast-RCNN，F(xiàn)aster-RCNN，Mask-RCNN等等,這一系列的算法模型是目標(biāo)檢測(cè)two-stage（二分）算法的代表，這系列的算法精度高，效果好，是一類重要的方法。以下介紹從RCNN到Faster-RCNN的發(fā)展歷程。1.1RCNN模型RCNN可以說是two-stage算法的開篇之作，奠定了一個(gè)基礎(chǔ)。RCNN是將CNN（卷積神經(jīng)網(wǎng)絡(luò))方法應(yīng)用到目標(biāo)檢測(cè)問題上的一個(gè)里程碑，借助CNN良好的特征提取和分類性能，通過RegionProposal（候選區(qū)域）方法實(shí)現(xiàn)目標(biāo)檢測(cè)問題的轉(zhuǎn)化。RCNN模型算法可以分為以下四步：（1）候選區(qū)域選擇：利用傳統(tǒng)的selectivesearch（選擇性搜索）算法生成候選區(qū)域，可以看作利用不同寬高的滑動(dòng)窗口，通過窗口滑動(dòng)獲得潛在的目標(biāo)圖像。一般生成大約2k個(gè)候選框。然后根據(jù)Proposal提取到的目標(biāo)圖像進(jìn)行歸一化操作，以此作為CNN的準(zhǔn)輸入。（2）CNN特征提?。簶?biāo)準(zhǔn)的卷積神經(jīng)網(wǎng)絡(luò)過程，將輸入圖像進(jìn)行卷積/池化等操作后，得到固定維度的輸出，以此作為提取特征。（3）分類與邊界回歸：如步驟名所示，此步驟包含了兩個(gè)子步驟，第一步先是對(duì)步驟二中通過CNN提取到的特征圖像進(jìn)行分類，分類采用分類器SVM（支持向量機(jī)）進(jìn)行操作；第二部通過BoundingBoxRegression（邊界回歸）得到比較精確的目標(biāo)區(qū)域，能夠?qū)δ繕?biāo)進(jìn)行精確定位并避免了同一個(gè)目標(biāo)的多次檢出。作為較早一批采用卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)目標(biāo)檢測(cè)的算法模型，RCNN存在幾個(gè)明顯的不足之處：首先，RCNN的第一個(gè)步驟中提取到的每一個(gè)候選區(qū)域，都將會(huì)作為第二步的輸入進(jìn)行卷積等操作，而由于其采用了滑動(dòng)窗口的操作方式，勢(shì)必會(huì)產(chǎn)生大量的范圍重疊的候選區(qū)域，產(chǎn)生大量的資源浪費(fèi)。其次，由于其采用的傳統(tǒng)的卷積神經(jīng)網(wǎng)路，第一步中得到的候選區(qū)域就需要進(jìn)行歸一化操作，得到固定尺寸的輸入圖像后才能作為輸入進(jìn)行第二部操作，而在執(zhí)行歸一化時(shí)，裁剪變換等操作可能會(huì)造成候選區(qū)域中目標(biāo)物的截?cái)嗷蜃冃?，使得輸入無效化。1.2Fast-RCNN模型顧名思義，F(xiàn)ast-RCNN模型相比于RCNN模型，在速度上得到了提升。Fast-RCNN首先借鑒了SPP-Net模型思路，提出了更為簡(jiǎn)化的ROI（感興趣區(qū)）池化層，并在此基礎(chǔ)上加入了候選框映射功能，能夠通過ROI映射出候選框，實(shí)現(xiàn)了網(wǎng)絡(luò)的反向傳播。這樣就通過只進(jìn)行一次整體特征提取后再得到候選區(qū)域的方法，解決了在RCNN模型中，每一個(gè)候選區(qū)域都會(huì)進(jìn)行一次CNN特征提取操作，耗時(shí)耗力的缺點(diǎn)。其次，F(xiàn)ast-RCNN的損失函數(shù)采用了Multi-taskloss（多任務(wù)損失函數(shù)），用Softmax分類器代替了SVM分類器，用SmoothL1Loss取代了邊框回歸，即直接將邊框回歸過程直接加入到了卷積神經(jīng)網(wǎng)路網(wǎng)絡(luò)中訓(xùn)練，提高了算法的精確度。大致步驟如下：（1）生成候選區(qū)域：仍采用選擇性搜索產(chǎn)生大約2k個(gè)感興趣區(qū)。（2）將它們整體輸入到卷積神經(jīng)網(wǎng)絡(luò)中，在卷積神經(jīng)網(wǎng)絡(luò)中的最后一層中對(duì)每個(gè)感興趣區(qū)求映射關(guān)系，并利用感興趣區(qū)池化層統(tǒng)一到相同的大小。（3）隨后輸出經(jīng)過兩個(gè)全連接層得到特征向量。分別輸入到用于分類的Softmax和BoundingBox回歸。利用SoftmaxLoss和SmoothL1Loss對(duì)分類概率和邊框回歸聯(lián)合訓(xùn)練。雖然Fast-RCNN通過改進(jìn)提升了訓(xùn)練速度，但依舊沒有改變采用的耗時(shí)的選擇性搜索方法，速度上的提升也只是相對(duì)與RCNN模型而言的1.3Faster-RCNN模型本課題所采用的Faster-RCNN模型,在Fast-RCNN模型的基礎(chǔ)上，進(jìn)一步改進(jìn)了算法流程。對(duì)于提取候選框最常用的選擇性搜索方法，提取一副圖像大概需要2s的時(shí)間，改進(jìn)的EdgeBoxes算法將效率提高到了0.2s，但是這還不夠。候選框提取不一定要在原圖上做，特征圖上同樣可以，低分辨率特征圖意味著更少的計(jì)算量，基于這個(gè)假設(shè)，MSRA的任少卿等人提出RPN(RegionProposalNetwork)，完美解決了這個(gè)問題。通過添加額外的RPN分支網(wǎng)絡(luò)，將候選框提取合并到深度網(wǎng)絡(luò)中，這正是Faster-RCNN里程碑式的貢獻(xiàn)。RPN網(wǎng)絡(luò)的特點(diǎn)在于通過滑動(dòng)窗口的方式實(shí)現(xiàn)候選框的提取，每個(gè)滑動(dòng)窗口位置生成9個(gè)候選窗口（不同尺度、不同寬高），提取對(duì)應(yīng)9個(gè)候選窗口（anchor）的特征，用于目標(biāo)分類和邊框回歸，與Fast-RCNN類似。目標(biāo)分類只需要區(qū)分候選框內(nèi)特征為前景或者背景。邊框回歸確定更精確的目標(biāo)位置，基本網(wǎng)絡(luò)結(jié)構(gòu)如下圖2-1所示：圖2-1RPN網(wǎng)絡(luò)結(jié)構(gòu)訓(xùn)練過程中，關(guān)于候選框的提取，主要考慮到一下兩點(diǎn)依據(jù)：（1）跨越邊界的anchor將會(huì)被丟棄；（2）與樣本重疊區(qū)域大于0.7的anchor標(biāo)記為前景，重疊區(qū)域小于0.3的標(biāo)定為背景；對(duì)于每一個(gè)位置，通過兩個(gè)全連接層（目標(biāo)分類+邊框回歸）對(duì)每個(gè)候選框（anchor）進(jìn)行判斷，并且結(jié)合概率值進(jìn)行舍棄（僅保留約300個(gè)anchor），沒有顯式地提取任何候選窗口，完全使用網(wǎng)絡(luò)自身完成判斷和修正。從模型訓(xùn)練的角度來看，通過使用共享特征交替訓(xùn)練的方式，達(dá)到接近實(shí)時(shí)的性能，交替訓(xùn)練方式描述如下：（1）根據(jù)現(xiàn)有網(wǎng)絡(luò)初始化權(quán)值w，訓(xùn)練RPN；（2）用RPN提取訓(xùn)練集上的候選區(qū)域，用候選區(qū)域訓(xùn)練Fast-RCNN，更新權(quán)值w；（3）重復(fù)前兩個(gè)步驟，直到收斂。以上的這些改進(jìn)，讓Faster-RCNN在訓(xùn)練速度和檢測(cè)精度上得到了很大的提升，比如優(yōu)化了建議區(qū)域的生成方式，十七真正實(shí)現(xiàn)了端到端訓(xùn)練；在GPU上達(dá)到了實(shí)時(shí)檢測(cè)等等。經(jīng)過了這一輪的種種改進(jìn)，RCNN系列算法的基本結(jié)構(gòu)已經(jīng)完成了進(jìn)化，進(jìn)程如下圖2-2所示，其訓(xùn)練速度和檢測(cè)精度可