--海面目標(biāo)檢測研究的國內(nèi)外文獻(xiàn)綜述目標(biāo)檢測研究現(xiàn)狀目標(biāo)檢測作為模式識別、計(jì)算機(jī)視覺領(lǐng)域的基礎(chǔ)性任務(wù)，其目的在于定位圖像/視頻中感興趣的目標(biāo)物體并給出其所屬類別。長期以來，目標(biāo)檢測一直受到領(lǐng)域內(nèi)學(xué)者的廣泛關(guān)注。尤其是，近幾年得益于人工智能理論的快速發(fā)展及硬件計(jì)算能力的指數(shù)級增長，目標(biāo)檢測相關(guān)研究取得了突破性進(jìn)展，在檢測準(zhǔn)確率和檢測速度方面都取得了顯著提升?？偟膩碚f，現(xiàn)有目標(biāo)檢測算法可以分為基于人工特征的目標(biāo)檢測算法[11][12][13][14][15][16]和基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測算法[17][18][19][20][21][22][23]。如圖1-4橙色箭頭所示，基于人工特征的目標(biāo)檢測算法通常包括感興趣區(qū)域選擇、人工特征提取以及分類器識別分類三個(gè)步驟。感興趣區(qū)域選擇過程借助于多尺度滑動窗口遍歷整個(gè)輸入圖像來實(shí)現(xiàn)，有效降低了輸入圖像中不同尺度、不同位置目標(biāo)被漏檢的可能性；人工特征提取即根據(jù)人所具備的先驗(yàn)知識，結(jié)合任務(wù)需求對圖像中的目標(biāo)形態(tài)、背景狀態(tài)等因素進(jìn)行向量化表征，從而實(shí)現(xiàn)對輸入圖像像素級特征的降維，SIFT[12]、HOG[13]、Harr[14]等均是計(jì)算機(jī)視覺領(lǐng)域最為常用的人工特征；在分類識別階段，SVM[24]、Adaboost[25]等是最為典型的機(jī)器學(xué)習(xí)分類器，這些分類器可以根據(jù)所提取的特征判斷感興趣區(qū)域是否屬于某類待檢測目標(biāo)。通過將不同的人工特征和分類器進(jìn)行結(jié)合，形成了一系列基于人工特征的目標(biāo)檢測算法。如Viola等人利用Haar特征和Adaboost分類器進(jìn)行行人目標(biāo)檢測取得了較好的檢測效果[15]；Felzenszwalb等人利用改進(jìn)的HOG特征和SVM分類器所搭建的DPM模型[16]多次在VOC目標(biāo)檢測挑戰(zhàn)賽中獲得冠軍。但基于滑動窗口的感興趣區(qū)域選擇過程會產(chǎn)生大量冗余窗口，極大增加了后續(xù)特征提取與識別分類過程的時(shí)間成本；同時(shí)人工特征設(shè)計(jì)過程較為復(fù)雜，且存在魯棒性差的通病。隨著計(jì)算設(shè)備的不斷升級與更新?lián)Q代，以大規(guī)模計(jì)算為支撐的深度學(xué)習(xí)重新進(jìn)入研究人員的視野。尤其是在圖像識別領(lǐng)域，深度學(xué)習(xí)理論得以廣泛應(yīng)用，基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測算法應(yīng)運(yùn)而生，Girshick等人所提出R-CNN算法[17]和Redmon等人所提出的YOLO算法[18]等基于深度學(xué)習(xí)的方法是此類目標(biāo)檢測算法的代表性工作。為避免產(chǎn)生過多的冗余窗口，R-CNN算法使用選擇性搜索（SelectiveSearch）取代基于滑動窗口的窮舉式感興趣區(qū)域提取方法，極大地提高了目標(biāo)檢測速度；同時(shí)，該算法使用卷積神經(jīng)網(wǎng)絡(luò)（CNN）自動提取的特征取代了魯棒性較差的人工特征，不僅免去了人工設(shè)計(jì)特征的復(fù)雜過程，而且取得了顯著的性能提升。而YOLO算法打破了以往目標(biāo)檢測算法先生成感興趣區(qū)域再識別分類的框架，給出了目標(biāo)檢測的新思路，該算法首次將檢測過程視為一個(gè)端到端的回歸問題，進(jìn)一步加快了目標(biāo)檢測速度。此后，學(xué)者們對R-CNN算法和YOLO算法進(jìn)行了諸多改進(jìn)，直至現(xiàn)在，R-CNN系列算法[17][19][20][21]和YOLO系列算法[18][22][23]仍是目標(biāo)檢測領(lǐng)域最具代表性的主流算法，圖14的綠色箭頭展示了兩類算法的異同。圖14不同目標(biāo)檢測方法示意圖海面目標(biāo)檢測研究現(xiàn)狀目前用于海洋環(huán)境觀測的視覺傳感器主要為紅外相機(jī)和可見光相機(jī)，與之對應(yīng)，海面目標(biāo)檢測可以分為基于紅外圖像的目標(biāo)檢測和基于可見光圖像的目標(biāo)檢測。相比于紅外圖像，可見光圖像可提供色彩、目標(biāo)紋理等更為豐富的視覺信息，這些信息對正確分類待檢測目標(biāo)十分重要。因此，學(xué)者們在基于可見光圖像的海面目標(biāo)檢測方面開展了一系列研究工作[26][27][28][29][30][31][33][34][35][38]。（1）傳統(tǒng)的海面目標(biāo)檢測研究現(xiàn)狀受海洋環(huán)境的復(fù)雜多變、海洋數(shù)據(jù)采集手段不成熟等因素影響，海面目標(biāo)檢測相關(guān)研究起步較晚，目前基于可見光圖像的海面目標(biāo)檢測仍以傳統(tǒng)方法為主，主要包括海天線檢測、背景建模與去除、前景分割等步驟。Prasad等人將多種背景去除方法應(yīng)用于基于可見光圖像的海面目標(biāo)檢測，實(shí)驗(yàn)結(jié)果證明利用圖像紋理進(jìn)行背景建模與去除有助于實(shí)現(xiàn)更好的檢測效果[26]。Frost等人利用核密度估計(jì)進(jìn)行海洋場景圖片的背景建模與去除，并在此基礎(chǔ)上實(shí)現(xiàn)了海面目標(biāo)的檢測與跟蹤[27]。由于海洋場景圖片/視頻多為遠(yuǎn)距離拍攝，船、艦等海面目標(biāo)往往出現(xiàn)在海天線附近，因此海天線檢測對海面目標(biāo)檢測輔助效果明顯。藏風(fēng)妮通過挖掘離散余弦變換（DCT）域圖像塊的特征進(jìn)行海天線檢測，并在此基礎(chǔ)上建立了海面背景混合紋理模型，從而實(shí)現(xiàn)了快速、魯棒的海面船艦?zāi)繕?biāo)檢測[28]。然而，當(dāng)存在海天線目標(biāo)遮擋或雨雪霧等惡劣天氣的情況時(shí)，難以準(zhǔn)確檢測出海天線的確切位置，所產(chǎn)生的海天線檢測誤差會對海面目標(biāo)檢測帶來不利影響。（2）基于深度學(xué)習(xí)的海面目標(biāo)檢測研究現(xiàn)狀近年來，基于深度學(xué)習(xí)的目標(biāo)檢測算法在常規(guī)場景下的檢測效果逐步提升，并且已經(jīng)在智慧安防、智能交通等領(lǐng)域有了較為廣泛的應(yīng)用，昭示著充分利用深度神經(jīng)網(wǎng)絡(luò)的感知能力將成為海面目標(biāo)檢測領(lǐng)域新的發(fā)展趨勢。但深度學(xué)習(xí)算法的有效實(shí)施依賴于在大規(guī)模數(shù)據(jù)集上進(jìn)行模型訓(xùn)練，由于海洋數(shù)據(jù)采集難度大、危險(xiǎn)性高，導(dǎo)致大規(guī)模海洋目標(biāo)數(shù)據(jù)集缺乏，限制了深度學(xué)習(xí)理論在海面目標(biāo)檢測領(lǐng)域的應(yīng)用，因而基于深度學(xué)習(xí)的海面目標(biāo)檢測相關(guān)研究尚處于起步階段。隨著航天遙感技術(shù)的發(fā)展，遙感器所捕獲的圖像分辨率越來越高，降低了構(gòu)建高質(zhì)量遙感圖像數(shù)據(jù)集的難度，在此背景下，學(xué)者們將目光轉(zhuǎn)向了基于可見光遙感圖像的目標(biāo)檢測與識別。在天氣狀況良好時(shí)，遙感圖像中的船、艦等海面目標(biāo)外形輪廓清晰，可辨識度高，使得基于可見光遙感圖像的海面目標(biāo)檢測成為該細(xì)分領(lǐng)域的研究熱點(diǎn)。Tang等人首先對高分辨率的遙感圖像進(jìn)行壓縮，然后利用層級化的深度神經(jīng)網(wǎng)絡(luò)提取船舶特征，并利用極限學(xué)習(xí)機(jī)對網(wǎng)絡(luò)進(jìn)行訓(xùn)練，最終實(shí)現(xiàn)了更快、更好的海面船舶目標(biāo)檢測[29]；王昌安提出了一種針對遙感影像中的近海岸船艦?zāi)繕?biāo)的檢測與識別方法，該方法借助于生成對抗網(wǎng)絡(luò)（GAN）合成的樣本輔助分類子網(wǎng)絡(luò)訓(xùn)練，有效緩解了兩階段目標(biāo)檢測過程中定位子任務(wù)對分類器判別能力的不利影響[30]；陳俊所提出的基于R-YOLO的海面船艦?zāi)繕?biāo)檢測模型，通過引入旋轉(zhuǎn)矩形框，使得模型對不同形態(tài)、不同角度的船艦?zāi)繕?biāo)具有更高的魯棒性[31]。相比于水平視角下拍攝的可見光圖像，遙感圖像只能展示海面目標(biāo)的俯視輪廓信息，缺少對目標(biāo)的細(xì)節(jié)描述；更重要的是，針對俯拍視角下海面目標(biāo)檢測的算法不適用于無人水面艇等平臺。為了有效加強(qiáng)無人水面艇等海上無人裝備的任務(wù)執(zhí)行能力，學(xué)者們進(jìn)行了水平視角下的海面目標(biāo)檢測研究。Prasad等人[32]于2017年開源了新加坡海面數(shù)據(jù)集（SingporeMaritimeDataset,SMD），該數(shù)據(jù)集中的視頻均在岸上或船上拍攝，為開展水平視角下的海面目標(biāo)檢測研究提供了諸多便利。Moosbauer等人在對SMD數(shù)據(jù)集進(jìn)行數(shù)據(jù)劃分的基礎(chǔ)上給出了典型的FasterR-CNN[20]和MaskR-CNN[21]目標(biāo)檢測算法在該數(shù)據(jù)集上的基準(zhǔn)性結(jié)果[33]；Shin等人首先通過實(shí)例分割提取SMD數(shù)據(jù)集中的船艦?zāi)繕?biāo)，然后將其與海洋背景相結(jié)合構(gòu)建了虛擬合成數(shù)據(jù)集，提高了海面目標(biāo)檢測的準(zhǔn)確率[34]。此外，由于缺乏大規(guī)模海面目標(biāo)標(biāo)準(zhǔn)數(shù)據(jù)庫，現(xiàn)有工作通常在自建的小規(guī)模數(shù)據(jù)集上進(jìn)行模型訓(xùn)練與測試。如Chen等人從MSCOCO[1]、PascalVOC[2]和SMD[32]三個(gè)數(shù)據(jù)集中收集了1500張海面目標(biāo)圖片進(jìn)行實(shí)驗(yàn)，驗(yàn)證了其所提出的基于層級化、多尺度深度卷積神經(jīng)網(wǎng)絡(luò)的海面目標(biāo)檢測算法的有效性[35]；Cane等人基于MODD[36]、SMD[32]、IPATCH[37]和SEAGULL[3]構(gòu)建了海面監(jiān)控?cái)?shù)據(jù)集，并提出了一種基于圖像分割的海面無人艇障礙物檢測方法[38]?？傊疃葘W(xué)習(xí)在水平視角下海面目標(biāo)檢測任務(wù)中的應(yīng)用尚處于起步階段，由于建立大規(guī)模海面目標(biāo)數(shù)據(jù)集成本高昂，設(shè)計(jì)適應(yīng)現(xiàn)有數(shù)據(jù)集特點(diǎn)的水平視角海面目標(biāo)檢測算法顯得尤為重要。參考文獻(xiàn)LinTY,MaireM,BelongieS,etal.Microsoftcoco:Commonobjectsincontext[C]//Europeanconferenceoncomputervision.Springer,Cham,2014:740-755.EveringhamM,VanGoolL,WilliamsCKI,etal.Thepascalvisualobjectclasses(voc)challenge[J].Internationaljournalofcomputervision,2010,88(2):303-338.RibeiroR,CruzG,MatosJ,etal.Adatasetforairbornemaritimesurveillanceenvironments[J].IEEETransactionsonCircuitsandSystemsforVideoTechnology,2017,29(9):2720-2732.BloisiDD,IocchiL,PennisiA,etal.ARGOS-Veniceboatclassification[C]//201512thIEEEInternationalConferenceonAdvancedVideoandSignalBasedSurveillance(AVSS).IEEE,2015:1-6.LiJ,QuC,ShaoJ.ShipdetectioninSARimagesbasedonanimprovedfasterR-CNN[C]//2017SARinBigDataEra:Models,MethodsandApplications(BIGSARDATA).IEEE,2017:1-6.WangY,WangC,ZhangH,etal.ASARdatasetofshipdetectionfordeeplearningundercomplexbackgrounds[J].remotesensing,2019,11(7):765.KhanSH,HayatM,BennamounM,etal.Cost-sensitivelearningofdeepfeaturerepresentationsfromimbalanceddata[J].IEEEtransactionsonneuralnetworksandlearningsystems,2017,29(8):3573-3587.PengM,ZhangQ,XingX,etal.Trainableundersamplingforclass-imbalancelearning[C]//ProceedingsoftheAAAIConferenceonArtificialIntelligence.2019,33(01):4707-4714.HouS,PanX,LoyCC,etal.Learningaunifiedclassifierincrementallyviarebalancing[C]//ProceedingsoftheIEEE/CVFConferenceonComputerVisionandPatternRecognition.2019:831-839.JamalMA,BrownM,YangMH,etal.Rethinkingclass-balancedmethodsforlong-tailedvisualrecognitionfromadomainadaptationperspective[C]//ProceedingsoftheIEEE/CVFConferenceonComputerVisionandPatternRecognition.2020:7610-7619.ZhaoWL,NgoCW.Flip-invariantSIFTforcopyandobjectdetection[J].IEEETransactionsonImageProcessing,2012,22(3):980-991.LoweDG.Distinctiveimagefeaturesfromscale-invariantkeypoints[J].Internationaljournalofcomputervision,2004,60(2):91-110.DalalN,TriggsB.Histogramsoforientedgradientsforhumandetection[C]//2005IEEEcomputersocietyconferenceoncomputervisionandpatternrecognition(CVPR'05).Ieee,2005,1:886-893.PapageorgiouCP,OrenM,PoggioT.Ageneralframeworkforobjectdetection[C]//SixthInternationalConferenceonComputerVision(IEEECat.No.98CH36271).IEEE,1998:555-562.ViolaP,JonesM.Rapidobjectdetectionusingaboostedcascadeofsimplefeatures[C]//Proceedingsofthe2001IEEEcomputersocietyconferenceoncomputervisionandpatternrecognition.CVPR2001.IEEE,2001,1:I-I.FelzenszwalbPF,GirshickRB,McAllesterD,etal.Obje