摘要：

制造業(yè)的全面智能化發(fā)展對(duì)工業(yè)產(chǎn)品的質(zhì)量檢測(cè)提出了新的要求。本文總

結(jié)了機(jī)器學(xué)習(xí)方法在表面缺陷檢測(cè)中的研究現(xiàn)狀，表面缺陷檢測(cè)是工業(yè)產(chǎn)品質(zhì)

量檢測(cè)的關(guān)鍵部分。首先，根據(jù)表面特征的用途，從紋理特征、顏色特征、形

狀特征三個(gè)方面總結(jié)了傳統(tǒng)機(jī)器視覺表面缺陷檢測(cè)方法在工業(yè)產(chǎn)品表面缺陷

檢測(cè)中的應(yīng)用。其次，從監(jiān)督法、無監(jiān)督法、弱監(jiān)督法三個(gè)方面論述了近年來

基于深度學(xué)習(xí)技術(shù)的工業(yè)產(chǎn)品表面缺陷檢測(cè)的研究現(xiàn)狀。然后，系統(tǒng)總結(jié)了工

業(yè)表面缺陷檢測(cè)中常見的關(guān)鍵問題及其解決方法；關(guān)鍵問題包括實(shí)時(shí)問題、小

樣本問題、小目標(biāo)問題、不平衡樣本問題。最后對(duì)近色來常用的工業(yè)表面缺陷

數(shù)據(jù)集進(jìn)行比較全面的總結(jié)，并比較了MVTecAD數(shù)據(jù)集的最新研究方法，為

工業(yè)表面缺陷檢測(cè)技術(shù)的進(jìn)一步研究和發(fā)展提供一定的參考。

1.簡(jiǎn)介

在工業(yè)生產(chǎn)過程中，由于現(xiàn)有技術(shù)、工作條件等因素的不足和局限性，極

易影響制成品的質(zhì)量。其中，表面缺陷是產(chǎn)品質(zhì)量受到影響的最直觀表現(xiàn)。因

此，為了保證合格率和可靠的質(zhì)量，必須進(jìn)行產(chǎn)品表面缺陷檢測(cè)。"缺陷"一

般可以理解為與正常樣品相比的缺失、缺陷或面積。工業(yè)產(chǎn)品正常樣品與缺陷

樣品對(duì)比如圖1所示。表面缺陷檢測(cè)是指檢測(cè)樣品表面的劃痕、缺陷、異物遮

擋、顏色污染、孔洞等缺陷，從而獲得被測(cè)樣品表面缺陷的類別、輪廓、位置、

大小等一系列相關(guān)信息。人工缺陷檢測(cè)曾經(jīng)是主流方法，但這種方法效率低下；

檢測(cè)結(jié)果容易受人為主觀因素的影響，不能滿足實(shí)時(shí)檢測(cè)的要求。它已逐漸被

其他方法所取代。

目前\已有學(xué)者開展了表面缺陷檢測(cè)的相關(guān)研究，涉及最新的方法、應(yīng)用、

關(guān)鍵問題等諸多方面，文獻(xiàn)⑸總結(jié)r磁粉探傷、滲透探傷、渦流檢測(cè)、超聲波

檢測(cè)、機(jī)器視覺和深度學(xué)習(xí)［6,7］；比較分析上述方法E勺優(yōu)缺點(diǎn)；梳理了電子元

器件、管道、焊接件、機(jī)械零件中的缺陷檢測(cè)技術(shù)，以及在質(zhì)量控制中的典型

應(yīng)用。從監(jiān)督學(xué)習(xí)模型法、無監(jiān)督學(xué)習(xí)模型法⑻和其他方法［9］（半監(jiān)督學(xué)習(xí)模

型法和弱監(jiān)督學(xué)習(xí)模型法），文獻(xiàn)［10］分析了基于深度學(xué)習(xí)的表面缺陷檢測(cè)方

法，以及然后，討論了表面缺陷檢測(cè)中實(shí)時(shí)性、小樣本以及與傳統(tǒng)的基于圖像

處理的缺陷檢測(cè)方法的比較三個(gè)關(guān)鍵問題。在回顧了自動(dòng)光學(xué)（視覺）檢測(cè)（AOI）

技術(shù)后，文獻(xiàn)口1］系統(tǒng)地描述了該技術(shù)用于表面缺陷檢測(cè)的兒個(gè)步驟和相關(guān)方

法。文獻(xiàn)［12］首先列舉了映陷領(lǐng)域的不同對(duì)象；介紹和比較了用于缺陷檢測(cè)的

主流技術(shù)和深度學(xué)習(xí)方法。然后分析了超聲波檢測(cè)和深度學(xué)習(xí)方法在缺陷檢測(cè)

中的應(yīng)用。最后，對(duì)現(xiàn)有應(yīng)用進(jìn)行了調(diào)查，并基于缺陷檢測(cè)設(shè)備，提出了三維

目標(biāo)檢測(cè)、高精度、高定位、快速檢測(cè)、小目標(biāo)等缺陷檢測(cè)面臨的幾個(gè)挑戰(zhàn)。

通過調(diào)查可以發(fā)現(xiàn)：在工業(yè)產(chǎn)品表面缺陷檢測(cè)領(lǐng)域，目前關(guān)于機(jī)器學(xué)習(xí)方法的

文獻(xiàn)綜述很少，一些文獻(xiàn)雖然總結(jié)了工業(yè)產(chǎn)品表面缺陷檢測(cè)中存在的問題和挑

戰(zhàn)，但其解決方案和方向還不夠系統(tǒng)。此外，在數(shù)據(jù)集方面，目前還沒有對(duì)工

業(yè)產(chǎn)品表面缺陷檢測(cè)數(shù)據(jù)集進(jìn)行全面整理。因此，為了解決上述問題，本文首

先從傳統(tǒng)的機(jī)器視覺方法和深度學(xué)習(xí)方法總結(jié)了工業(yè)產(chǎn)品表面缺陷檢測(cè)的研

究現(xiàn)狀，然后，工業(yè)產(chǎn)品表面缺陷檢測(cè)過程中的關(guān)鍵問題，真實(shí)討論了時(shí)間問

題、小樣本問題、小目標(biāo)問題、不平衡樣本問題，并給出了每個(gè)問題的一些解

決方案。最后，總結(jié)了全面的工業(yè)表面缺陷檢測(cè)數(shù)據(jù)集，并比較了幾種使用

MVTecAD數(shù)據(jù)集的新方法。

goodcolorcutholemetal-contaminationthread

goodgluc-slripcut-innercut-outermissing-cablepoke-insulation

(insulation)(insulation)CSDN@A1小白一牧

本綜述參考文獻(xiàn)的發(fā)表時(shí)間主要集中在2016年以后，因?yàn)檫@些文獻(xiàn)可以

代表最新技術(shù)的發(fā)展。通過參考相關(guān)評(píng)論，確定本文的組織順序?yàn)閭鹘y(tǒng)方法、

最新方法、關(guān)鍵問題和工具（數(shù)據(jù)集），這也是本文的研究范圍。本文的主要

內(nèi)容如下：第二部分，基于傳統(tǒng)基于特征的機(jī)器視覺算法的工業(yè)產(chǎn)品表面缺陷

檢測(cè)方法總結(jié)；第三節(jié)，基于深度學(xué)習(xí)的工業(yè)產(chǎn)品表面缺陷檢測(cè)方法總結(jié)；第

四節(jié)，關(guān)鍵問題及其解決方案分析討論；第五節(jié)，工業(yè)產(chǎn)品表面缺陷檢測(cè)數(shù)據(jù)

集的整理和總結(jié)以及MVTecAD數(shù)據(jù)集最新方法的比較。

2.用于表面缺陷檢測(cè)的傳統(tǒng)基于特征的機(jī)器視覺算法

傳統(tǒng)的表面缺陷檢測(cè)方法在一段時(shí)間內(nèi)發(fā)揮了巨大的作用。本章從特征提

取層面對(duì)傳統(tǒng)的基于機(jī)器視覺的工業(yè)產(chǎn)品表面缺陷檢測(cè)方法進(jìn)行分類。根據(jù)特

征的不同，主要分為三類：基于紋理特征的方法、基于顏色特征的方法、基于

形狀特征的方法。具體的進(jìn)一步章節(jié)安排如圖2所示。

Figure2.Traditionalfeature-basedmachinevisionalgorithmforindustrialproductsurfacedefectdetection.

2.1.基于紋理特征的方法

紋理特征反映了圖像中的同質(zhì)化現(xiàn)象，可以通過像素及其附近空間鄰域的

灰度分布來反映圖像表面的組織結(jié)構(gòu)和排列特性?；诩y理特征的方法可以進(jìn)

一步分為四類：統(tǒng)計(jì)方法、信號(hào)處理方法、結(jié)構(gòu)方法、模型方法［14,15］。

對(duì)于統(tǒng)計(jì)方法，主要思想是將物體表面的灰度值分布視為隨機(jī)分布，從角

度分析隨機(jī)變量的分布通過直方圖特征、灰度共生矩陣、局部二值模式、自

相關(guān)函數(shù)、數(shù)學(xué)形態(tài)等特征描述灰度值的空間分布。

對(duì)于信號(hào)處理方法，主要思想是將圖像作為二維信號(hào)處理，從信號(hào)濾波器

設(shè)計(jì)的角度對(duì)圖像進(jìn)行分析，因此也稱為頻譜法；信號(hào)處理方法包括傅里葉變

換法、Gabor濾波器法、小波變換法等具體方法。

對(duì)于結(jié)構(gòu)方法，其理論基礎(chǔ)是紋理原語理論。紋理原語理論指出，紋理是

由一些按照一定規(guī)則在空間中重復(fù)出現(xiàn)的最小圖案（稱為紋理原語）組成的。

對(duì)于模型方法，工業(yè)產(chǎn)品表面缺陷檢測(cè)常用的模型有MRF模型和分形模型。

對(duì)于基于紋理特征的方法，本文總結(jié)了近期在工業(yè)產(chǎn)品表面缺陷檢測(cè)中的

一些應(yīng)用實(shí)例，按圖2中的分類順序排列，具體如表1所示。

MethodReferenceFeatureTargetDefectTypesPerformance

Songetal.Histogram

WoodKnotdefectRecognitionrate:99.8%

(2015)116)feature

Graylevel

Putrietal.SurfacewithdetectsorAccuracyrate:

co-occurrenceCeramic

(2017)117)not92.31%

matrix

Liuetal.(2019)LocalbinaryCracks,scratches,

StedplateRecognitionaccuracy:94.40%

Statistical[18]patternindentations^pits,scales

methodCanachieveaccuratedctcc-

Autocorrelation

Zhuetal.(2015)Yarn-dyedWrongweftweftcrack,lionofcommondefectsof

functionand

[19]fabricoilstain,ctr.yarn-dyedfabric

GLCM

Detectionratio:87.5%can

Lwetal.(2009)Mathematical

SteelbilletSlenderscratchessuitableforbilletimagpswith

[20]morphological

scale

Caneffectivelydetectvarious

Tsaietal.(2012)FourierSmallcracks,breaks,anddefectsandbeimplemented

SolarceU

RI]transformfingerintermptionsforonlinereal-timedefectin-

Signalz

spection

processing

Yunetal.(2009)GaborfilterAccuracy:comercrack:

methodSteelbilletCrack

I22Jmethod93.5%;thincrack:91.9%

Liuetal.WaveletIntegratedcir-SurfaceCandetectdefectsofanIC

(2010)(231transformcuitchipdefectswaferquicklyandaccurately

Lizarraga*MoTexture

StructuralPatternedfab-SurfacewithdefectsorSuperiortootheradvanced

ralesetaLprimitive

methodricnotalgorithms

(2017)(241theory

Texture

Caneffectivelydetectdefect

Fengetal.Ink-jetprinteddefectssuchasholes,oil

MRFmodeltexturefromink-jetprinting

(2015)1251fabricdropmarks,scratches.

Modelfabn<

eta

method

Welding

Gaoetal.(2017)High-strengthAveragerecognitionrate:

Fractalmodeldefectsincludingoffset,

[26]steel

cracks,anddents

2.2.基于顏色特征的方法

顏色特征計(jì)算量小，對(duì)圖像本身的大小、方向、視角等因素的依賴性小，

魯棒性高。它是圖像檢索中廣泛使用的視覺特征之一。

2.2.1.顏色直方圖

顏色直方圖描述了整個(gè)圖像中不同趺色的比例，是全局統(tǒng)計(jì)的結(jié)果；它不

注意空間位置顏色，不能描述圖像中的物體。

特點(diǎn)：對(duì)物理變換（旋轉(zhuǎn)、縮放等）不敏感；如果圖像有多個(gè)區(qū)域，且前

景和背景之間的顏色分布有明顯差異，則顏色直方圖會(huì)出現(xiàn)雙峰。

文獻(xiàn)［27］提出了一種基于顏色直方圖的相似度評(píng)價(jià)方法，用于電阻斷層掃

描（ERT）圖像評(píng)價(jià)。對(duì)于木材表面的缺陷檢測(cè)，文獻(xiàn)［28］提出了一種基于圖

像塊百分比顏色直方圖特征和特征向量紋理特征的分類方法；該方法已被實(shí)驗(yàn)

證明是有效的，特別是對(duì)于結(jié)型缺陷。文獻(xiàn)［29］設(shè)計(jì)了刨花板缺陷檢測(cè)的2步

工藝流程，利用SVM和顏色直方圖特征完成缺陷檢測(cè)，利用平滑和閾值技術(shù)

完成缺陷定位。

2.2.2.色彩時(shí)刻

顏色矩的主要思想是圖像中的任何顏色分布都可以用其每個(gè)階的矩來表示。

由于顏色分布的信息主要集中在低階矩，通常只有顏色的一階矩（均值）、二

階矩（方差）和三階矩（偏移）就足以表示圖像表面的顏色分布。

特點(diǎn)：不考慮像素空間位置；無需矢量化顏色特征；無需進(jìn)行顏色量化、

平滑等后續(xù)處理。

文獻(xiàn)［30］提出了一種根據(jù)影響大小對(duì)色矩特征和FSIFT特征進(jìn)行加權(quán)融合

的方法，解決了單個(gè)特征不能明顯表達(dá)瓷磚表面缺陷內(nèi)容的問題。文獻(xiàn)［31］利

用余弦相似度檢驗(yàn)磁光圖像的周期規(guī)律，證明了色矩特征概括規(guī)律的正確性，

從而選擇合適的磁光圖像進(jìn)行焊接缺陷檢測(cè)和定位。

2.2.3.顏色相干矢量

顏色相干向量是顏色直方圖的改進(jìn)算法；其主要思想是將直方圖中的每個(gè)

顏色簇分為聚合和非聚合兩部分；在圖像相似度比較過程中，分別比較相似度，

綜合權(quán)衡后得到相似值，從而得到結(jié)果。

文獻(xiàn)［32］將LBP特征與顏色聚合向量特征加權(quán)融合相結(jié)合，并結(jié)合基于

RBF的SVM,提出了一和圖像分類方法可以提高分類精度和計(jì)算速度的方法。

文獻(xiàn)［33］將提取的顏色聚合向量和紋理特征以特征的形式存儲(chǔ)用于后續(xù)網(wǎng)絡(luò)訓(xùn)

練的向量。

2.2.4.其他顏色特征

除了顏色直方圖、顏色矩和顏色聚合向量外，工業(yè)產(chǎn)品表面缺陷檢測(cè)常用

的顏色特征包括顏色集和顏色相關(guān)圖。其中，顏色集也是一種全局顏色特征和

匹配方法；它是顏色直方圖的近似，表示為二值特征向量；通過構(gòu)造二叉搜索

樹，可以加快檢索速度。顏色相關(guān)圖描述了整個(gè)圖像中某種顏色的像素?cái)?shù)所占

的比例（概率），可以反映不同顏色對(duì)之間的空間相關(guān)性；通常，它需要較高

的硬件條件。

2.3.基于形狀特征的方法

基于形狀的方法有效地利用圖像中感興趣的目標(biāo)進(jìn)行檢索。其中，基于輪

廓的方法是主要的方法類型?；谳喞姆椒ㄍㄟ^描達(dá)對(duì)象的外邊界特征來獲

得圖像的形狀參數(shù)；代表性的方法是霍夫變換和傅立葉形狀描述符。

霍夫變換利用圖像的全局特征連接邊緣像素形成區(qū)域的封閉邊界，其理論

基礎(chǔ)是點(diǎn)對(duì)線的對(duì)偶性。文獻(xiàn)［34］提出了一種檢測(cè)瓶子表面缺陷的方法在ROI

提取階段，采用快速霍夫變換檢測(cè)光源的邊界線。文獻(xiàn)［35］利用Gabor濾波器

和Hough變換實(shí)現(xiàn)了E-TPU中間表面線狀缺陷（如壓痕、凹凸）的檢測(cè)。文

獻(xiàn)［36］基于圓霍夫變換、極坐標(biāo)變換、加權(quán)Sobel濾波器和SVM實(shí)現(xiàn)了小型

相機(jī)鏡頭的表面缺陷檢測(cè)。

傅里葉形狀描述符使用物體邊界的傅里葉變換作為形狀描述，利用區(qū)域邊

界的閉合性和周期性，將二維問題轉(zhuǎn)化為一維問題。文獻(xiàn)［37］提出了一種基于

全局傅里葉圖像重建和模板匹配的非周期圖像小缺陷檢測(cè)和定位方法。文獻(xiàn)

［38］提出了一種磁體表面切割缺陷的檢測(cè)方法；該方法采用傅里葉變換和霍夫

變換對(duì)磁體表面圖像進(jìn)行重構(gòu)，通過比較重構(gòu)圖像與原始圖像的灰度差異，得

到缺陷信息。

除上述三類特征外，其他一些特征，如空間關(guān)系特征，也可用于工業(yè)產(chǎn)品

的表面缺陷檢測(cè)。由于工業(yè)產(chǎn)品的表面大多包含多種信息，通常僅使用單一特

征或單一類別特征是不夠的。因此，在實(shí)際應(yīng)用中，往往會(huì)結(jié)合使用多個(gè)特征

和多類特征。

3.基于深度學(xué)習(xí)的工業(yè)產(chǎn)品表面缺陷檢測(cè)方法

深度學(xué)習(xí)的快速發(fā)展使其在缺陷檢測(cè)領(lǐng)域得到越來越廣泛的應(yīng)用。本章基

于深度學(xué)習(xí)的常見分類：監(jiān)督方法、無監(jiān)督方法、弱監(jiān)督方法，簡(jiǎn)要介紹了工

業(yè)產(chǎn)品表面缺陷檢測(cè)的研究現(xiàn)狀。具體的缺陷檢測(cè)方法如圖3所示。

Figure3.Industrialproductsurfacedefectdetectionmethodbasedondeeplearning.

3.1.監(jiān)督方法

監(jiān)督方法要求訓(xùn)練集和測(cè)試集缺一不可，訓(xùn)練集中的樣本必須被標(biāo)記[39],

其中訓(xùn)練集用于尋找樣本的內(nèi)在規(guī)律，然后將規(guī)律應(yīng)用到測(cè)試集。監(jiān)督方法可

以分為基于度量學(xué)習(xí)的監(jiān)督方法和基于表示學(xué)習(xí)的監(jiān)督方法。在上述有監(jiān)督的

表面缺陷檢測(cè)方法中，基于度量學(xué)習(xí)的常見模型包括SiameseNetwork;根據(jù)

缺陷檢測(cè)的三個(gè)階段，基于表征學(xué)習(xí)的方法大致可以分為三類：分類網(wǎng)絡(luò)、檢

測(cè)網(wǎng)絡(luò)和分割網(wǎng)絡(luò)。其中,常用的分類網(wǎng)絡(luò)是ShuffleNet;通常用作檢測(cè)網(wǎng)絡(luò)

的是FasterRCNN;常用的分割網(wǎng)絡(luò)有：FCN、MaskRCNN等，本節(jié)以上述

網(wǎng)絡(luò)模型為例，簡(jiǎn)要介紹其在表面缺陷檢測(cè)任務(wù)中的研究現(xiàn)狀。在缺陷檢測(cè)的

任務(wù)中，分類網(wǎng)絡(luò)的重點(diǎn)是解決"缺陷是什么"問題，即確定圖像的類型（圖

像是否包含缺陷，缺陷的類型是什么）；檢測(cè)網(wǎng)絡(luò)的重點(diǎn)是解決“缺陷在哪里"

的問題，即獲取具體的位置信息和通過確定缺陷的位置來確定缺陷的類別信息；

分割網(wǎng)絡(luò)的焦點(diǎn)是為了解決"有多少缺陷”的問題，艮］分割從背景中修正缺陷

區(qū)域，獲取位置、類別、屬性和缺陷的其他信息。

3.1.1.SiameseNetwork

Siamese網(wǎng)絡(luò)可以用來判斷兩個(gè)樣本之間的相似度;其損失函數(shù)的核心思

想是使相似類別的輸入距離盡可能小，不同類別的輸入距離盡可能大［40］。

文獻(xiàn)［41］提出了一種兩階段多尺度特征相似度測(cè)量模型。在使用Siamese

網(wǎng)絡(luò)作為主干架構(gòu)完成成對(duì)圖像的特征提取后，將空間金字塔池化網(wǎng)絡(luò)納入每

個(gè)卷枳模塊的特征圖中以融合多尺度特征向量，然后進(jìn)行判別特征嵌入和通過

在訓(xùn)練過程中使用對(duì)比損失獲得相似度度量。測(cè)試在PCB數(shù)據(jù)集上進(jìn)行了短路、

開路、鼠咬、毛刺、漏電、覆銅6類缺陷，所有類型的ROC曲線下面積均在

0.92以上。文獻(xiàn)［42］提出了一種用于跨類別缺陷檢測(cè)的兩層神經(jīng)網(wǎng)絡(luò)（SSIM

層：生成模擬SSIM組件的功能；SNN層：由連接到SSIM層的連體網(wǎng)絡(luò)

組成），無需重新訓(xùn)練。該方法從包含一些結(jié)構(gòu)相似性的圖像對(duì)中學(xué)習(xí)差異特

征，并假設(shè)不同的分類對(duì)象可以共享由這些學(xué)習(xí)圖像對(duì)的差異引起的一些結(jié)構(gòu)

相似性。在實(shí)際工廠數(shù)據(jù)集中的實(shí)驗(yàn)表明：該方法具有跨類缺陷檢測(cè)的能力。

3.1.2.ShuffleNet

ShuffleNet是一種計(jì)算效率高的輕量級(jí)網(wǎng)絡(luò)，它采用了逐點(diǎn)組卷積和通

道shuffle兩種新方法來保證計(jì)算精度并有效降低計(jì)算成本。

基于ShuffleNetV2框架，文獻(xiàn)［43］提出了一種新穎的塑料容器復(fù)雜背景

代碼在線檢測(cè)解決方案，該算法還可以處理復(fù)雜背景下的圖像，并應(yīng)用于實(shí)際

的工業(yè)檢測(cè)系統(tǒng)。文獻(xiàn)［44］提出了一種基于深度學(xué)習(xí)的ShuffleDefectNet缺

陷檢測(cè)系統(tǒng),在NEU數(shù)據(jù)集上達(dá)到了99.75%的平均準(zhǔn)確率

3.1.3.FasterRCNN

FasterRCNN是在FastRCNN的基礎(chǔ)上引入了區(qū)域提議網(wǎng)絡(luò)（RPN）,

將生成區(qū)域推薦的步驟放入神經(jīng)網(wǎng)絡(luò)中，在端到端的學(xué)習(xí)模式下實(shí)現(xiàn)了幾乎無

成本的區(qū)域推薦算法，極大地提高了提高了目標(biāo)檢測(cè)的速度，還提到了滑動(dòng)

窗口方法。

文獻(xiàn)［45］提出了一種基于FasterR-CNN的級(jí)聯(lián)結(jié)構(gòu)，將電力線絕緣子的

缺陷檢測(cè)問題轉(zhuǎn)化為兩級(jí)目標(biāo)檢測(cè)問題。其中，第一階段用于定位絕緣子區(qū)域；

第二階段用于定位絕緣體區(qū)域?；贔asterR-CNN,文獻(xiàn)［46］提出了一種新

的PCB表面缺陷檢測(cè)網(wǎng)絡(luò)該網(wǎng)絡(luò)使用具有特征金字塔的ResNet50作為主干，

同時(shí)使用GRAPN的殘差單元和ShuffleNetV2的殘差單元。

3.1.4.全卷積網(wǎng)絡(luò)

在FCN中，一種端到端的圖像分割方法，網(wǎng)絡(luò)中的所有層都是卷積層；

網(wǎng)絡(luò)主要使用三種技術(shù)：卷積、上采樣和跳過層；可以通過讓網(wǎng)絡(luò)做像素級(jí)預(yù)

測(cè)直接得到標(biāo)簽圖。核心思想之一是反卷積層，增加了數(shù)據(jù)規(guī)模，從而可以輸

出準(zhǔn)確的結(jié)果。

文獻(xiàn)［47］提出了一種利用深度神經(jīng)網(wǎng)絡(luò)結(jié)合Autoencoder和FCN來區(qū)分

鍵盤漏光缺陷和灰塵的算法。在由1632張圖像組成的測(cè)試集中對(duì)所提出的方

法進(jìn)行測(cè)試，漏光缺陷的誤報(bào)率從6.27%降低到2.37%。文獻(xiàn)［48］設(shè)計(jì)了一套

完整的絕緣子串自動(dòng)識(shí)別和診斷系統(tǒng)，該系統(tǒng)結(jié)合了不同的基于深度學(xué)習(xí)的組

件，分別包括一個(gè)絕緣子串分割組件和兩個(gè)絕緣子片缺失和損壞診斷組件。文

獻(xiàn)［49］提出了一種太陽能電池電致發(fā)光（EL）圖像的跌陷分割方法；該方法使

用FCN和U-net的特定架構(gòu)，可以一步得到缺陷分割圖；與重復(fù)執(zhí)行CNN滑

動(dòng)窗口的方法相比，該方法獲得了相似的結(jié)果。文獻(xiàn)［50］結(jié)合FCN和Faster

RCNN,設(shè)計(jì)了基于FCN的隧道缺陷檢測(cè)深度學(xué)習(xí)模型；該模型可以準(zhǔn)確快速

地檢測(cè)管道的污潰、泄漏和堵塞等缺陷。

3.1.5.MaskRCNN

MaskRCNN是Faster-R-CNN的一種擴(kuò)展形式，它為兩階段框架網(wǎng)絡(luò)

集成了目標(biāo)檢測(cè)和實(shí)例分割功能：第一階段掃描圖像并生成建議(建議可能包

含目標(biāo)區(qū)域)，第二階段分類建議并生成邊界框和掩碼。

文獻(xiàn)［51］提出了MaskRCNN的改進(jìn)模型一一IPCNN0該模型首先使用深

度殘差神經(jīng)網(wǎng)絡(luò)對(duì)來自圖像金字塔的圖像進(jìn)行處理以提取特征；提取的特征通

過特征金字塔生成金字塔特征，然后由RPN處理生成缺陷邊界框并對(duì)其進(jìn)行

分類，然后使用FCN在缺陷邊界框中生成缺陷掩碼。文獻(xiàn)［52］設(shè)計(jì)了一個(gè)端到

端的系統(tǒng)，可以定位太陽能電池板污染；該系統(tǒng)基于MaskFCNN(Fully

ConvolutionalMaskRCNN),它由一個(gè)分類網(wǎng)絡(luò)ImageNet和一個(gè)白底向

上對(duì)特征圖像進(jìn)行上采樣的綜合網(wǎng)絡(luò)組成；通過上采樣消除了信息丟失的影響。

在工業(yè)產(chǎn)品表面缺陷檢測(cè)領(lǐng)域，由于精度高、適應(yīng)性好，監(jiān)督法是目前深

度學(xué)習(xí)方法中最主流的方法，其應(yīng)用范圍也越來越廣。但是，這種方法的缺點(diǎn)

在實(shí)際應(yīng)用中逐漸凸顯，即數(shù)據(jù)集的提前標(biāo)注帶來的工作量巨大，尤其是在一

些高精度場(chǎng)景下；同時(shí)，產(chǎn)業(yè)水平的不斷提升導(dǎo)致不良樣品不斷減少，這也對(duì)

監(jiān)管方式產(chǎn)生了一定的影響。

3.2.無監(jiān)督方法

針對(duì)有監(jiān)督方法的缺點(diǎn)，一些研究人員開始研究無監(jiān)督方法。當(dāng)輸入的訓(xùn)

練數(shù)據(jù)只有數(shù)據(jù)信息本身，沒有標(biāo)簽信息時(shí)，機(jī)器學(xué)習(xí)這些無標(biāo)簽數(shù)據(jù)的模式，

得到數(shù)據(jù)的一些內(nèi)在特征和聯(lián)系并自動(dòng)對(duì)數(shù)據(jù)進(jìn)行分類[53]。然后，當(dāng)遇到新

數(shù)據(jù)時(shí)，可以根據(jù)之前學(xué)習(xí)到的模型判斷新數(shù)據(jù)屬于哪個(gè)模型（這里的模型是

指由原始數(shù)據(jù)組成的模型）。這個(gè)過程屬于無監(jiān)督學(xué)習(xí)。

在無監(jiān)督學(xué)習(xí)方法中，最常用的表面缺陷檢測(cè)方法主要包括基于重建的方

法和基于嵌入相似性的方法。對(duì)于前者，神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的訓(xùn)練僅用于正常訓(xùn)練

圖像的重建，異常圖像由于不能很好地重建而容易被發(fā)現(xiàn)；異常分?jǐn)?shù)通常用重

建誤差表示。最常見的基于重建的方法是自動(dòng)編碼器（AE）和生成對(duì)抗網(wǎng)絡(luò)

（GAN）。對(duì)于后者，深度神經(jīng)網(wǎng)絡(luò)用于提取描述整嗝圖像的有意義的向量，

異常分?jǐn)?shù)通常由測(cè)試圖像的嵌入向量與訓(xùn)練數(shù)據(jù)集中表示正態(tài)性的參考向量

之間的距離表示。典型的算法主要有SPADE[54]、PaD[M[55]、PatchCore[56]

等。除了這兩種類型之外，DeepBeliefNetwork（DBN）和Self-Organizing

Map（SOM）也可以用于表面缺陷檢測(cè).

本節(jié)將首先以自編碼演AE）、生成對(duì)抗網(wǎng)絡(luò)（GAN）、深度信念網(wǎng)絡(luò)（DBN）

和自組織映射（SOM）四種網(wǎng)絡(luò)模型為例，簡(jiǎn)要介紹它們?cè)诒砻嫒毕輽z測(cè)任務(wù)

中的研究現(xiàn)狀.第5節(jié)將介紹基于嵌入相似性方法的三種典型算法。

3.2.1.Autoencoder

編碼器和解碼器是自編碼器的兩個(gè)核心部分。其中，encoder對(duì)應(yīng)網(wǎng)絡(luò)模

型中的隱藏層，用于學(xué)習(xí)輸入信號(hào)的低維特征；解碼器對(duì)應(yīng)模型中的輸出層，

用于盡可能地再現(xiàn)輸入信號(hào)。因此，使編碼器能夠?qū)W習(xí)輸入信號(hào)良好的低維特

征并重構(gòu)輸入信號(hào)是自編碼器的最終目標(biāo)。

文獻(xiàn)［57］將傳統(tǒng)圖像處理中的SSIM指標(biāo)作為重建損失引入到基于AE的圖

像重建中；對(duì)編織紋理數(shù)據(jù)集和納米纖維材料數(shù)據(jù)集遂行了測(cè)試，與L2損失

相比，兩者都獲得了顯著差異。為了解決AE對(duì)異常樣本重構(gòu)能力強(qiáng)的缺點(diǎn)。

文獻(xiàn)［58］將異常檢測(cè)轉(zhuǎn)化為補(bǔ)丁序列修復(fù)［59］問題；同時(shí)，為了彌補(bǔ)該類方法

難以惹蓋較大異常區(qū)域的缺點(diǎn)，提出transformernetwork僅重構(gòu)惹蓋的

patch,并針對(duì)不同情況設(shè)計(jì)了局部和全局嵌入方法。文獻(xiàn)［60］設(shè)計(jì)了一種

具有多尺度特征聚類的仝卷積AE（MS-FCAE）,使用多個(gè)不同尺度的FCAE

子網(wǎng)絡(luò)重建紋理圖像背景，然后從輸入圖像中減去紋理背景以獲得殘差圖像，

最后合并它們得到缺陷醫(yī)像，其中每個(gè)FCAE子網(wǎng)絡(luò)使用全卷積神經(jīng)網(wǎng)絡(luò)從

輸入圖像中直接獲取原始特征圖像并進(jìn)行特征聚類。文獻(xiàn)［61］提出了一種多尺

度卷積去噪自編碼器（MSCDAE）,它使用多模態(tài)策略來綜合多個(gè)金字塔層次

的結(jié)果，并在LCD面板、褐磚和紡織品上進(jìn)行測(cè)試；實(shí)驗(yàn)證明該方法具有較高

的準(zhǔn)確率和魯棒性。文獻(xiàn)［62］采用卷積自編碼器（CAE）檢測(cè)手機(jī)logo圖像，

提取CAE生成的模板圖像與輸入圖像的差異，然后通過數(shù)學(xué)形態(tài)學(xué)處理，達(dá)到

異常檢測(cè)的目的。文獻(xiàn)［63］提出了一種用于無監(jiān)督特征學(xué)習(xí)的卷積自動(dòng)編碼器

(CAE)。每個(gè)CAE都使用傳統(tǒng)的在線梯度下降訓(xùn)練，沒有額外的正則化項(xiàng)。

在MNIST和CIFAR10上獲得了良好的結(jié)果。

3.2.2.生成對(duì)抗網(wǎng)絡(luò)

生成對(duì)抗網(wǎng)絡(luò)由兩個(gè)參與者組成：生成器和鑒別器。生成器用于獲取樣本

數(shù)據(jù)的分布，鑒別器用于估計(jì)樣本訓(xùn)練數(shù)據(jù)的概率。該模型的最終目標(biāo)是學(xué)習(xí)

真實(shí)數(shù)據(jù)的內(nèi)在規(guī)律，預(yù)測(cè)和估計(jì)真實(shí)數(shù)據(jù)的分布或密度，并根據(jù)學(xué)到的知識(shí)

生成新的數(shù)據(jù)，即生成對(duì)抗網(wǎng)絡(luò)制造數(shù)據(jù)。

GAN判別器用于生成缺陷分布似然圖；然后，將編碼器引入標(biāo)準(zhǔn)DCGAN

重構(gòu)檢測(cè)到的圖像，從原始圖像中減去，得到突出潛在缺陷區(qū)域的殘差圖像；

之后結(jié)合殘差圖和缺陷分布似然圖得到增強(qiáng)融合圖，最終在融合圖上通過閾值

分割得到缺陷的準(zhǔn)確位置。文獻(xiàn)［65］提出了一種基于GAN的帶鋼表面缺陷檢

測(cè)的一類分類方法，其中生成器G采用編解碼器，輸入編碼得到的隱藏空間的

特征(GAN生成器的倒數(shù)第二層輸出)引入支持向量機(jī)進(jìn)行缺陷分類，該模型

在邯鋼提供的圖像上取得了良好的測(cè)試效果。文獻(xiàn)［66］提出了一種基于GAN

的檢測(cè)方法。在第一階段，使用生成網(wǎng)絡(luò)和基于統(tǒng)計(jì)的表示學(xué)習(xí)機(jī)制檢測(cè)新區(qū)

域。在第二階段，在潛在空間中直接使用Frechet距離來區(qū)分缺陷和正常樣

本。該方法在太陽能電池板數(shù)據(jù)集上達(dá)到了93.75%的準(zhǔn)確率。文獻(xiàn)［67］設(shè)計(jì)

了一個(gè)基于GAN的表面視覺檢測(cè)框架，它使用多尺度融合策略融合GAN判別

器三個(gè)卷積層的響應(yīng)，然云使用OTSU對(duì)融合特征響應(yīng)圖進(jìn)行分割以進(jìn)一步分

割缺陷位置。在木材和道路裂鼻數(shù)據(jù)集上的實(shí)驗(yàn)證明了該框架的有效性。為了

檢測(cè)織物表面的各種缺陷，文獻(xiàn)［68］提出了一種基于GAN框架的模型。該模

型首先使用多種紋理融合到特定位置，然后通過多級(jí)GAN不斷更新現(xiàn)有的織

物缺陷數(shù)據(jù)集；因此，網(wǎng)絡(luò)模型不斷微調(diào)，以達(dá)到更好的檢測(cè)效果。

3.2.3.深度信念網(wǎng)絡(luò)

深度信念網(wǎng)絡(luò)由多個(gè)RBM（受限玻爾茲曼機(jī)）組成，整個(gè)網(wǎng)絡(luò)的訓(xùn)練是通

過逐層單獨(dú)訓(xùn)練RBM來完成的。

文獻(xiàn)［69］提出了一種基于DBN的太陽能電池缺陷檢測(cè)算法。該算法以重建

圖像和訓(xùn)練圖像作為監(jiān)督數(shù)據(jù)，通過BP算法的微調(diào)網(wǎng)絡(luò)建立訓(xùn)練樣本和非缺

陷圖像之間良好的映射關(guān)系。文獻(xiàn)［70］提出了一種DS-DBN-SVM（差分搜索-

深度信念網(wǎng)絡(luò)-支持向量機(jī)）模型來識(shí)別螺栓缺陷的類型。在該模型中，采用

DS算法優(yōu)化DBN網(wǎng)絡(luò)的權(quán)值和閾值QS-DBN模型用于提取螺栓數(shù)據(jù)的特征，

提取的特征作為SVM的輸入來識(shí)別螺栓缺陷類型。

3.2.4.Self-OrganizingMap

自組織圖模擬人腦不同區(qū)域神經(jīng)網(wǎng)絡(luò)細(xì)胞的不同分工，通過搜索最優(yōu)參考

向量集對(duì)輸入模式集進(jìn)行分類。

文獻(xiàn)［71］提出了一種使用SOM來區(qū)分正常木材和缺陷木材的檢測(cè)方

法。第一階段檢測(cè)疑似缺陷區(qū)域，第二階段單獨(dú)檢查缺陷區(qū)域。在松木數(shù)據(jù)集

上的測(cè)試得到了比較理想的結(jié)果。文獻(xiàn)［72］結(jié)合Otsu和SOM實(shí)現(xiàn)TSV缺陷

的檢測(cè)和定位。

無監(jiān)督方法有效地彌補(bǔ)了監(jiān)督方法的不足，但由于其自身的特點(diǎn)仍然存在

一些問題。由于只訓(xùn)練了正例，無監(jiān)督方法無法確定什么是正確的輸出，因此

不能保證對(duì)每種類型的缺陷樣本（在訓(xùn)練中沒有出現(xiàn)）都有良好的檢測(cè)效果。

因此，無監(jiān)督方法的準(zhǔn)確率還有很大的提升空間，總的來說，無監(jiān)督方法對(duì)紋

理圖像有更好的檢測(cè)效果。

3.3.弱監(jiān)督方法

有的學(xué)者結(jié)合了有監(jiān)督方法和無監(jiān)督方法的特點(diǎn)；因此，產(chǎn)生了弱監(jiān)督方

法。與監(jiān)督和非監(jiān)督方法相比，弱監(jiān)督方法可以在避免更高的標(biāo)記成本的同時(shí)

獲得更好的性能。目前，工業(yè)表面缺陷檢測(cè)中常用的弱監(jiān)督方法有不完全監(jiān)督

法和不準(zhǔn)確監(jiān)督法。

3.3.1.不完全監(jiān)督方式

不完全監(jiān)督意味著大部分訓(xùn)練樣本沒有標(biāo)記，只有少數(shù)樣本被標(biāo)記，這部

分標(biāo)記樣本不足以訓(xùn)練一個(gè)好的模型。在不完全監(jiān)督方法中，半監(jiān)督方法常用

于工業(yè)產(chǎn)品的表面缺陷檢測(cè)。

半監(jiān)督方法可以在沒有人工干預(yù)的情況下自動(dòng)開發(fā)未標(biāo)記的樣本數(shù)據(jù)，以

提高學(xué)習(xí)效果。文獻(xiàn)［73］設(shè)計(jì)了一種基于殘差網(wǎng)絡(luò)結(jié)構(gòu)的深度卷積神經(jīng)網(wǎng)絡(luò)結(jié)

構(gòu)，將兩層殘差構(gòu)建模塊堆疊在一起形成一個(gè)43層的卷積神經(jīng)網(wǎng)絡(luò)，同時(shí)為

了達(dá)到網(wǎng)絡(luò)深度之間的平衡和網(wǎng)絡(luò)寬度，提高精度，適當(dāng)增加網(wǎng)絡(luò)寬度。該網(wǎng)

絡(luò)結(jié)構(gòu)在DAGM、NEU鋼數(shù)據(jù)集和覆銅板數(shù)據(jù)集上表現(xiàn)出良好的性能。文獻(xiàn)

［74］提出了一種基于卷積自動(dòng)編碼器（CAE）和生成對(duì)抗網(wǎng)絡(luò)（SGAN）的半監(jiān)

督模型，堆疊的CAE用未標(biāo)記的數(shù)據(jù)訓(xùn)練，其編碼器網(wǎng)絡(luò)被保留并作為GAN

鑒別器輸入到SoftMax層，使用GAN生成鋼鐵表面缺陷的假圖像來訓(xùn)練鑒別

器。文獻(xiàn)［75］設(shè)計(jì)了一個(gè)由樣本生成和半監(jiān)督學(xué)習(xí)組成的鋼鐵表面缺陷檢測(cè)系

統(tǒng)。在半監(jiān)督學(xué)習(xí)部分,使用了CDCGAN和ResNetl8兩個(gè)分類器，并在

NEU-CLS數(shù)據(jù)集上進(jìn)行了對(duì)比支瞼。其結(jié)果，證明該方法優(yōu)于監(jiān)督學(xué)習(xí)和遷移

學(xué)習(xí)。文獻(xiàn)［76］提出了一種PCB焊點(diǎn)缺陷檢測(cè)框架。在該框架的分類任務(wù)中，

采用了基于"樣本-查詢-建議"算法的主動(dòng)學(xué)習(xí)的概念和基于"自訓(xùn)練”的半

監(jiān)督學(xué)習(xí)的概念，該框架已被證明可以改善分類性能，同時(shí)大大減少注釋的數(shù)

量。

3.3.2.InexactSupervisionMethod

不精確監(jiān)督側(cè)重于給出了監(jiān)控信息，但信息不精確，即只包含粗粒度標(biāo)簽

的情況。對(duì)于更多包含像素級(jí)標(biāo)簽的任務(wù)，圖像級(jí)標(biāo)簽是粗粒度標(biāo)簽。

文獻(xiàn)［77］在原有ResNet-50網(wǎng)絡(luò)的基礎(chǔ)上刪除原有的全連接層和池化層，

在網(wǎng)絡(luò)末端增加兩個(gè)1x1的卷積，得到缺陷對(duì)應(yīng)的特征圖，實(shí)現(xiàn)了僅通過圖

像標(biāo)簽完成對(duì)太陽能電池板裂紋的初步檢測(cè)。文獻(xiàn)［78］開發(fā)了一個(gè)由定位網(wǎng)

絡(luò)（LNet）和決策網(wǎng)絡(luò)（DNet）組成的WSL框架用于鋼鐵表面缺陷檢測(cè)，

其中LNet使用圖像級(jí)標(biāo)簽訓(xùn)練并輸出潛在缺陷位置的熱圖作為DNet輸入，

DNet使用RSAM對(duì)LNet識(shí)別的區(qū)域進(jìn)行加權(quán)，所提出框架的性能在實(shí)際

工業(yè)數(shù)據(jù)集上得到了證明。

目前，弱監(jiān)督方法在工業(yè)產(chǎn)品表面缺陷檢測(cè)領(lǐng)域還比較少見，但由于同時(shí)

具有監(jiān)督學(xué)習(xí)方法和無監(jiān)督學(xué)習(xí)方法的優(yōu)點(diǎn)，這類方法的應(yīng)用前景也很廣闊.

3.4總結(jié)

綜上所述，在深度學(xué)習(xí)的三種方法中，監(jiān)督方法的應(yīng)用最為廣泛，因?yàn)樗?/p>

具有較好的準(zhǔn)確性，但也存在明顯的缺點(diǎn)；無監(jiān)督方法符合產(chǎn)業(yè)發(fā)展的進(jìn)程，

但有其自身的特點(diǎn)；弱監(jiān)督方法目前應(yīng)用并不廣泛，但具有廣闊的發(fā)展前景。

4.關(guān)鍵問題

4.1.實(shí)時(shí)問題

在實(shí)際工業(yè)場(chǎng)景中的表面缺陷檢測(cè)任務(wù)中，實(shí)時(shí)性問題不容忽視。在一些

特殊場(chǎng)景中，如在線分析、在線監(jiān)控等，實(shí)時(shí)性問題史于極其重要的地位。處

理實(shí)時(shí)性問題的目標(biāo)是在準(zhǔn)確率大致相同的前提下，減少檢測(cè)時(shí)間，提高檢測(cè)

效率。目前，已有學(xué)者對(duì)實(shí)時(shí)性問題進(jìn)行了一定的研究。例如，文獻(xiàn)［79］設(shè)計(jì)

了一種新型的11層CNN模型，用于機(jī)器人焊接制造中的焊接缺陷檢測(cè)。

該方法為金屬增材制造（AM）的在線檢測(cè)提供了指導(dǎo)，即該方法可以滿足一

定的實(shí)時(shí)性要求。文獻(xiàn)［80］提出了一種結(jié)合SSIM和MobileNet的兩階

段算法來檢測(cè)印刷電路板上的表面缺陷，在保持高精度的同時(shí)，其速度至少比

FasterRCNN快12倍。

目前，模型加速是解決實(shí)時(shí)性問題的重要思路之一。模型加速主要可以從

算法和硬件兩個(gè)方面進(jìn)行，具體如下：

Q）算法：對(duì)于網(wǎng)絡(luò)算法層面，可以采用輕量級(jí)網(wǎng)絡(luò)對(duì)模型進(jìn)行加速。常用

的輕量級(jí)模型包括MobileNet.ShuffleNet.SqueezeNet和EfficientNet,

此外，蒸福和修剪也可以用于在算法級(jí)別加速網(wǎng)絡(luò)。在計(jì)算算法上，可以優(yōu)化

卷積運(yùn)算，達(dá)到模型加速的目的。典型的算法包括FFT、Winograd等。

（2）硬件：使用GPU、FPGA、DSP等是目前通過硬件加速模型的主要方式。

4.2.小樣本問題

現(xiàn)實(shí)中，基于深度學(xué)習(xí)的表面缺陷檢測(cè)方法往往不能直接用于工業(yè)產(chǎn)品的

表面缺陷檢測(cè)任務(wù)。主要原因之一是現(xiàn)代工業(yè)流程的不斷優(yōu)化導(dǎo)致缺陷樣本越

來越少，即缺陷圖像的數(shù)量非常有限。這種從少量樣本中學(xué)習(xí)的問題通常稱為

小樣本問題［81］,在訓(xùn)練過程中很容易導(dǎo)致過擬合問題。目前解決小樣本問題

的主流方案主要有以下四種：

4.2.1.數(shù)據(jù)增強(qiáng)

數(shù)據(jù)增強(qiáng)的常用方法包括平移、旋轉(zhuǎn)、鏡像對(duì)比度調(diào)整和數(shù)據(jù)合成。通過

數(shù)據(jù)放大，可以獲得大量的樣本圖像。

文獻(xiàn)［82］在無缺陷圖像的表面添加合成缺陷以完成裝飾塑料零件數(shù)據(jù)集的

擴(kuò)展。文獻(xiàn)［83］以互補(bǔ)的方式將手工制作的特征與無監(jiān)督學(xué)習(xí)特征融合在一

起，生成更具辨別力的缺陷表示。

4.2.2.無監(jiān)督/半監(jiān)督模型

無監(jiān)督模型的優(yōu)點(diǎn)之一是它只需要用正樣本而不是負(fù)樣本進(jìn)行訓(xùn)練，這為

解決小樣本問題提供了方向。另外，只需要標(biāo)記少量樣本的半監(jiān)督模型也是解

決小樣本問題的替代模型之一。具體內(nèi)容參見3.2、3.3.1。

4.2.3.遷移學(xué)習(xí)

通過遷移學(xué)習(xí)，已經(jīng)從一項(xiàng)任務(wù)中學(xué)到的知識(shí)可以應(yīng)用于其他不同但相關(guān)

的任務(wù)，尤其是當(dāng)目標(biāo)任務(wù)的數(shù)據(jù)不足時(shí)。實(shí)際上，大多數(shù)數(shù)據(jù)或任務(wù)都是相

關(guān)的。因此，遷移學(xué)習(xí)也是解決小樣本問題的主要思路之一。文獻(xiàn)［84,85］結(jié)

合遷移學(xué)習(xí)和AlexNet來檢測(cè)太陽能電池板和織物的表面缺陷。文獻(xiàn)［86-90］

將遷移學(xué)習(xí)與VGG網(wǎng)絡(luò)結(jié)合用于乳液泵體、印刷電路板、傳輸線組件、鋼板

和木材的表面缺陷檢測(cè)。文獻(xiàn)［91］將遷移學(xué)習(xí)和DenseNet結(jié)合到織物表

面缺陷檢測(cè)中。

4.2.4.優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)

網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)化也是解決小樣本問題的一個(gè)方向。以GAN為例，AnoGAN

模型在2017年的文獻(xiàn)［92］中被提出，首次將GAN用于圖像異常檢測(cè)。該模型

不斷迭代優(yōu)化固定生成器G的參數(shù)，在潛在空間中尋找與測(cè)試圖像最接近的

生成圖像，然后使用DCGAN進(jìn)行圖像異常檢測(cè)。2019年，文獻(xiàn)［93］對(duì)

AnoGAN進(jìn)行了改進(jìn)，提出了f-AnoGAN模型。在該模型中，建議使用編碼

器將圖像快速映射到潛在空間中的一個(gè)點(diǎn)，然后使用WGAN進(jìn)行異常檢測(cè)。

Encoder的引入解決了AnoGAN迭代優(yōu)化需要大量時(shí)間的問題。此外，

GANomaly模型（整體結(jié)構(gòu)為encoder-decoder-encoder）在2018年的文

獻(xiàn)［94］中提出；通過比較編碼得到的潛變量和重構(gòu)編碼得到的潛變量的差異，

檢測(cè)異常樣本。值得注意的是，上述模型都不需要用負(fù)樣本進(jìn)行訓(xùn)練。

4.3.小目標(biāo)檢測(cè)問題

小目標(biāo)檢測(cè)問題也是工業(yè)產(chǎn)品表面缺陷檢測(cè)領(lǐng)域的難點(diǎn)之一。小目標(biāo)是指

圖像中尺寸較小的目標(biāo)。"小"有兩種定義。一種是絕對(duì)尺寸小，通常認(rèn)為是

尺寸小于32*32像素的小目標(biāo)。另一種是相對(duì)尺寸小,，即目標(biāo)尺寸小于原始圖

像尺寸的一定比例，如0.1,即該目標(biāo)被認(rèn)為是小目標(biāo)。文獻(xiàn)［95］通過彩虹級(jí)

聯(lián)(poolinganddeconvolution)整合不同層的特征，增加不同層的特征圖

數(shù)量的同時(shí)增加不同層之間的特征圖關(guān)系，一定程度上解決了小目標(biāo)問題。文

獻(xiàn)［96］提出了一個(gè)由多個(gè)不同I0U閾值的檢測(cè)器組成的CascadeR-CNN多階

段目標(biāo)檢測(cè)框架，在整個(gè)框架中，將前一階段調(diào)整后的proposal作為下一階

段訓(xùn)練的輸入。該方法用于小目標(biāo)，通過該方法顯著提高了小目標(biāo)的檢測(cè)結(jié)果。

目前有一些技巧可以解決小目標(biāo)檢測(cè)問題，總結(jié)如下：

(1)特征融合：將深層語義信息融合為淺層特征圖，利用深層特征豐