工業(yè)檢測領(lǐng)域中手機(jī)表面缺陷數(shù)據(jù)集的獲取、增廣以及缺陷標(biāo)注分析目錄TOC\o"1-3"\h\u26694工業(yè)檢測領(lǐng)域中手機(jī)表面缺陷數(shù)據(jù)集的獲取、增廣以及缺陷標(biāo)注分析 1157641.1手機(jī)表面缺陷的數(shù)據(jù)集獲取 1229031.2手機(jī)表面缺陷的數(shù)據(jù)增廣及缺陷標(biāo)注 4171771.2.1圖像數(shù)據(jù)增廣 4236191.2.2缺陷標(biāo)注 594131.3小結(jié) 6要搭建手機(jī)表面的缺陷檢測系統(tǒng)，首先要獲取缺陷數(shù)據(jù)集。當(dāng)前深度學(xué)習(xí)的模型在主流數(shù)據(jù)集中表現(xiàn)較好，但在工業(yè)檢測領(lǐng)域的應(yīng)用較少，且存在諸多不足。本章將詳細(xì)介紹工業(yè)檢測領(lǐng)域中手機(jī)表面缺陷數(shù)據(jù)集的獲取、增廣與缺陷標(biāo)注，并通過分析缺陷類型，為后續(xù)章節(jié)中的模型搭建與訓(xùn)練提供參考和指導(dǎo)工作方向。1.1手機(jī)表面缺陷的數(shù)據(jù)集獲取當(dāng)前主流的深度學(xué)習(xí)網(wǎng)絡(luò)模型在工業(yè)檢測領(lǐng)域表現(xiàn)不佳的主要原因在于其針對的數(shù)據(jù)集。目前現(xiàn)有的數(shù)據(jù)集圖片類型主要集中于動物、交通工具、日用品等，較為知名的有ImageNet和MS-COCO等，這些數(shù)據(jù)集用于描述宏觀事物，而工業(yè)檢測領(lǐng)域則要求獲取更具有針對性、專一性的微觀缺陷檢測。手機(jī)表面缺陷與主流數(shù)據(jù)集的不同在于：檢測工位拍攝的圖片分辨率高，而缺陷面積較小、手機(jī)表面缺陷與背景對比不明顯、缺陷形態(tài)各異，長寬比懸殊等。這導(dǎo)致無法在主流數(shù)據(jù)集上通過調(diào)參、遷移學(xué)習(xí)和反復(fù)訓(xùn)練的方式在表面缺陷數(shù)據(jù)集上達(dá)到檢測標(biāo)準(zhǔn)，而需要重新建立手機(jī)表面的專用缺陷數(shù)據(jù)集。如圖3-1所示，表示主流數(shù)據(jù)集與手機(jī)表面表面缺陷數(shù)據(jù)集對比。(a)COCO數(shù)據(jù)集(b)手機(jī)表面表面缺陷圖3-1主流數(shù)據(jù)集與手機(jī)表面表面缺陷數(shù)據(jù)集對比本課題選用某產(chǎn)品的手機(jī)表面工業(yè)檢測照片作為數(shù)據(jù)集，該產(chǎn)品一共可分為IPU1、IPU2兩大工位，分別對應(yīng)手機(jī)的攝像區(qū)域以及玻璃表面區(qū)域。根據(jù)缺陷出現(xiàn)的位置以及對應(yīng)工序、缺陷樣貌，將缺陷共分為五大類，分別是：崩邊、紋路缺損、臟污、白點(diǎn)和劃傷。各缺陷成因與缺陷樣貌如下：(a)崩邊(b)紋路缺損(c)紋路缺損(d)臟污(e)白點(diǎn)(f)劃傷圖3-2手機(jī)表面缺陷樣貌其中，圖(a)的崩邊表示手機(jī)邊緣輪廓因壓傷而造成的損壞。該缺陷集中于手機(jī)攝像區(qū)域的邊緣，形態(tài)狹長，屬于損傷性缺陷；圖(b)與圖(c)分別表示紋路缺損的兩種常見形態(tài)，分別為邊緣紋路缺損和內(nèi)部紋路缺損。邊緣紋路缺損形態(tài)狹長，受損面積區(qū)域較大，而內(nèi)部紋路缺損則受損面積區(qū)域較小，肉眼難以識別；圖(d)表示手機(jī)出廠前因油漬、灰塵等掉落在手機(jī)表面上而造成的臟污缺陷。臟污屬于非損傷性缺陷，因此在做缺陷分類時需要額外將其區(qū)分；圖(e)白點(diǎn)的缺陷形成較為復(fù)雜，其既可能是灰塵落在表面上造成的非損傷性缺陷，也可能是表面遭到尖銳物體擦傷形成的白色點(diǎn)狀損傷性缺陷。由于玻璃表面的反光性，因此部分白點(diǎn)缺陷會在其附近有個大小相同的倒影；圖(f)缺陷表示劃傷缺陷，是由于玻璃表面遭到尖銳物體劃傷造成，屬于損傷性缺陷。明確好缺陷類型后，首先需要對采集到的原圖像進(jìn)行圖像裁剪。工業(yè)檢測領(lǐng)域常采用工業(yè)相機(jī)來進(jìn)行圖片采集。工業(yè)相機(jī)價格昂貴，拍攝精度高、穩(wěn)定性好，其采集的圖片像素常達(dá)到上億級別，而一個缺陷的像素往往只有幾百甚至幾十，因此直接通過原圖來進(jìn)行缺陷檢測是不現(xiàn)實的，檢測前需要將圖像進(jìn)行裁剪。圖3-3工業(yè)相機(jī)采集的手機(jī)表面圖片如圖3-3所示，為工業(yè)相機(jī)采集的某型號手機(jī)表面圖片。該圖片像素規(guī)模為16384×14500，雖然通過傳統(tǒng)的機(jī)器視覺檢測方式可以利用閾值分割，然后通過面積篩選、長寬比篩選等方式在兩億多像素的原圖上進(jìn)行缺陷檢測，但由于手機(jī)表面缺陷的形態(tài)多樣，利用傳統(tǒng)的機(jī)器視覺檢測方法其算法復(fù)雜性太高，且不具有普適性。而基于深度學(xué)習(xí)的缺陷檢測方法則只需將原本的大圖裁剪為適合送入模型訓(xùn)練的小圖，省略了提取ROI（感興趣區(qū)域）等步驟，具有更廣泛的靈活性與適用性，裁剪圖片算法的流程如下所示：圖3-4圖像裁剪算法流程圖①首先，由于工業(yè)相機(jī)獲取的圖像為灰白圖像，而深度學(xué)習(xí)獲取常用圖像通道為三通道，因此在進(jìn)行圖像裁剪之前，需要利用Halcon的compose算子將單通道圖像復(fù)制給三個通道，以得到適配的圖像輸入通道。②選取合適的圖像輸入大小。為了保證模型訓(xùn)練的穩(wěn)定性，需要將每幅圖像裁剪成大小相同的圖像，深度學(xué)習(xí)常用圖像輸入大小為256×256、416×416、512×512以及1024×1024等，考慮缺陷在每張圖片中的大小應(yīng)當(dāng)適中，本文選用416×416的圖像進(jìn)行裁剪。由于工業(yè)相機(jī)拍攝的原圖的長、寬并不總是能被416整除，因此在進(jìn)行裁剪之前需要將原圖調(diào)整為可以被416整除的圖像大小規(guī)模。如圖1.3所示，圖像四周存在許多非檢測區(qū)域，對這些區(qū)域的去除不會影響最終檢測結(jié)果，因此可以通過裁剪這些區(qū)域以滿足圖像被416整除的要求。③進(jìn)行圖像裁剪。獲取圖像的長、寬像素規(guī)模，創(chuàng)建box_list，利用pythonPIL中的Image模塊將被裁剪的圖像矩陣保存在box函數(shù)中。④保存被裁減圖像。利用save函數(shù)將所有被裁減圖像輸出為PNG格式，并保存在根目錄下。至此，所有圖片都被裁剪為416×416格式，找出其中含有缺陷樣貌的圖片，即可作為本課題的缺陷圖像數(shù)據(jù)集。1.2手機(jī)表面缺陷的數(shù)據(jù)增廣及缺陷標(biāo)注1.2.1圖像數(shù)據(jù)增廣根據(jù)本章第一小結(jié)分析，本文通過圖像裁剪的方式獲取缺陷部位的圖像數(shù)據(jù)集，但在實際工程應(yīng)用中，大規(guī)模的數(shù)據(jù)集獲取主要存在以下兩個難點(diǎn)：（1）數(shù)據(jù)量較少，且數(shù)據(jù)構(gòu)成不均。在實際產(chǎn)線上，相機(jī)捕捉到的圖像大多都為好品圖，有缺陷的產(chǎn)品只占其中的少數(shù)，且并不是每種類型的缺陷樣本數(shù)量都相同，類似于臟污、白點(diǎn)等缺陷，其缺陷樣本數(shù)量明顯要多于崩邊、刮花等缺陷。不平衡的缺陷數(shù)量會導(dǎo)致模型對樣本數(shù)量充足的缺陷較敏感，而對樣本量不足的缺陷不敏感，最終訓(xùn)練得到的模型就不能達(dá)到實際應(yīng)用的要求。（2）模型會對缺陷的出現(xiàn)位置產(chǎn)生依賴性。由于在對缺陷進(jìn)行標(biāo)注時，會包括缺陷的位置信息，過多重復(fù)的缺陷位置信息會使模型對缺陷出現(xiàn)位置產(chǎn)生依賴性，導(dǎo)致類似的缺陷出現(xiàn)在其他位置時造成漏檢。因此，需要通過圖像翻轉(zhuǎn)、鏡像等方式來降低模型對缺陷產(chǎn)生位置的依賴性?；谝陨蟽蓚€問題，目前最常用且有效的手段就是圖像增廣（imageaugmentation），也稱數(shù)據(jù)增強(qiáng)。通俗來講，圖像增廣就是指通過對需要訓(xùn)練的圖片進(jìn)行一系列隨機(jī)變化，產(chǎn)生一系列相似但不同的訓(xùn)練樣本，從而達(dá)到擴(kuò)大數(shù)據(jù)集的規(guī)模的效果，因此可以提高模型的抗干擾性。圖像增廣對數(shù)據(jù)集的影響不局限于數(shù)量。因為數(shù)據(jù)增強(qiáng)改變了圖片中缺陷的位置、亮度、色彩等，所以降低了模型對于此類屬性的依賴性，模型可以對不同狀態(tài)下的目標(biāo)進(jìn)行識別，因而提高模型的泛化能力。接下來介紹本文采用的圖像增廣手段：（a）旋轉(zhuǎn)：將圖片旋轉(zhuǎn)90度；（b）鏡像：沿圖像的水平對稱軸或者豎直對稱軸翻轉(zhuǎn)圖像；（c）模糊：利用GaussianBlur算子對圖像進(jìn)行高斯濾波；（d）變亮、變暗：通過增加或降低圖像的亮度來改變?nèi)毕莼叶戎?；（e）增加噪聲：利用SaltandPepper（椒鹽噪聲）和GaussianNoise（高斯噪聲）對圖像進(jìn)行加噪工作；通過以上的增強(qiáng)手段隨機(jī)組合，可以有效擴(kuò)充數(shù)據(jù)集，提高訓(xùn)練樣本的多樣性，降低模型對某一因素的依賴性。經(jīng)過增強(qiáng)后的圖像效果如圖3-5所示。(a)原圖(b)旋轉(zhuǎn)(c)鏡像(d)模糊(e)變亮或變暗(f)加噪圖3-5圖像增強(qiáng)后的效果傳統(tǒng)的數(shù)據(jù)增強(qiáng)手段是通過對每張圖片都應(yīng)用數(shù)據(jù)增強(qiáng)，這會造成數(shù)據(jù)集過于臃腫，模型訓(xùn)練時間大大增長。因此本文采用隨機(jī)增強(qiáng)，即對每一張圖像都隨機(jī)應(yīng)用以上的圖像增強(qiáng)手段，縮短訓(xùn)練時間。1.2.2缺陷標(biāo)注在完成圖像數(shù)據(jù)集的準(zhǔn)備后，接下來需要對標(biāo)注數(shù)據(jù)集進(jìn)行構(gòu)建。在深度學(xué)習(xí)的模型訓(xùn)練時，需要大量帶有標(biāo)注的樣本，標(biāo)注信息必須包括缺陷的位置信息、類別信息，因此需要對圖片進(jìn)行像素級的標(biāo)注。如圖3-6所示，像素級標(biāo)注耗時耗力，會對實際工程項目的人力成本和時間成本造成壓力。為此本文采用Labelimg完成圖像標(biāo)注工作。(a)(b)圖3-6對手機(jī)表面缺陷進(jìn)行像素級標(biāo)注Labelimg是基于QtCreater平臺開發(fā)的便捷式圖像標(biāo)注工具，該軟件主要由標(biāo)注界面(圖3-6a)和標(biāo)簽界面(圖3-6b)組成。標(biāo)注界面主要負(fù)責(zé)將產(chǎn)品的缺陷出現(xiàn)位置進(jìn)行標(biāo)出，然后通過標(biāo)簽界面選擇該缺陷所屬的類別。通過這種方法，可以快速、準(zhǔn)確地完成對缺陷的標(biāo)注工作。標(biāo)注完成后，label