(19)國家知識(shí)產(chǎn)權(quán)局(10)申請公布號CN120219397A(21)申請?zhí)?02510714831.3(22)申請日2025.05.30(71)申請人西南石油大學(xué)道8號(74)專利代理機(jī)構(gòu)成都喬一喬專利代理事務(wù)所(普通合伙)51436(54)發(fā)明名稱一種基于改進(jìn)FasterR-CNN算法的鋼鐵表面缺陷檢測方法(57)摘要本發(fā)明公開了一種基于改進(jìn)FasterR-CNN算法的鋼鐵表面缺陷檢測方法，屬于工業(yè)缺陷檢測技術(shù)領(lǐng)域。包括：采集各類含有表面缺陷的鋼制產(chǎn)品表面圖像；構(gòu)建改進(jìn)FasterR-CNN網(wǎng)絡(luò)，利用采集的圖像訓(xùn)練改進(jìn)FasterR-CNN網(wǎng)絡(luò)，得到鋼制產(chǎn)品表面缺陷識(shí)別模型，利用鋼制產(chǎn)品表面缺陷識(shí)別模型識(shí)別鋼制產(chǎn)品表面圖像中的缺陷。本發(fā)明對FasterR-CNN模型的主干網(wǎng)絡(luò)進(jìn)行了改進(jìn)，主干網(wǎng)絡(luò)將灰度圖像進(jìn)行偽彩色轉(zhuǎn)換，然后分別提取灰度圖像和偽彩色圖像的特征，并通過注意力機(jī)制進(jìn)行特征融合，達(dá)到增強(qiáng)缺陷特征的目的，顯著提高了鋼鐵表面缺陷檢測的準(zhǔn)確鋼鐵表面灰度圖像輸入鋼鐵表面灰度圖像輸入改進(jìn)的主干網(wǎng)絡(luò)興趣域池化分類與回歸頭2S4、采集待預(yù)測的鋼制產(chǎn)品表面圖像并輸入所述鋼制產(chǎn)2.根據(jù)權(quán)利要求1所述的一種基于改進(jìn)FasterR-CNN算法的鋼鐵表面缺陷檢測方法，3.根據(jù)權(quán)利要求2所述的一種基于改進(jìn)FasterR-CNN算法的鋼鐵表面缺陷檢測方法，4.根據(jù)權(quán)利要求2所述的一種基于改進(jìn)FasterR-CNN算法的鋼鐵表面缺陷檢測方法，S311、分別對所述彩色分支特征圖和所述灰度分支特征圖進(jìn)行全局平均池化，提3GAP(F,)]表示GAP(F)與GAP(F)拼接；Ffusion=W.OFg+(1-Wc)OFp;5.根據(jù)權(quán)利要求4所述的一種基于改進(jìn)FasterR-CNN算法的鋼鐵表面缺陷檢測方法，S321、通過對基于通道級注意力融合的特征Ffusion進(jìn)行不同的線性投影，得到QK=W(Ffusion);4技術(shù)領(lǐng)域[0001]本發(fā)明涉及工業(yè)缺陷檢測技術(shù)領(lǐng)域，具體為一種基于改進(jìn)FasterR-CNN算法的鋼鐵表面缺陷檢測方法，其能夠顯著提升裂紋、氧化壓入、斑點(diǎn)等微弱缺陷的檢測精度，適用于高精度工業(yè)質(zhì)檢場景。背景技術(shù)[0002]工業(yè)質(zhì)檢領(lǐng)域普遍采用機(jī)器視覺技術(shù)進(jìn)行產(chǎn)品表面缺陷檢測，比如，目前通常通過邊緣檢測、閾值分割等傳統(tǒng)圖像處理算法，以及FasterR-CNN(FasterRegion-basedConvolutionalNeuralNetworks)、YOLO(YouOnlyLookOnce)等基于深度學(xué)習(xí)的檢測模型來檢測汽車鋼制零部件的缺陷，其中，F(xiàn)asterR-CNN模型通過特征提取和區(qū)域建議網(wǎng)絡(luò)背景對比度低，缺陷特征微弱，這導(dǎo)致傳統(tǒng)FasterR-CNN模型難以提取有效的測效果不佳。發(fā)明內(nèi)容[0003]為了解決上述問題，本發(fā)明提供了一種基于改進(jìn)FasterR-CNN算法的鋼鐵表面缺陷檢測方法，其利用一種雙分支特征提取主干網(wǎng)絡(luò)提取特征，該主干網(wǎng)絡(luò)將灰度圖像進(jìn)行偽彩色轉(zhuǎn)換，然后分別提取灰度圖像和偽彩色圖像的特征，并通過注意力機(jī)制進(jìn)行特征融一種基于改進(jìn)FasterR-CNN算法的鋼鐵表面缺陷檢測方法，包括如下步驟：S1、采集各類含有表面缺陷的鋼制產(chǎn)品表面圖像，并標(biāo)注各類缺陷；S2、構(gòu)建改進(jìn)FasterR-CNN網(wǎng)絡(luò)，所述改進(jìn)FasterR-CNN網(wǎng)絡(luò)包括主干網(wǎng)絡(luò)(Backbone)、區(qū)域建議網(wǎng)絡(luò)(RegionProposalNetwork,RPN)、興趣域池化層(RoIPooling)和分類與回歸頭(Classifier),所述主干網(wǎng)絡(luò)將灰度圖像進(jìn)行偽彩色轉(zhuǎn)換生成偽彩色圖像，然后分別提取所述灰度圖像和所述偽彩色圖像的特征，并通過注意力機(jī)制進(jìn)行S3、利用步驟S1采集的所述鋼制產(chǎn)品表面圖像作為灰度圖像訓(xùn)練所述改進(jìn)FasterS4、采集待預(yù)測的鋼制產(chǎn)品表面圖像并輸入所述鋼制產(chǎn)品表面缺陷識(shí)別模型，識(shí)別所述待預(yù)測的鋼制產(chǎn)品表面圖像中的缺陷。[0005]作為本發(fā)明的一種具體實(shí)施方式，所述主干網(wǎng)絡(luò)中，先將灰度圖像轉(zhuǎn)換成偽彩色圖像并計(jì)算灰度圖像的紋理梯度，接著將所述偽彩色圖像的每個(gè)通道分別與所述紋理梯度進(jìn)行加權(quán)融合生成偽彩色分支輸入圖，分別使用Resnet50網(wǎng)絡(luò)將所述偽彩色分支輸入圖、所述灰度圖像轉(zhuǎn)換為偽彩色分支特征圖和灰度分支特征圖，然后使用通道級注意力將所述彩色分支特征圖和所述灰度分支特征圖融合為一個(gè)特征圖，最后再使用空間級注意力處理5基于通道級注意力融合的特征圖，得到最終特征圖。[0006]本發(fā)明中，灰度圖像轉(zhuǎn)換成偽彩色圖像可以采用現(xiàn)有技術(shù)，比如采用現(xiàn)有的Jet顏色映射算法將灰度圖像映射為偽彩色圖像。[0007]作為本發(fā)明的一種具體實(shí)施方式，計(jì)算所述灰度圖像的紋理梯度，包括如下步驟：S21、將灰度圖像歸一化后生成單通道灰度圖像；S22、計(jì)算所述單通道灰度圖像中的每個(gè)像素點(diǎn)的紋理梯度，計(jì)算式如下：式中，TGM(x,y)為單通道灰度圖像中像素點(diǎn)(x,y)的紋理梯度；I(x+i,y+j)為單通道灰度圖像中像素點(diǎn)(x,y)的鄰域中像素點(diǎn)(x+i,y+j)的像素值；μx,,為像素點(diǎn)(x,y)鄰域的S23、采用最大-最小歸一化法對紋理梯度進(jìn)行歸一化。[0008]本發(fā)明的主干網(wǎng)絡(luò)中，使用通道級注意力將所述彩色分支特征圖和所述灰度分支特征圖融合為一個(gè)特征圖，具體包括如下步驟：S311、分別對彩色分支特征圖F和灰度分支特征圖F進(jìn)行全局平均池化，提取通道級統(tǒng)計(jì)特征；GAP(Fg)為對灰度分支特征圖Fg全局平均池化后的值；GAP(F)為對彩色分支特征圖F,全局平均池化后的值；adaptive_avg_pool2d()為全局平S312、通過多層感知機(jī)(MLP)生成通道權(quán)重Wc,動(dòng)態(tài)調(diào)整兩分支特征的貢獻(xiàn)；(Fg);GAP(F,)]表示GAPF)與GAP(F)拼接；S313、兩分支特征基于通道級注意力的特征融合；Ffusion=W.OFg+(1-Wc)OFp;Ffusion為基于通道級注意力融合的特征；◎表示逐通道乘法；本發(fā)明的主干網(wǎng)絡(luò)中，使用空間級注意力處理基于通道級注意力融合的特征圖，具體包括如下步驟：S321、通過對基于通道級注意力融合的特征Ffusion進(jìn)行不同的線性投影，得到Q6附圖說明圖2是圖1改進(jìn)FasterR-CN(Rolled-inScale)以及劃痕(Scratches)。簽文件中對于每一個(gè)邊界框的坐標(biāo)(xmin,ymin,xma7改進(jìn)的主干網(wǎng)絡(luò)(Backbone),又稱特征提取網(wǎng)絡(luò)，用于提取產(chǎn)品表面圖像的特征區(qū)域建議網(wǎng)絡(luò)(RegionProposalNetwork,RPN),用于在所述特征圖上生成候選興趣域池化層(RoIPooling),將不同大小的所述候選區(qū)域映射到所述特征圖上，分類與回歸頭(Classifier),對所述興趣域池化層處理后的特征進(jìn)行精細(xì)分類和梯度，接著將偽彩色圖像的每個(gè)通道分別與紋理梯度進(jìn)行加權(quán)融合生成偽彩色分支輸入圖，使用Resnet50網(wǎng)絡(luò)將偽彩色分支輸入圖轉(zhuǎn)換為偽彩色分支特征圖(高維特征圖);使用Resnet50網(wǎng)絡(luò)將灰度圖像轉(zhuǎn)換為灰度分支特征圖(高維特征圖);然后使用通道級注意力將8為紋理梯度圖中歸一化后的像素[0016]接著，分別使用Resnet50網(wǎng)絡(luò)將偽彩色輸入圖P轉(zhuǎn)換為偽彩色分支特征圖F。(高維特征圖),將灰度圖像I轉(zhuǎn)換為灰度分支特征圖Fg(高維特征圖);Resnet()為Resnet50網(wǎng)絡(luò)；S31、使用通道級注意力將所述彩色分支特征圖和所述灰度分支特征圖進(jìn)行特征融合；S311、分別對彩色分支特征圖F?和灰度分支特征圖F?進(jìn)行全局平均池化提取通道級統(tǒng)計(jì)特征；GAP(Fg)為對灰度分支特征圖Fg全局平均池化后的值；GAP(F?)為對彩色分支特征圖F,全局平均池化后的值；adaptive_avg_pool2d()為全局平均池化函數(shù)；S312、通過多層感知機(jī)(MLP)生成通道權(quán)重Wc,動(dòng)態(tài)調(diào)整兩分支特征的貢獻(xiàn)；Wc=Sigmoid(W?·ReLU(W?[GAP(Fg)S313、兩分支特征基于通道級注意力的特征融合；Ffusion=W.OFg+(1-Wc)OFp;Ffus為基于通道級注意力融合的特征；◎表示逐通道乘法；S32、使用空間級注意力處理基于通道級注意力融合的特征圖；9Ffinal=A·V;S3、利用步驟S1采集的所述鋼制產(chǎn)品表面圖像訓(xùn)練所述改進(jìn)FasterR-CNN網(wǎng)絡(luò)，得到鋼制產(chǎn)品表面缺陷識(shí)別模型；S4、采集待預(yù)測的鋼制產(chǎn)品表面圖像并輸入所述鋼制產(chǎn)品表面缺陷識(shí)別模型，識(shí)別所述待預(yù)測的鋼制產(chǎn)品表面圖像中的缺陷。[0017]本實(shí)施例采用Adam優(yōu)化器進(jìn)行續(xù)聯(lián)，初始學(xué)習(xí)率1e-4,批量大小設(shè)為4。[0018]此外，為了驗(yàn)證改進(jìn)主干網(wǎng)絡(luò)后對模型識(shí)別性能的影響，本實(shí)施例還設(shè)置了以Resnet50網(wǎng)絡(luò)為主干網(wǎng)絡(luò)的FasterR-CNN模型，采用相同的圖像進(jìn)行訓(xùn)練和測試，結(jié)果見表1。[0019]表1不同模型的平均精度表平均精度(mAP,%)以Resnet50網(wǎng)絡(luò)為主干網(wǎng)絡(luò)的FasterR-CNN模型本發(fā)明實(shí)施例模型[0020]由表1可知，采用改進(jìn)的主干網(wǎng)絡(luò)后模型的平均精度顯著提升。[0021]以上，僅為本發(fā)明較佳的具體實(shí)施方式，但本發(fā)明的保護(hù)范圍并不局限于此，任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明實(shí)施例揭露的技術(shù)范圍內(nèi)，可輕易想到的變化或替換，