63/383,3102022.11.11USPCT/US2023/0772442023WO2024/102565EN2責(zé)任公司11240地址美國華盛頓Axc“Axc“P數(shù)據(jù)集~0一為了實(shí)現(xiàn)對(duì)圖像中的異常的聯(lián)合檢測(cè)、定過使用編碼器網(wǎng)絡(luò)從訓(xùn)練數(shù)據(jù)集中的圖像中提在前向過程中優(yōu)化像素的聚類標(biāo)簽以及通過分編碼器網(wǎng)絡(luò)從由訓(xùn)練數(shù)據(jù)集創(chuàng)建的支持集和查特征表示來學(xué)習(xí)異常類別的嵌入以及基于使用21.一種用于訓(xùn)練用于圖像中異常的聯(lián)合檢測(cè)、定位、分割及分類的基于深度學(xué)習(xí)的視輸入來自訓(xùn)練數(shù)據(jù)集的圖像，以通過包括注意力損失的自編碼器損失的反向傳播來訓(xùn)練自編碼器，所述注意力損失促使所述自編碼器的編碼器網(wǎng)絡(luò)生成最大化聚焦于圖像的正常區(qū)域的注意力圖，由此，給定異常輸入圖像，所述編碼器網(wǎng)絡(luò)被配置為生成在空間上定位異常的注意力圖，通過使用所述編碼器網(wǎng)絡(luò)從所述訓(xùn)練數(shù)據(jù)集中的圖像中提取特征表示來訓(xùn)練圖像分割模型，并且可替換地在前向過程中優(yōu)化像素的聚類標(biāo)簽并且通過分割誤差的反向傳播來在小樣本學(xué)習(xí)過程中，調(diào)節(jié)所述編碼器網(wǎng)絡(luò)以通過使用所述編碼器網(wǎng)絡(luò)從由所述訓(xùn)練數(shù)據(jù)集所創(chuàng)建的相應(yīng)支持集和查詢集中的異常圖像來提取特征表示，使用支持集特征表示來學(xué)習(xí)異常類別的嵌入，以及基于使用查詢集特征表示計(jì)算的分類誤差來更新所述編碼器2.根據(jù)權(quán)利要求1所述的方法，其中，通過在交替迭代中基于所述自編碼器損失和所述分割誤差來更新相應(yīng)參數(shù)，隨后在用于對(duì)異常進(jìn)行分類的所述小樣本學(xué)習(xí)過程中調(diào)節(jié)所述編碼器網(wǎng)絡(luò)，從而聯(lián)合地訓(xùn)練所述自編碼器和所述圖像分割模型。3.根據(jù)權(quán)利要求2所述的方法，包括在所述自編碼器和所述圖像分割模型的聯(lián)合訓(xùn)練開始之前，基于所述自編碼器損失對(duì)所述自編碼器進(jìn)行多個(gè)訓(xùn)練周期的訓(xùn)練。4.根據(jù)權(quán)利要求1至3中任一項(xiàng)所述的方法，其中，所述訓(xùn)練數(shù)據(jù)集包括用于表示標(biāo)稱制造零件的正常圖像和表示缺陷制造零件的異常圖像的圖像級(jí)標(biāo)簽。5.根據(jù)權(quán)利要求4所述的方法，其中，為了訓(xùn)練所述自編碼器，從由所述編碼器網(wǎng)絡(luò)從所述訓(xùn)練數(shù)據(jù)集中的正常圖像生成的潛變量的特征表示中計(jì)算所述注意力圖。6.根據(jù)權(quán)利要求5所述的方法，其中，所述自編碼器包括連接于潛在表示的輸出處的二元分類器，其中，計(jì)算所述注意力圖包括通過從來自所述正常圖像的所述二元分類器的預(yù)測(cè)的梯度的反向傳播來計(jì)算正常類別和異常類別的注意力圖，以及其中，所述注意力損失被設(shè)計(jì)為使由所述異常類別的注意力圖覆蓋的區(qū)域最小化并且同時(shí)強(qiáng)制所述正常類別的注意力圖覆蓋整個(gè)圖像。7.根據(jù)權(quán)利要求6所述的方法，其中，所述自編碼器損失還包括從針對(duì)所述訓(xùn)練數(shù)據(jù)集中的圖像的所述二元分類器的預(yù)測(cè)所計(jì)算的二元分類損失，以配置所述二元分類器用于將輸入圖像分類為正?；虍惓！?.根據(jù)權(quán)利要求4至8中任一項(xiàng)所述的方法，其中，所述圖像分割模型被訓(xùn)練為基于二元聚類來優(yōu)化像素的聚類標(biāo)簽，使得所述圖像分割模型被配置為將異常圖像中的缺陷對(duì)象區(qū)域從背景中分割出來。9.根據(jù)權(quán)利要求1至8中任一項(xiàng)所述的方法，其中，訓(xùn)練所述圖像分割模型包括：通過以下方式在所述前向過程中優(yōu)化所述像素的所述聚類標(biāo)簽：使用所述編碼器網(wǎng)絡(luò)從輸入圖像中提取特征表示，其中，所述輸入圖像的每個(gè)像素由特征向量表示，將分類模型應(yīng)用于所提取的特征向量以生成逐像素響應(yīng)圖，基于逐像素響應(yīng)圖計(jì)算每3利用所述聚類標(biāo)簽和所述逐像素響應(yīng)圖來計(jì)算所述分割誤差；并且反向傳播所述分割誤差以更新所述編碼器網(wǎng)絡(luò)和所述分類模型的參數(shù)。10.根據(jù)權(quán)利要求1至9中任一項(xiàng)所述的方法，其中，所述小樣本學(xué)習(xí)過程包括：使用利用所述編碼器網(wǎng)絡(luò)提取的支持集特征表示來計(jì)算所述支持集中的每個(gè)異常類別的原型作為在嵌入空間中的所述異常類別中的樣本的均值向量表示，基于計(jì)算與所述嵌入空間中每個(gè)異常類別的所述原型的距離來對(duì)所述查詢集中的樣本進(jìn)行分類，并由此計(jì)算所述分類誤差，以及反向傳播所述分類誤差以更新所述編碼器網(wǎng)絡(luò)的參數(shù)。11.一種用于對(duì)由制造過程產(chǎn)生的零件進(jìn)行視覺質(zhì)量檢測(cè)的計(jì)算機(jī)實(shí)現(xiàn)的方法，包括：通過根據(jù)權(quán)利要求1至10中任一項(xiàng)所述的方法來訓(xùn)練基于深度學(xué)習(xí)的視覺系統(tǒng)，獲取待檢測(cè)的制造零件的圖像，將所獲取的圖像輸入至編碼器網(wǎng)絡(luò)以提取所獲取的圖像的特征表示，基于所獲取的圖像的所述特征表示，將所獲取的圖像分類為正常或異常，以及如果異常，則通過將所獲取的圖像的所述特征表示作為查詢饋送至基于使用所述編碼器網(wǎng)絡(luò)所學(xué)習(xí)的嵌入的小樣本學(xué)習(xí)框架來確定異常類別。12.根據(jù)權(quán)利要求11所述的方法，還包括將所獲取的圖像的所述特征表示饋送至所述圖像分割模型以分割所獲取的圖像中的缺陷對(duì)象區(qū)域。13.根據(jù)權(quán)利要求11和12中任一項(xiàng)所述的方法，還包括基于所述異常類別和/或所述圖像分割模型的輸出來調(diào)整制造過程參數(shù)。14.一種非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，編碼有指令，所述指令在由計(jì)算系統(tǒng)處理時(shí)配置所述計(jì)算系統(tǒng)以執(zhí)行根據(jù)權(quán)利要求1至10中任一項(xiàng)所述的方法。非暫態(tài)存儲(chǔ)器，存儲(chǔ)能夠由所述一個(gè)或多個(gè)處理器執(zhí)行的指令以執(zhí)行根據(jù)權(quán)利要求1至10中任一項(xiàng)所述的方法。4用于圖像中異常的聯(lián)合檢測(cè)、定位、分割及分類的系統(tǒng)和方法[0001]關(guān)于聯(lián)邦資助開發(fā)的聲明[0002]本發(fā)明的開發(fā)部分由技術(shù)投資協(xié)議第W15QKN-19-3-0003號(hào)支持，由美國國防部運(yùn)營(yíng)的美國陸軍合約管理指揮部-皮卡汀尼授予。因此，美國政府對(duì)本發(fā)明享有特定權(quán)利。技術(shù)領(lǐng)域[0003]本公開涉及將人工智能應(yīng)用于視覺檢測(cè)系統(tǒng)。具體地，所公開的實(shí)施方式涉及基于深度學(xué)習(xí)的解決方案，用于在標(biāo)注數(shù)據(jù)稀缺的工業(yè)環(huán)境中對(duì)圖像中的異常進(jìn)行聯(lián)合檢背景技術(shù)[0004]用于計(jì)算機(jī)視覺的深度學(xué)習(xí)模型通常需要大量的標(biāo)注數(shù)據(jù)來進(jìn)行訓(xùn)練。然而，在工業(yè)應(yīng)用中，諸如在制造零件的視覺質(zhì)量檢測(cè)中，獲取足夠量的標(biāo)注數(shù)據(jù)來訓(xùn)練模型往往既困難又昂貴。[0005]在制造過程中，缺陷通常較為罕見。為了收集足夠的數(shù)據(jù)來訓(xùn)練深度學(xué)習(xí)模型(例如，生產(chǎn)線上約1000張缺陷零件的圖像),視覺系統(tǒng)可能需處于數(shù)據(jù)收集模式數(shù)月甚至數(shù)年。此外，即使有足夠的訓(xùn)練數(shù)據(jù)，模型的泛化能力仍可能依賴于其所訓(xùn)練的特定零件及缺陷。不可避免的零件和缺陷可變性使得使用傳統(tǒng)的深度學(xué)習(xí)模型難以自動(dòng)檢測(cè)，生成修復(fù)[0006]通常，有大量影響制造零件質(zhì)量的制造過程參數(shù)，通過控制這些參數(shù)可以降低觀察到的零件可變性(即，缺陷的發(fā)生)。理解缺陷及其原因能夠表示將制造零件的質(zhì)量維持在期望規(guī)格內(nèi)的第一步。識(shí)別各種類別的缺陷可提供關(guān)于制造過程中的失誤來源的更多見發(fā)明內(nèi)容[0007]本公開的各個(gè)方面可被用于開發(fā)先進(jìn)深度神經(jīng)網(wǎng)絡(luò)以進(jìn)行異常的視覺檢測(cè)，該視覺檢測(cè)可以對(duì)粗略標(biāo)注的有限缺陷數(shù)據(jù)或未標(biāo)注的數(shù)據(jù)進(jìn)行訓(xùn)練。這種靈活性有助于克服工業(yè)應(yīng)用、諸如制造中有限的缺陷數(shù)據(jù)的挑戰(zhàn)。開發(fā)的基于深度學(xué)習(xí)的框架被配置為在極少或無需監(jiān)督的情況下進(jìn)行詳細(xì)的異常分析，包括異常檢測(cè)、異常定位、異常分割及異常分[0008]根據(jù)第一方面，提供了一種用于訓(xùn)練用于圖像中異常的聯(lián)合檢測(cè)、定位、分割及分類的基于深度學(xué)習(xí)的視覺系統(tǒng)的計(jì)算機(jī)實(shí)現(xiàn)的方法。該方法包括輸入來自訓(xùn)練數(shù)據(jù)集的圖像，以通過包括注意力損失的自編碼器損失的反向傳播來訓(xùn)練自編碼器。注意力損失促使自編碼器的編碼器網(wǎng)絡(luò)生成最大化聚焦于圖像正常區(qū)域的注意力圖，由此，給定異常輸入圖像，編碼器網(wǎng)絡(luò)被配置為生成在空間上定位異常的注意力圖。該方法還包括訓(xùn)練圖像分割模型。這包括使用編碼器網(wǎng)絡(luò)從訓(xùn)練數(shù)據(jù)集中的圖像中提取特征表示，并且可替換地在前向過程中優(yōu)化像素的聚類標(biāo)簽以及通過分割誤差的反向傳播來優(yōu)化特征表示。該方法還5包括在小樣本學(xué)習(xí)過程中，調(diào)節(jié)編碼器網(wǎng)絡(luò)以對(duì)異常進(jìn)行分類。這包括使用編碼器網(wǎng)絡(luò)從由訓(xùn)練數(shù)據(jù)集創(chuàng)建的相應(yīng)支持集和查詢集中的異常圖像中提取特征表示，使用支持集特征表示來學(xué)習(xí)異常類別的嵌入，以及基于使用查詢集特征表示所計(jì)算的分類誤差來更新編碼器網(wǎng)絡(luò)。[0009]本公開的其他方面在用于對(duì)圖像中的異常的聯(lián)合檢測(cè)、定位、分割及分類的計(jì)算機(jī)程序產(chǎn)品和計(jì)算系統(tǒng)中實(shí)現(xiàn)上述方法的特征。[0010]通過本公開的技術(shù)可以實(shí)現(xiàn)附加的技術(shù)特征和益處。本公開的實(shí)施方式和各方面在本發(fā)明中進(jìn)行了詳細(xì)描述，并被認(rèn)為是要求保護(hù)的主題的一部分。為了更好地理解，請(qǐng)參考詳細(xì)說明和附圖。附圖說明[0011]當(dāng)結(jié)合附圖閱讀時(shí)，從以下詳細(xì)描述中最佳地理解本公開的上述和其他方面。為了容易地識(shí)別對(duì)任何元素或動(dòng)作的討論，參考數(shù)字中的最高有效數(shù)位或多個(gè)數(shù)位是指元素或動(dòng)作首先被引入其中的圖號(hào)。[0012]圖1示意性地示出了根據(jù)示例性實(shí)施方式的用于異常檢測(cè)和定位的學(xué)習(xí)框架，該學(xué)習(xí)框架被擴(kuò)展到無監(jiān)督的異常分割。[0013]圖2示出了根據(jù)示例性實(shí)施方式的用于圖像中異常的聯(lián)合檢測(cè)、定位、分割及分類的訓(xùn)練視覺系統(tǒng)。[0014]圖3示出了(i)輸入圖像、(ii)在空間上定位輸入圖像中的異常區(qū)域的注意力圖以及(ii)基于二元聚類分割輸入圖像中缺陷對(duì)象區(qū)域的示例。[0015]圖4示出了從查詢圖像預(yù)測(cè)的異常類別的示例。具體實(shí)施方式[0016]異常是指與常態(tài)不同的事件或現(xiàn)象。在機(jī)器學(xué)習(xí)中，異常檢測(cè)通?；谶@樣一種假設(shè)，即異常在數(shù)據(jù)集中罕見，并且其特征與正常實(shí)例顯著不同。深度學(xué)習(xí)方法可被用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)以進(jìn)行制造過程的視覺質(zhì)量檢測(cè)，其中，可基于對(duì)零件的圖像中的異常的檢測(cè)來識(shí)別制造零件上的缺陷。基于深度學(xué)習(xí)方法的異常檢測(cè)可以在很大程度上減少或避免在訓(xùn)練過程中對(duì)異常數(shù)據(jù)(例如，缺陷圖像)的需求，因?yàn)槟Ｐ陀?xùn)練基本上可以使用大量可用的正常數(shù)據(jù)(例如，無缺陷的圖像)來實(shí)現(xiàn)。深度學(xué)習(xí)方法還可被用于通過生成注意力圖來定位圖像中的異常。盡管注意力圖提供異常的一般空間信息，但是它們并未提供足夠的信息來完成更精細(xì)的任務(wù)，諸如異常的分割或異常的分類(例如，缺陷類別),可能需要對(duì)缺陷的詳細(xì)分析，諸如確定根本原因和實(shí)施糾正措施。[0017]所公開的方法提供了用于訓(xùn)練視覺系統(tǒng)以進(jìn)行異常檢測(cè)和定位、無監(jiān)督異常分割和異常分類的統(tǒng)一深度學(xué)習(xí)框架。使用自編碼器進(jìn)行異常檢測(cè)和定位。自編碼器架構(gòu)包括具有多個(gè)卷積層的編碼網(wǎng)絡(luò)，該編碼網(wǎng)絡(luò)可以從輸入圖像中生成潛變量；以及可從該潛變量重構(gòu)輸出圖像的解碼網(wǎng)絡(luò)。根據(jù)所公開的方法，基于自編碼器損失在訓(xùn)練數(shù)據(jù)集的圖像上訓(xùn)練自編碼器，該自編碼器損失包括通常除了其他損失(例如，重構(gòu)損失)之外的注意力損失。該注意力損失促使編碼器網(wǎng)絡(luò)生成最大化聚焦于圖像的正常區(qū)域的注意力圖。由此，給定異常輸入圖像，編碼器網(wǎng)絡(luò)被配置為生成在空間上定位異常的注意力圖。在內(nèi)部申請(qǐng)6公開WO2021062133A1中描述了本發(fā)明中可適當(dāng)采用的用于異常檢測(cè)和定位的自編碼器架構(gòu)的一個(gè)示例。[0018]對(duì)于異常分割，所公開的方法使用相同編碼器網(wǎng)絡(luò)(用于異常檢測(cè)和定位)的卷積層作為無監(jiān)督學(xué)習(xí)過程中的圖像分割模型的特征提取器。訓(xùn)練圖像分割模型包括交替執(zhí)行前向過程和后向過程，如下所描述。前向過程包括使用編碼器網(wǎng)絡(luò)從訓(xùn)練圖像提取特征表示并且優(yōu)化像素的聚類標(biāo)簽。后向過程包括通過分割誤差的反向傳播來優(yōu)化特征表示，由此同時(shí)更新編碼器網(wǎng)絡(luò)和圖像分割模型的參數(shù)。[0019]已經(jīng)觀察到，自編碼器和圖像分割模型的聯(lián)合訓(xùn)練提供了更快的訓(xùn)練并且大大提高了各自模型的準(zhǔn)確性，并在學(xué)習(xí)過程中相互通知。在一個(gè)實(shí)施方式中，自編碼器和圖像分割模型可以通過基于交替迭代中的自編碼器損失和分割誤差更新它們的相應(yīng)參數(shù)來進(jìn)行聯(lián)合訓(xùn)練。聯(lián)合訓(xùn)練還使用小樣本學(xué)習(xí)對(duì)編碼器網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練以用于異常分類。在一些實(shí)施方式中，在自編碼器和圖像分割模型的聯(lián)合訓(xùn)練開始之前，可基于指定數(shù)量的訓(xùn)練周期的自編碼器損失來訓(xùn)練自編碼器，以達(dá)到期望的模型穩(wěn)定性。[0020]根據(jù)所公開的方法，已經(jīng)訓(xùn)練用于異常檢測(cè)、定位及分割的編碼器網(wǎng)絡(luò)隨后在小樣本學(xué)習(xí)過程中被調(diào)節(jié)，以用于異常分類任務(wù)。小樣本學(xué)習(xí)過程是基于使用編碼器網(wǎng)絡(luò)從由訓(xùn)練數(shù)據(jù)集創(chuàng)建的相應(yīng)支持集和查詢集中的異常圖像中提取特征表示。支持集特征表示被用于學(xué)習(xí)支持集中的異常類別的嵌入。查詢集特征表示被用于計(jì)算分類誤差，該分類誤差可被反向傳播以更新編碼器網(wǎng)絡(luò)。[0021]所公開的方法尤其適用于制造過程中用于分割缺陷區(qū)域并對(duì)制造零件的缺陷進(jìn)行分類的視覺質(zhì)量檢測(cè)。模型預(yù)測(cè)可以用于確定缺陷的原因以及實(shí)施糾正措施，諸如調(diào)整制造過程參數(shù)，以便在未來防止類似缺陷的發(fā)生。[0022]圖1示出了根據(jù)示例性實(shí)施方式的用于異常檢測(cè)和定位的深度學(xué)習(xí)框架100,該學(xué)習(xí)框架被擴(kuò)展到無監(jiān)督的異常分割。包括自編碼器110和圖像分割模型140及其組件的框架100可以由計(jì)算系統(tǒng)以各種方式實(shí)現(xiàn)，例如作為硬件模塊和軟件模塊。用于軟件模塊的編程可以采取存儲(chǔ)在非暫時(shí)性機(jī)器可讀存儲(chǔ)介質(zhì)上的處理器可執(zhí)行指令的形式，并且硬件可以包括用于執(zhí)行這些指令的處理器。本發(fā)明所描述的系統(tǒng)、設(shè)備及模塊的處理能力可被分布在多個(gè)系統(tǒng)組件之間，諸如在多個(gè)處理器和存儲(chǔ)器之間，可選地包括多個(gè)分布式處理系統(tǒng)或云/網(wǎng)絡(luò)元件。[0023]在來自訓(xùn)練數(shù)據(jù)集112的圖像上訓(xùn)練自編碼器110。根據(jù)所公開的實(shí)施方式，可以在弱監(jiān)督學(xué)習(xí)過程中利用粗略注釋的圖像來訓(xùn)練自編碼器110。例如，對(duì)于視覺質(zhì)量檢測(cè)用例，訓(xùn)練數(shù)據(jù)集112可以包括表示標(biāo)稱制造零件的“正常”圖像和表示缺陷制造零件的“異?！眻D像的圖像級(jí)標(biāo)簽。在其他實(shí)施方式中，可以在無監(jiān)督學(xué)習(xí)過程中訓(xùn)[0024]如圖1所示，輸入圖像x通過編碼器網(wǎng)絡(luò)114,該編碼器網(wǎng)絡(luò)包括生成潛變量z作為輸出的多個(gè)卷積層(例如，包括殘差網(wǎng)絡(luò))。為了保持潛變量z與輸入圖像x之間的空間關(guān)系，潛變量z可以包括卷積變量。潛變量z由解碼器網(wǎng)絡(luò)116(例如，還包括殘差網(wǎng)絡(luò))使用以生成重構(gòu)圖像父，該圖像為原始輸入圖像x的重構(gòu)。用于訓(xùn)練自編碼器的損失函數(shù)L通常包括重構(gòu)損失LR,該重構(gòu)損失是訓(xùn)練批中的輸入圖像x與重構(gòu)圖像父之間的誤差(例如，均方誤差)的度量。所示示例描繪了變分自編碼器，其中，損失函數(shù)L還包括Kullback-Liebler散度(KL)以計(jì)算潛變量z中的真實(shí)分布與近似分布之間的統(tǒng)計(jì)距離。為了避免模糊重構(gòu)，所示示例使7用鑒別器118來改進(jìn)訓(xùn)練的穩(wěn)定性并且使用基于對(duì)抗損失Ladv的對(duì)抗學(xué)習(xí)來生成更清晰的[0026]在弱監(jiān)督環(huán)境中，可以使用幾個(gè)異常圖像，通常(但非必須)在訓(xùn)練數(shù)據(jù)集112的及其地面真實(shí)標(biāo)簽y,分類器120的預(yù)測(cè)p可被定義為p∈{ca,cn},其中，ca和cn分別為異常類別和正常類別。二元分類器120可以基于預(yù)測(cè)的類別標(biāo)簽p和地面真實(shí)標(biāo)簽y使用二元分注意力圖覆蓋的圖像的區(qū)域最小化，并且同時(shí)強(qiáng)制正常類別的注意力圖覆蓋整個(gè)圖類器120分類為異常的圖像時(shí)，底層的異常注意力圖將聚焦于被解決方案認(rèn)為是異常的圖要使用注意力損失Lattn來避免。因此，可以僅針對(duì)由二元分類器120正確分類的正常圖像8分類器120預(yù)測(cè)輸入圖像是正常還是異常。對(duì)于分類為異常的測(cè)試圖像可生成注意力圖，該注意力圖可被用于在空間上定位測(cè)試圖像中的異常。[0034]注意力圖可以指示編碼器網(wǎng)絡(luò)聚焦以檢測(cè)異常的輸入圖像的區(qū)域。然而，對(duì)于缺陷的詳細(xì)分析，通常有助于了解缺陷的幾何形狀。異常分割通過將標(biāo)簽分配給圖像像素以用于分離屬于缺陷區(qū)域的像素而提供更精細(xì)形式的異常定位，這可以更好地描述缺陷的幾何形狀。傳統(tǒng)的基于監(jiān)督深度學(xué)習(xí)的分割算法需要示出分割的缺陷的詳細(xì)標(biāo)注數(shù)據(jù)，這在工業(yè)環(huán)境中獲取成本高昂。所公開的方法基于不依賴于詳細(xì)的地面真實(shí)分割圖數(shù)據(jù)的無監(jiān)督圖像分割算法。[0035]在以下出版物中描述了無監(jiān)督圖像分割的示例：A.Kanezaki的“通過反向傳播進(jìn)行無監(jiān)督圖像分割”,2018年IEEE國際聲學(xué)、語音和信號(hào)處理會(huì)議(ICASSP),加拿大卡爾加[0036]繼續(xù)參考圖1,所描述的用于異常檢測(cè)和定位的深度學(xué)習(xí)框架可以擴(kuò)展為在無監(jiān)督學(xué)習(xí)過程中訓(xùn)練圖像分割模型140。根據(jù)所公開的實(shí)施方式，圖像分割模型140可以被訓(xùn)練為基于二元聚類優(yōu)化像素的聚類標(biāo)簽，使得圖像分割模型140被配置為將異常圖像中的缺陷區(qū)域從背景中分割出來。在無監(jiān)督學(xué)習(xí)過程中，給定來自訓(xùn)練數(shù)據(jù)集112的輸入圖像x,通過使圖像x通過編碼器網(wǎng)絡(luò)114的卷積層來提取特征表示{x}。對(duì)像素的聚類標(biāo)簽與特征表示{x。}進(jìn)行聯(lián)合優(yōu)化，以更新編碼器網(wǎng)絡(luò)114和圖像分割模型140的參數(shù)。交替執(zhí)行前向過程中的像素標(biāo)簽預(yù)測(cè)與后向過程中的網(wǎng)絡(luò)參數(shù)學(xué)習(xí)，以滿足三個(gè)主要約束：(a)相似特征的像素將被分配相同的標(biāo)簽，(b)空間連續(xù)的像素將被分配相同的標(biāo)簽，以及(c)唯一標(biāo)簽的數(shù)目預(yù)計(jì)較大。[0037]根據(jù)所公開的實(shí)施方式，可以在前向過程中優(yōu)化像素的聚類標(biāo)簽，如下所描述?？梢曰?D卷積使用編碼器網(wǎng)絡(luò)114從輸入圖像x中提取特征表示,其中，由d維特征向量x。表示每個(gè)像素n,并且N是輸入圖像x中的像素的總數(shù)?？梢詫⒎诸惸Ｐ蛻?yīng)用于所提取的特征向量x。以生成逐像素響應(yīng)圖。分類模型可以包括任何能夠?qū)⒕哂邢嗨铺卣飨蛄康南袼胤诸惖较嗤瑯?biāo)簽中的模型，從而強(qiáng)制約束(a)。在所示實(shí)施方式中，分類模型包括[0038]為了強(qiáng)制約束(c)并且避免欠分割，原始響應(yīng)圖{y}可以通過批歸一化過程144歸一化以生成歸一化響應(yīng)圖{y′n}n=1,從而使得{y′n}具有零均值和單位方差，其中，y′n∈R。這樣，每個(gè)y′n,;(i=1,...q)就有均等的機(jī)會(huì)成為跨軸的最大值{y'n}。可通過使用argmax分類操作146確定在y′,中具有最大值的維度來計(jì)算每個(gè)像素n的聚類標(biāo)簽1。因此，argmax分類操作146生成聚類標(biāo)簽{1},這得到基于特征向量聚類成q個(gè)聚類的經(jīng)分割的圖像148。[0039]為了實(shí)現(xiàn)根據(jù)約束(b)的像素的空間連續(xù)性，可以經(jīng)由超級(jí)像素細(xì)化操作150將相鄰像素分組成超級(jí)像素，從而強(qiáng)制超級(jí)像素中的每個(gè)像素具有相同的聚類標(biāo)簽?？梢詾槌?jí)像素中的所有像素的聚類標(biāo)簽分配聚類中的最頻繁的標(biāo)簽。通過這種方式，可以生成細(xì)9化的聚類標(biāo)簽{1′},從而得到具有數(shù)量減少的聚類標(biāo)簽的經(jīng)分割的圖像152。因此，可以在前向過程中優(yōu)化聚類標(biāo)簽以及聚類的數(shù)量。在所示示例中，超級(jí)像素細(xì)化之后的聚類標(biāo)簽的最大數(shù)量被設(shè)置為2,由此缺陷對(duì)象區(qū)域可以與圖像的其余部分分離。[0040]在后向過程中，圖像分割模型140和編碼器網(wǎng)絡(luò)114的參數(shù)是基于使用聚類標(biāo)簽和逐像素響應(yīng)圖計(jì)算的分割誤差154進(jìn)行更新的。在所示示例中，分割誤差154被計(jì)算為歸一化響應(yīng)圖{y′}和精細(xì)化聚類標(biāo)簽{1',}之間的SoftMax損失。分割誤差154可基于梯度下降來反向傳播(如虛線154所示),以更新編碼器網(wǎng)絡(luò)114的卷積過濾器的參數(shù)以及線性分類器142的參數(shù)。[0041]在一個(gè)實(shí)施方式中，可以在用于異常檢測(cè)和定位(如上所描述)的自編碼器的每個(gè)訓(xùn)練迭代之后，執(zhí)行用于圖像分割的非監(jiān)督學(xué)習(xí)的前向過程和后向過程，以獲得聚類標(biāo)簽{1′}的最終預(yù)測(cè)。通過這種方式，自編碼器110和圖像分割模型140可以在相互學(xué)習(xí)同時(shí)進(jìn)行聯(lián)合訓(xùn)練，以提供更快的訓(xùn)練并產(chǎn)生高精度的預(yù)測(cè)。[0042]一旦檢測(cè)并定位到異常，便希望以更細(xì)粒度的水平對(duì)其進(jìn)行分類以更好地理解缺陷的根本原因。然而，挑戰(zhàn)在于，對(duì)于許多異常類別，缺乏足夠的數(shù)據(jù)用于訓(xùn)練傳統(tǒng)的基于深度學(xué)習(xí)的分類算法。例如，在許多制造應(yīng)用中，每個(gè)缺陷類別的可用數(shù)據(jù)可能少于10個(gè)樣本。此外，傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)(諸如卷積神經(jīng)網(wǎng)絡(luò))通常在訓(xùn)練中每次輸入一批樣本直到覆蓋整個(gè)訓(xùn)練數(shù)據(jù)集，并且因此不能穩(wěn)健地處理不平衡數(shù)據(jù)。[0043]所公開的方法采用小樣本學(xué)習(xí)(FSL),也稱為低樣本學(xué)習(xí)(LSL)來訓(xùn)練編碼器網(wǎng)絡(luò)114用于異常分類任務(wù)。FSL是一種元學(xué)習(xí)，其中在元訓(xùn)練階段中，通過在各種相關(guān)任務(wù)上訓(xùn)練學(xué)習(xí)器，使其在元測(cè)試階段僅憑少量樣例即可對(duì)未見任務(wù)實(shí)現(xiàn)良好泛化。編碼器網(wǎng)絡(luò)114已經(jīng)如圖1所示在異常檢測(cè)、定位及分割方面進(jìn)行了訓(xùn)練，因此可以用作可隨后使用FSL微調(diào)的預(yù)先訓(xùn)練的特征提取器。采用這種方法，取決于數(shù)據(jù)可用性，每個(gè)類別1至10個(gè)樣本可足夠用于訓(xùn)練。這種方法還可以處理類別樣本數(shù)量的數(shù)據(jù)分布不均的問題。[0044]根據(jù)所公開的方法，將訓(xùn)練數(shù)據(jù)集112基于M-wayK-shot范式劃分成支持集和查詢集，其中，M是異常類別的數(shù)量并且K是每個(gè)類別的樣本數(shù)量。預(yù)先訓(xùn)練的編碼器網(wǎng)絡(luò)114被用于對(duì)支持集以及查詢集進(jìn)行特征提取。支持集和查詢集包括來自訓(xùn)練數(shù)據(jù)集112的異常圖像，這些異常圖像已經(jīng)被分配了地面真實(shí)異常類別標(biāo)簽。支持集特征表示被用于學(xué)習(xí)異常類別的嵌入。查詢集特征表示被用于計(jì)算分類損失，用于更新編碼器網(wǎng)絡(luò)114。[0045]適用于所公開的方法的FSL方法的示例涉及采用原型網(wǎng)絡(luò)，盡管其他FSL方法也可以適用。原型網(wǎng)絡(luò)學(xué)習(xí)度量空間，在該度量空間中可以通過計(jì)算與每個(gè)類別的原型表示的距離來進(jìn)行分類。在本申請(qǐng)中，編碼器網(wǎng)絡(luò)114可以作為原型網(wǎng)絡(luò)。在用利用編碼器網(wǎng)絡(luò)114提取的支持集特征表示來計(jì)算支持集中每個(gè)異常類別的原型作為在嵌入空間中的異常類別中樣本的均值向量表示?？梢曰谟?jì)算與嵌入空間中每個(gè)異常類別的原型的距離來對(duì)查詢集中的樣本進(jìn)行分類，并由此計(jì)算預(yù)測(cè)分類與地面真實(shí)標(biāo)簽之間的分類誤差。分類誤差可被反向傳播以更新或調(diào)節(jié)編碼器網(wǎng)絡(luò)114的參數(shù)。在元測(cè)試階段中，使用編碼器網(wǎng)絡(luò)114提取的學(xué)習(xí)良好的嵌入特征表示，用于計(jì)算查詢圖像與從支持集生成的類別原型之中的距離。最終異常分類可通過計(jì)算查詢實(shí)例的后驗(yàn)概率來進(jìn)行。在一些實(shí)施方式中，類別激活映射可被用于可視化和解釋與特定異常類別最相關(guān)的判別關(guān)注區(qū)域。[0046]圖2示出了根據(jù)本發(fā)明中公開的實(shí)施方式訓(xùn)練的用于對(duì)圖像中的異常進(jìn)行聯(lián)合檢測(cè)、定位、分割及分類的基于深度學(xué)習(xí)的視覺系統(tǒng)200。視覺系統(tǒng)200可以適當(dāng)?shù)夭渴鹩糜趯?duì)由制造過程生產(chǎn)的零件進(jìn)行視覺質(zhì)量檢測(cè)。可以通過獲取待檢測(cè)的制造零件的圖像202來進(jìn)行視覺質(zhì)量檢測(cè)。例如，圖像202可以經(jīng)由生產(chǎn)線的檢測(cè)站處的相機(jī)來獲取。所獲取的圖像202可以被輸入到具有經(jīng)訓(xùn)練的卷積過濾器的編碼器網(wǎng)絡(luò)114,以提取所獲取的圖像202的特征表示204.特征表示204可以表示編碼器網(wǎng)絡(luò)114的最終卷積層的輸出。所提取的特征表示204可被用于聯(lián)合異常檢測(cè)(將圖像202分類為正常或異常)、定位及分割；并且如果是[0047]對(duì)于異常檢測(cè)，圖像202的所提取的特征表示204可以通過經(jīng)訓(xùn)練的二元分類器則在圖像202中檢測(cè)到異常，這表明零件有缺陷。在一些實(shí)施方式中，可將二元分類器120預(yù)測(cè)的梯度被反向傳播，用于生成注意力圖，該注意力圖基于影響二元分測(cè)的區(qū)域，在空間上定位圖像202中的異常?？梢陨奢敵鰣D像208,該輸出圖像描繪了具有基于注意力圖定位檢測(cè)到的異常的缺陷零件。[0048]對(duì)于異常分割，圖像202的所提取的特征表示204可以用經(jīng)訓(xùn)練的參數(shù)(例如，線性分類器參數(shù))饋送至圖像分割模型140,以預(yù)測(cè)圖像中像素的聚類標(biāo)簽。根據(jù)上述所公開的實(shí)施方式，可以使用圖像分割模型140來進(jìn)行圖像像素的二元聚類，以生成具有將缺陷對(duì)象區(qū)域與背景分離的經(jīng)細(xì)化的像素標(biāo)簽的輸出圖像210。[0049]圖3示出了異常定位與分割的示例。這里，輸入圖像202示出了制造零件的一部分，該部分具有通過持有沉積噴嘴的機(jī)械臂沉積在零件表面上的膠點(diǎn)302。膠點(diǎn)302的標(biāo)稱或形狀并且因此導(dǎo)致圖像202被分類為“異?！?。圖像208示出了使用注意力圖的異常定位的輸出，其僅突出了作用于“異?！狈诸惖膱D像的特定區(qū)域304。圖像210示出了異常分割的輸出，其基于圖像像素的二元聚類從圖像的其余部分分割缺陷對(duì)象區(qū)域。注意，在這種情況下，缺陷對(duì)象是膠點(diǎn)，并且分割區(qū)域306包括整個(gè)缺陷膠點(diǎn)，這描述了缺陷的精確幾何形狀，可用于進(jìn)一步的缺陷量化。[0050]繼續(xù)參考圖2,在圖像202中已檢測(cè)到異常的情況下(由決策塊212表示),可觸發(fā)FSL框架220以預(yù)測(cè)異常類別。可以將從編碼器網(wǎng)絡(luò)114提取的特征表示204作為查詢特征向量222饋送至FSL框架220.FSL框架220可以基于使用編碼器網(wǎng)絡(luò)114學(xué)習(xí)的嵌入。根據(jù)所公開的實(shí)施方式，編碼器網(wǎng)絡(luò)114可以作為原型網(wǎng)絡(luò)，用于提取特征表示204以定義支持集的特征向量224.支持集可以包括一組異常圖像，該組異常圖像具有針對(duì)多個(gè)異常類別的地面真實(shí)類別標(biāo)簽，每個(gè)類別具有一個(gè)或多個(gè)樣本。支持集中的異常類別可以類似于或不同于在元訓(xùn)練期間使用的異常類別。支持集的特征向量224可被用于原型學(xué)習(xí)226,其涉及將支持集中的每個(gè)異常類別的類別原型228計(jì)算為嵌入空間中的異常類別中樣本的均值向量表示?？梢酝ㄟ^計(jì)算在查詢特征向量222與每個(gè)類原型228之間的距離230(例如，歐幾里得距離)并通過識(shí)別具有到查詢特征向量222的最小距離的類原型228來計(jì)算類別后驗(yàn)概率232,從而進(jìn)行異常分類。與到查詢特征向量222具有最小距離的所識(shí)別的類原型228相關(guān)聯(lián)的異常類別可以被輸出為圖像202的所預(yù)測(cè)的異常類別234。[0051]圖4示出了異常分類的示例，描繪了上述基于原型網(wǎng)絡(luò)的異常分類器在每種情況中用于一組測(cè)試圖像202的輸出402。測(cè)試圖像202分別示出了制造零件，其具有沉積在零件11表面上的膠點(diǎn)，類似于圖3中所示的示例。在本示例中，異常分類在兩的輸出402將所預(yù)測(cè)的異常類別標(biāo)簽與地面真實(shí)(GT)異常類別標(biāo)簽進(jìn)行比較。[0052]異常分類，通常與異常分割結(jié)合可用于分析制造零件中的缺陷以確定糾正措施。繼續(xù)以圖4中所示的示例為例，分類為“細(xì)長(zhǎng)”或“尾部”械臂未以最佳速