(19)國家知識產(chǎn)權(quán)局(12)發(fā)明專利(10)授權(quán)公告號CN112567384B(21)申請?zhí)?01980047703.0(22)申請日2019.06.06(65)同一申請的已公布的文獻(xiàn)號申請公布號CN112567384A(43)申請公布日2021.03.26(30)優(yōu)先權(quán)數(shù)據(jù)(85)PCT國際申請進(jìn)入國家階段日(86)PCT國際申請的申請數(shù)據(jù)(87)PCT國際申請的公布數(shù)據(jù)WO2019/236885EN2019.12.12(74)專利代理機(jī)構(gòu)廣州嘉權(quán)專利商標(biāo)事務(wù)所有限公司44205專利代理師趙學(xué)超(56)對比文件US9349076B1,2016.05.24權(quán)利要求書2頁說明書7頁附圖8頁(54)發(fā)明名稱圖案查找工具存儲的模板寫使用過程132B0(57)摘要的系統(tǒng)和方法，該系統(tǒng)結(jié)合了神經(jīng)網(wǎng)絡(luò)分類器。圖案查找工具與分類器耦合，該分類器可在工具之前或之后運(yùn)行，以具有亞像素精度的標(biāo)記圖案結(jié)果。對于可檢測多個模板的圖案查找工具，當(dāng)神經(jīng)網(wǎng)絡(luò)分類器通知圖案查找工具只在最初訓(xùn)練的模板的子集上工作時，其性能得到改善。類似地，開始時圖案查找工具檢測圖案，然后神經(jīng)網(wǎng)絡(luò)分類器可確定它是否查找到了正確的圖案。神經(jīng)網(wǎng)絡(luò)還可重建/清理成像的形狀，和/或消除(57)摘要21.一種用于在制造過程期間捕獲的運(yùn)行時間圖像中查找圖案的系統(tǒng)，包括：圖案查找工具，所述圖案查找工具是基于與一個或多個訓(xùn)練圖像相關(guān)的一個或多個模板訓(xùn)練的，所述一個或多個訓(xùn)練圖像包含對應(yīng)于所述制造過程中的零件的感興趣圖案；神經(jīng)網(wǎng)絡(luò)分類器，在所述一個或多個訓(xùn)練圖像上訓(xùn)練所述神經(jīng)網(wǎng)絡(luò)分類器；所述訓(xùn)練的神經(jīng)網(wǎng)絡(luò)分類器基于所述零件的運(yùn)行時間圖像確定與所述一個或多個模板中的每一個相關(guān)聯(lián)的標(biāo)簽，并基于所述標(biāo)簽向圖案查找工具提供所述一個或多個模板的子集，并且所述訓(xùn)練的圖案查找工具基于與所述零件的所述運(yùn)行時間圖像組合的所述一個或多個模板的所述子集執(zhí)行圖案匹配。2.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述圖案查找工具適于使用多個所述模板來訓(xùn)3.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述圖案查找工具在單個模板上訓(xùn)練。4.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述神經(jīng)網(wǎng)絡(luò)包括卷積神經(jīng)網(wǎng)絡(luò)(CNN)。5.一種用于在制造過程期間捕獲的運(yùn)行時間圖像中查找圖案的系統(tǒng)，包括：神經(jīng)網(wǎng)絡(luò)，所述神經(jīng)網(wǎng)絡(luò)訓(xùn)練為在所述制造過程中的零件的圖像中定位一個或多個候選形狀，并且布置為在所述制造過程期間識別所述運(yùn)行時間圖像中存在所述一個或多個候補(bǔ)形狀的概率，并且由此生成(a)具有超過概率閾值的所述一個或多個候選形狀的特征的加權(quán)掩模，或(b)重建的圖像，其中，在所述重建的圖像中替換所述一個或多個候選形狀的模型的特征，其中，所述神經(jīng)網(wǎng)絡(luò)識別超過所述概率閾值的所述一個或多個候選形狀的特征的存在；圖案查找工具，使用與所述一個或多個候選形狀相關(guān)的一個或多個模型來訓(xùn)練所述圖案查找工具，以在(a)所述加權(quán)掩?；?b)所述重建圖像中查找到所述一個或多個候選形其中，所述神經(jīng)網(wǎng)絡(luò)向所述圖案查找工具提供關(guān)于所述一個或多個候選形狀的類型的存在的數(shù)據(jù)，并且所述圖案查找工具將處理限制為與定位所述類型相關(guān)的處理。6.根據(jù)權(quán)利要求5所述的系統(tǒng)，其中，所述神經(jīng)網(wǎng)絡(luò)定義所述加權(quán)掩模，其中，每個像素具有與所述一個或多個候補(bǔ)形狀的識別相關(guān)的分?jǐn)?shù)。7.根據(jù)權(quán)利要求5所述的系統(tǒng)，其中，所述重建圖像定義為二值圖像。8.根據(jù)權(quán)利要求5所述的系統(tǒng)，其中，所述神經(jīng)網(wǎng)絡(luò)包括卷積神經(jīng)網(wǎng)絡(luò)(CNN)。9.一種用于在制造過程期間捕獲的運(yùn)行時間圖像中查找圖案的系統(tǒng)，包括：神經(jīng)網(wǎng)絡(luò)，所述神經(jīng)網(wǎng)絡(luò)訓(xùn)練為在所述制造過程中的零件的圖像中定位一個或多個候選形狀，并且布置為在所述制造過程期間識別所述運(yùn)行時間圖像中存在所述一個或多個候補(bǔ)形狀的概率，并且由此生成(a)具有超過概率閾值的所述一個或多個候選形狀的特征的加權(quán)掩模，和(b)重建的圖像，其中，在所述重建的圖像中替換所述一個或多個候選形狀的模型的特征，其中，所述神經(jīng)網(wǎng)絡(luò)識別超過所述概率閾值的所述一個或多個候選形狀的特征的存在；圖案查找工具，使用與所述一個或多個候選形狀相關(guān)的一個或多個模型來訓(xùn)練所述圖案查找工具，以在(a)所述加權(quán)掩模和(b)所述重建的圖像中查找到所述一個或多個候選形3其中，所述神經(jīng)網(wǎng)絡(luò)向所述圖案查找工具提供關(guān)于所述一個或多個候選形狀的類型的存在的數(shù)據(jù)，并且所述圖案查找工具將處理限制為與定位所述類型相關(guān)的處理。10.一種用于在制造過程期間捕獲的運(yùn)行時間圖像中查找圖案的方法，包括：用神經(jīng)網(wǎng)絡(luò)定位所述制造過程中的零件的圖像中的一個或多個候選形狀，并且在所述制造過程期間識別所述運(yùn)行時間圖像中存在所述一個或多個候補(bǔ)形狀的概率；以及生成(a)具有超過概率閾值的所述一個或多個候選形狀的特征的加權(quán)掩模，或(b)重建的圖像，其中，在所述重建的圖像中替換所述一個或多個候選形狀的模型的特征，其中，所述神經(jīng)網(wǎng)絡(luò)識別超過所述概率閾值的所述一個或多個候選形狀的特征的存在；利用圖案查找工具在(a)所述加權(quán)掩?；?b)所述重建的圖像中查找所述一個或多個候選形狀，使用相對于所述一個或多個候選形狀的一個或多個模型來訓(xùn)練所述圖案查找工其中，從所述神經(jīng)網(wǎng)絡(luò)向所述圖案查找工具提供關(guān)于所述一個或多個候選形狀的類型的存在的數(shù)據(jù)，并且將所述圖案查找的處理限制為與定位所述類型相關(guān)的處理。11.根據(jù)權(quán)利要求10所述的方法，還包括用所述神經(jīng)網(wǎng)絡(luò)定義所述加權(quán)掩模，使得其中的每個像素具有與所述一個或多個候補(bǔ)形狀的識別相關(guān)的分?jǐn)?shù)。12.根據(jù)權(quán)利要求10所述的方法，還包括將所述重建的圖像定義為二值圖像。13.根據(jù)權(quán)利要求10所述的方法，其中，所述神經(jīng)網(wǎng)絡(luò)包括卷積神經(jīng)網(wǎng)絡(luò)(CNN)。14.一種用于在制造過程期間捕獲的運(yùn)行時間圖像中查找圖案的系統(tǒng)，包括：神經(jīng)網(wǎng)絡(luò)，所述神經(jīng)網(wǎng)絡(luò)訓(xùn)練為在所述制造過程中的零件的圖像中定位一個或多個候選形狀，并且布置為在所述制造過程期間識別所述運(yùn)行時間圖像中所述一個或多個候補(bǔ)形狀存在的概率，并且由此生成具有超過概率閾值的所述一個或多個候選形狀的特征的加權(quán)圖案查找工具，使用與所述一個或多個候選形狀相關(guān)的一個或多個模型來訓(xùn)練所述圖案查找工具，以在所述加權(quán)掩模中查找到所述一個或多個候選形狀；其中，所述神經(jīng)網(wǎng)絡(luò)向所述圖案查找工具提供關(guān)于所述一個或多個候選形狀的類型的存在的數(shù)據(jù)，并且所述圖案查找工具將處理限制為與定位所述類型相關(guān)的處理。15.一種用于在制造過程期間捕獲的運(yùn)行時間圖像中查找圖案的系統(tǒng)，包括：神經(jīng)網(wǎng)絡(luò)，所述神經(jīng)網(wǎng)絡(luò)訓(xùn)練為定位所述制造過程中的零件的圖像中的一個或多個候選形狀，并且布置為在所述制造過程期間識別所述運(yùn)行時間圖像中所述一個或多個候補(bǔ)形狀存在的概率，并且由此生成重建的圖像，其中，在所述重建的圖像中替換所述一個或多個候選形狀的模型的特征，其中，所述神經(jīng)網(wǎng)絡(luò)識別超過概率閾值的所述一個或多個候選形狀的特征的存在；圖案查找工具，使用與所述一個或多個候選形狀相關(guān)的一個或多個模型來訓(xùn)練所述圖案查找工具，以在所述重建的圖像中查找到所述一個或多個候選形狀；其中，所述神經(jīng)網(wǎng)絡(luò)向所述圖案查找工具提供關(guān)于所述一個或多個候選形狀的類型的存在的數(shù)據(jù)，并且所述圖案查找工具將處理限制為與定位所述類型相關(guān)的處理。16.根據(jù)權(quán)利要求15所述的系統(tǒng)，其中，所述重建的圖像定義了二值圖像。4用視覺系統(tǒng)在圖像中查找圖案并對圖案進(jìn)行分類的系統(tǒng)和方法技術(shù)領(lǐng)域[0001]本發(fā)明涉及機(jī)器視覺系統(tǒng)和方法，更具體地，涉及圖案搜索和識別工具。背景技術(shù)[0002]機(jī)器視覺系統(tǒng)，本文也稱為“視覺系統(tǒng)”,用于在制造環(huán)境中執(zhí)行各種任務(wù)。一般地，視覺系統(tǒng)由一個或多個帶有圖像傳感器(或“成像器”)的相機(jī)組成，圖像傳感器獲取包含制造中的對象的場景的灰度或彩色圖像。可對對象的圖像進(jìn)行分析，以向用戶和相關(guān)的制造過程提供數(shù)據(jù)/信息。圖像產(chǎn)生的數(shù)據(jù)通常由一個或多個視覺系統(tǒng)處理器中的視覺系上型電腦、平板電腦或智能手機(jī))中實(shí)例化的一個或多個軟件應(yīng)用程序的一部分。[0003]普通視覺系統(tǒng)任務(wù)包括對準(zhǔn)和檢查。在對準(zhǔn)任務(wù)中，視覺系統(tǒng)工具(例如從馬薩諸塞州的康耐視公司購買的眾所周知的PatMax?系統(tǒng))將場景圖像中的特征與訓(xùn)練(使用實(shí)際或合成模型)圖案進(jìn)行比較，并且確定成像場景中圖案的存在/不存在和姿態(tài)。此信息可用于后續(xù)檢查(或其它)操作，以搜索缺陷和/或執(zhí)行其它操作，例如零件拒收。[0004]希望提高傳統(tǒng)圖案查找工具的性能，這些工具可包括預(yù)定的可搜索圖案列表(例如圓形、正方形、螺旋圖像等)。通常，此類工具可能無法正確區(qū)分某些具有細(xì)微差異(例如圓形與帶有小凹口的圓形)的訓(xùn)練圖案。發(fā)明內(nèi)容[0005]本發(fā)明通過提供一種結(jié)合神經(jīng)網(wǎng)絡(luò)(也稱為“神經(jīng)網(wǎng)絡(luò)(neuralnet)”)分類器(有時也稱為“分析器”)的用于在圖像中查找圖案的系統(tǒng)和方法來克服現(xiàn)有技術(shù)的缺點(diǎn)。圖案查找工具與分類器耦合，該分類器可在工具之前或之后運(yùn)行，以獲得具有亞像素精度的標(biāo)記圖案結(jié)果。在可檢測多個模板的圖案查找工具的情況下，當(dāng)神經(jīng)網(wǎng)絡(luò)分類器通知圖案查找工具只在最初訓(xùn)練的模板的子集上工作時，其性能得到改善?？商娲?，當(dāng)在運(yùn)行圖案查找工具之前使用神經(jīng)網(wǎng)絡(luò)來重建或清除圖像時，可提高圖案查找工具的性能。此外，神經(jīng)網(wǎng)絡(luò)可用于基于圖像中每個像素屬于待匹配圖案的可能性來計算該像素的加權(quán)值。類似地，開始時圖案查找工具檢測圖案，然后神經(jīng)網(wǎng)絡(luò)分類器可確定其是否查找到了正確的圖案。[0006]在說明性實(shí)施例中，用于在圖像中查找圖案的系統(tǒng)和方法包括圖案查找工具，基于與包含感興趣圖案的一個或多個訓(xùn)練圖像相關(guān)的一個或多個模板訓(xùn)練該圖案查找工具。在一個或多個訓(xùn)練圖像上訓(xùn)練神經(jīng)網(wǎng)絡(luò)分類器，并且在運(yùn)行時間期間運(yùn)行時間模板匹配處理，其中，(a)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)分類器基于運(yùn)行時間圖像向圖案查找工具提供一個或多個模板，并且訓(xùn)練的圖案查找工具基于與運(yùn)行時間圖像組合的一個或多個模板圖像執(zhí)行圖案匹配，或者(b)訓(xùn)練圖案查找工具將從運(yùn)行時間圖像查找到的圖案提供給訓(xùn)練的神經(jīng)網(wǎng)絡(luò)分類器，并且訓(xùn)練的神經(jīng)網(wǎng)絡(luò)分類器基于查找到的圖案和運(yùn)行時間圖像執(zhí)行圖案匹配。圖案查找工具適于使用多個模板或在單個模板上進(jìn)行訓(xùn)練。神經(jīng)網(wǎng)絡(luò)包括卷積神經(jīng)網(wǎng)絡(luò)(CNN)。5[0007]在另一個實(shí)施例中，提供了一種用于在圖像中查找圖案的系統(tǒng)和方法，該系統(tǒng)和方法包括神經(jīng)網(wǎng)絡(luò)，該神經(jīng)網(wǎng)絡(luò)訓(xùn)練為在圖像中定位一個或多個候選形狀，并且布置為在運(yùn)行時間操作期間識別圖像中存在一個或多個形狀的概率。神經(jīng)網(wǎng)絡(luò)由此生成(a)具有超過概率閾值的一個或多個候選形狀的特征的加權(quán)掩模，和/或(b)重建的圖像，其中，在重建的圖像中替換一個或多個候選形狀的模型的特征，其中，神經(jīng)網(wǎng)絡(luò)分析器識別超過概率閾值的一個或多個候選形狀的特征的存在。說明性地，使用相對于一個或多個候選形狀的一個或多個模型來訓(xùn)練圖案查找工具，以在(a)加權(quán)掩模和/或(b)重建的圖像中查找到一個或多個候選形狀。神經(jīng)網(wǎng)絡(luò)可定義加權(quán)掩模，使得其中的每個像素具有與一個或多個形狀的識別相關(guān)的分?jǐn)?shù)。重建的圖像可被定義為二值圖像。說明性地，神經(jīng)網(wǎng)絡(luò)分析器向圖案查找工具提供關(guān)于一個或多個候選形狀的類型的存在的數(shù)據(jù)，并且圖案查找工具將所述處理限制為與定位該類型相關(guān)的處理。通常，神經(jīng)網(wǎng)絡(luò)可包括卷積神經(jīng)網(wǎng)絡(luò)(CNN)。附圖說明[0009]圖1為視覺系統(tǒng)的示意圖，該視覺系統(tǒng)布置為使用圖案查找工具結(jié)合神經(jīng)網(wǎng)絡(luò)分類器來分析包含不同形狀和/或圖案的成像對象；[0010]圖2為示出智能圖案查找工具的訓(xùn)練過程的框圖，該智能圖案查找工具包括在一個或多個圖像模板的相同集合上訓(xùn)練的神經(jīng)網(wǎng)絡(luò)分類器和圖案查找工具；[0011]圖3為使用圖2的訓(xùn)練的智能圖案查找工具對輸入圖像進(jìn)行運(yùn)行時間操作的框圖，其中，神經(jīng)網(wǎng)絡(luò)分類器在圖案查找工具之前運(yùn)行；[0012]圖4為示出智能圖案查找工具的訓(xùn)練過程的框圖，該智能圖案查找工具包括在單個模板的一個或多個圖像上訓(xùn)練的神經(jīng)網(wǎng)絡(luò)分類器和圖案查找工具；[0013]圖5為使用圖4的訓(xùn)練的智能圖案查找工具對輸入圖像進(jìn)行運(yùn)行時間操作的框圖，其中，神經(jīng)網(wǎng)絡(luò)分類器在圖案查找工具之后運(yùn)行；[0014]圖6為示出了應(yīng)用神經(jīng)網(wǎng)絡(luò)來初始搜索/確定圖像中的候選形狀，然后應(yīng)用圖案查找工具來細(xì)化搜索/確定的過程的概述的流程圖；[0015]圖7為示出在圖6的過程中神經(jīng)網(wǎng)絡(luò)的訓(xùn)練和運(yùn)行時間操作的流程圖；[0016]圖8為示出使用由圖7的神經(jīng)網(wǎng)絡(luò)過程提供的圖像結(jié)果的圖案查找工具的運(yùn)行時間操作的流程圖；[0017]圖9為示出與圖5的圖案查找工具相關(guān)的加權(quán)掩模的創(chuàng)建的框圖；[0018]圖10為示出根據(jù)圖9處理示例性感興趣形狀和包含感興趣形狀和感興趣形狀模型的獲取的圖像數(shù)據(jù)以生成加權(quán)掩模的示意圖；[0019]圖11為示出使用根據(jù)圖5的神經(jīng)網(wǎng)絡(luò)來重建或清理獲取的圖像數(shù)據(jù)中的感興趣形[0020]圖12為示出處理包含感興趣形狀的示例性獲取的圖像數(shù)據(jù)以生成根據(jù)圖11的該形狀的重建的和/或清理后的版本(例如作為二值圖像)的示意圖。具體實(shí)施方式[0021]I.系統(tǒng)概述6[0022]圖1示出了根據(jù)說明性系統(tǒng)和方法使用的通用視覺系統(tǒng)裝置100.視覺系統(tǒng)可在任何可接受的環(huán)境中實(shí)現(xiàn)，包括零件/表面檢查、機(jī)器人控制、個視覺系統(tǒng)相機(jī)組件110,該視覺系統(tǒng)相機(jī)組件110具有光學(xué)件0和圖像傳感器(也稱為“傳景120成像，該場景可包括一個或多個靜止或運(yùn)動對象130。在這個示例中，對象包括輪廓形何幾何形狀或?qū)ο蟮娜我?-D圖像。[0023]相機(jī)組件110和相關(guān)的傳感器S互連到視覺系統(tǒng)處理器140,該視覺系統(tǒng)處理器可腦、平板電腦或智能手機(jī)(計算機(jī)160)。計算設(shè)備可包括適當(dāng)?shù)挠脩艚换?，例如顯示器/觸摸[0024]說明性地，視覺系統(tǒng)處理(處理器)140操作各種視覺系統(tǒng)工具和相關(guān)軟件/固件，以在運(yùn)行時間期間操縱和分析對象130的獲取和/或存儲的圖像。處理(處理器)140可訓(xùn)練為根據(jù)特定參數(shù)起作用，并且使用訓(xùn)練過程來識別在對象中查找到的特定形狀。處理(處理器)140包括各種視覺系統(tǒng)組件，視覺系統(tǒng)組件包括圖案查找工具142,例如在上述PatMax?軟件包及其變體(例如PatMax?Multi-Model)中查找到的那些圖案查找工具。圖案查找工具可采用訓(xùn)練模板144中包含的訓(xùn)練圖案或標(biāo)準(zhǔn)形狀圖案(正方形、圓形等)。如下所述，視覺系統(tǒng)處理(處理器)還包括神經(jīng)網(wǎng)絡(luò)處理(處理器)150,或與該神經(jīng)網(wǎng)絡(luò)處理(處理器)對接。神經(jīng)網(wǎng)絡(luò)處理(處理器)(也稱為“神經(jīng)網(wǎng)絡(luò)”)150以分類器的形式對各種圖案進(jìn)行操作，以提高系統(tǒng)100的圖案查找速度和性能。[0025]圖案查找的結(jié)果可通過計算機(jī)接口162傳送給用戶，和/或傳送給另一個下游使用設(shè)備或處理(處理器)180。這種設(shè)備或處理(處理器)可包括裝配機(jī)器人控制器、生產(chǎn)線檢[0026]已認(rèn)識到，傳統(tǒng)的圖案匹配方法需要使用具有感興趣形狀或特征的模型圖像來訓(xùn)練常規(guī)的圖案匹配工具，例如PatMax?或PatMax?MultiModel。在運(yùn)行時間期間，圖案匹配工具運(yùn)行通過訓(xùn)練模板中的一個或多個(可能全部),以努力在檢查對象的獲取圖像中定位與訓(xùn)練圖案的正確匹配。[0027]相反，本實(shí)施例提供了一種智能圖案查找工具，其利用神經(jīng)網(wǎng)絡(luò)處理來增強(qiáng)傳統(tǒng)的圖案查找工具，從而使其具有在工具結(jié)果中自動標(biāo)記查找的圖案或者使用相關(guān)的神經(jīng)網(wǎng)絡(luò)分類器來可靠地檢測圖案的能力。在操作中，這種方法允許在包含模板的圖像數(shù)據(jù)庫上訓(xùn)練智能圖案查找工具。訓(xùn)練后，在運(yùn)行時間期間，智能圖案查找器工具結(jié)合了傳統(tǒng)圖案查找器和神經(jīng)網(wǎng)絡(luò)分類器的最佳特性，以提供具有高度精確姿態(tài)(位置、比例、旋轉(zhuǎn)等)的正確標(biāo)記圖案查找結(jié)果。[0028]I.使用神經(jīng)網(wǎng)絡(luò)優(yōu)化搜索的圖案查找[0029]參考圖2,其示出了表示運(yùn)行時間前的訓(xùn)練時間過程200的框圖。工具210包括常規(guī)的圖案查找工具220和相關(guān)的神經(jīng)網(wǎng)絡(luò)分類器，該分類器幫助圖案查找工具在一組/多個訓(xùn)練圖案(模板)240中查找正確的圖案。[0030]更具體地，在訓(xùn)練時間，在一個或多個模板圖像上訓(xùn)練傳統(tǒng)的圖案查找工具220(例如，PatMax?Multi-Model)。同時，在由每個模板表示的圖案的多個示例圖像上訓(xùn)練神7經(jīng)網(wǎng)絡(luò)分類器(例如卷積神經(jīng)網(wǎng)絡(luò)(CNN))230。神經(jīng)網(wǎng)絡(luò)分類器230訓(xùn)練成處理輸入圖像并且報告在輸入圖像中查找到的模板標(biāo)簽子集。[0031]圖3描繪了運(yùn)行時間過程(使用預(yù)分類)300,其中，訓(xùn)練的神經(jīng)網(wǎng)絡(luò)分類器310首先在輸入運(yùn)行時間圖像(由相機(jī)110獲取和/或通過先前獲取而存儲)320上運(yùn)行，并確定每個模板的概率。智能圖案查找工具過濾出最佳結(jié)果，然后通知訓(xùn)練的圖案查找工具350處理這合模板340的子集作為搜索參數(shù)提供給訓(xùn)練圖案查找工具350.將輸入圖像320提供給圖案查找工具350,并且將搜索參數(shù)用來產(chǎn)生匹配模板結(jié)果360作為工具350的輸出。這些結(jié)果可顯示給用戶或用于下游使用操作(如零件校準(zhǔn)、檢查等)。有利地，該過程300減少了生成匹配模板通常需要的計算量。[0032]根據(jù)本文的實(shí)施例，可采用各種專有的和商業(yè)上可獲得的(例如開源的)神經(jīng)網(wǎng)絡(luò)[0033]可使用上述訓(xùn)練過程和運(yùn)行時間過程200和300的示例性應(yīng)用是查找正確的基準(zhǔn)，其中，不同部分的基準(zhǔn)形狀可有所不同(十字、菱形等)。說明性地，傳統(tǒng)的圖案查找工具是在代表每個可能的基準(zhǔn)圖案的模板圖像上訓(xùn)練的。此外，神經(jīng)網(wǎng)絡(luò)分類器(例如TensorFlow)在多個圖像上訓(xùn)練，這些圖像示出每個基準(zhǔn)圖案的外觀變化，以及與每個基準(zhǔn)圖案相關(guān)的標(biāo)簽。在運(yùn)行時間，首先運(yùn)行訓(xùn)練的神經(jīng)網(wǎng)絡(luò)分類器，其返回在運(yùn)行時間圖像中查找到的標(biāo)簽集。利用這些信息，系統(tǒng)可通知圖案查找工具(例如PatMax?MultiModel)只在由神經(jīng)網(wǎng)絡(luò)分類器生成的標(biāo)簽表示的模板集上運(yùn)行，從而加快對準(zhǔn)并且生成更可靠的結(jié)[0034]圖4示出了一種裝置，其中，傳統(tǒng)的圖案查找工具查找某個圖案，并且神經(jīng)網(wǎng)絡(luò)分類器確定其是否是正確的匹配(即，后分類)。在訓(xùn)練時間，用單個圖像模板440訓(xùn)練傳統(tǒng)的圖案查找工具410。然后，在多個圖像上針對期望的模板訓(xùn)練與工具410相關(guān)的神經(jīng)網(wǎng)絡(luò)分類器(例如TensorFlow)430。分類器430的輸入與輸入到傳統(tǒng)圖案查找工具440的圖像相同。[0035]圖5描繪了運(yùn)行時間過程(使用后分類)500,其中，圖案查找工具550首先在輸入圖像520中查找圖案。輸入圖像520以及從傳統(tǒng)圖案查找工具(例如PatMax?)的輸出計算的可選邊界框一起被提供給訓(xùn)練的神經(jīng)網(wǎng)絡(luò)分類器510。然后，分類器510確定傳統(tǒng)圖案查找器是否已經(jīng)查找到正確的/匹配的圖案560。分類器510的輸出是查找到訓(xùn)練模板的總體置信[0036]舉例來說，一個可操作的應(yīng)用示例涉及具有微小差異的高度易混淆的形狀，例如圓形與帶有凹口的圓形。假設(shè)傳統(tǒng)的圖案查找工具(例PatMax)350是在模板圖像上訓(xùn)練的，該模板圖像描繪了一個帶有凹口的圓形。然后，神經(jīng)網(wǎng)絡(luò)分類器510在包含期望形狀(帶凹口的圓)以及其它易混淆形狀(不帶凹口的圓形)的圖像上進(jìn)行訓(xùn)練。在運(yùn)行時間，輸入圖像以及從傳統(tǒng)圖案查找工具的輸出計算的可選邊界框饋送到訓(xùn)練的神經(jīng)網(wǎng)絡(luò)分類器510,然后分類器確定傳統(tǒng)圖案查找器是否查找到了正確的圖案(帶凹口的圓形)。在這種示例性情況下，該過程提高了圖案查找的穩(wěn)健性。[0037]注意，在替代實(shí)施例中，傳統(tǒng)的圖案查找工具及其在一個或多個模板上訓(xùn)練的能力是高度可變的。在替代實(shí)施例中，上述預(yù)分類和后分類過程可各自修改以包括不同類型8的圖案查找工具和相關(guān)的模板。[0038]III.使用訓(xùn)練圖案工具優(yōu)化搜索的圖案查找[0039]參考圖6,示出了根據(jù)可由圖1的裝置100實(shí)現(xiàn)的另一個示例性實(shí)施例的智能圖案查找的總體(概括)過程600。可預(yù)期的是，使用對獲取的圖像進(jìn)行操作的常規(guī)訓(xùn)練的圖案查找工具來定位一些圖案可能會更具挑戰(zhàn)性。在一些情況下，神經(jīng)網(wǎng)絡(luò)/深度學(xué)習(xí)架構(gòu)的固有特性可在圖像中最初定位圖案候選時提供益處。因此，在過程600中，神經(jīng)網(wǎng)絡(luò)訓(xùn)練為定位各種圖案類型，并且在步驟610中應(yīng)用于獲取的圖像。這將為給定類型的形狀生成一個帶有相關(guān)分?jǐn)?shù)的候選列表。然后，基于分?jǐn)?shù)，過程600將常規(guī)的圖案查找工具(例如PatMaxMultiModel)應(yīng)用于分?jǐn)?shù)高于特定閾值的形狀候選(步驟620)。圖案查找工具搜索由神經(jīng)網(wǎng)絡(luò)識別的特定形狀，或者其可在每個形狀候選中搜索各種類型的形狀。[0040]有利地，神經(jīng)網(wǎng)絡(luò)可有效地識別可能的形狀候選，而計算量大的任務(wù)，例如亞像素級模型擬合，可通過圖案查找工具以穩(wěn)健的方式來處理。[0041]在圖7的過程700的步驟710中描述了訓(xùn)練神經(jīng)網(wǎng)絡(luò)以識別某些形狀。一旦進(jìn)行了訓(xùn)練，在運(yùn)行時間期間，神經(jīng)網(wǎng)絡(luò)使用訓(xùn)練的配置基于獲取的圖像中的每個像素是否看起來是訓(xùn)練的形狀的一部分來為其分配分?jǐn)?shù)(概率)(步驟720)。結(jié)果是一概率圖像，其中，圖像中的每個像素都具有分配的分?jǐn)?shù)(步驟730)。來自步驟730的概率圖像可被存儲，然后被提供(例如作為掩模)給圖案查找工具——從圖案查找工具操作的圖像結(jié)果中屏蔽掉看起來不具有候選形狀的像素(步驟740)。神經(jīng)網(wǎng)絡(luò)結(jié)果可包括概率圖像中候選形狀的類型。形狀類型信息允許圖案查找工具將其在概率圖像中(在選定位置)的搜索專門縮小到由這些結(jié)果提供的形狀類型(步驟750)。因此，圖案查找工具可更快更有效地操作，因為其避免了運(yùn)行與候選形狀無關(guān)的工具。[0042]上述過程600在多種應(yīng)用中是有利的。例如，在存在高局部失真的情況下，使用神經(jīng)網(wǎng)絡(luò)來初始篩選圖像是有用的，因為神經(jīng)網(wǎng)絡(luò)本質(zhì)上以更直接的方式基于概率重建圖像，以便由圖案查找工具進(jìn)行分析。舉例來說，傳入的圖像可是高度紋理化的，并且缺乏定義的對比線。通過神經(jīng)網(wǎng)絡(luò)處理后，得到的概率圖像是具有高對比度的二值表示，定義的邊界表示(例如)矩形、三角形、圓形等。在特定示例中，神經(jīng)網(wǎng)絡(luò)可有效地解決可能磨損的繩索或纜繩的末端形狀(產(chǎn)生高紋理區(qū)域)。神經(jīng)網(wǎng)絡(luò)將黑暗背景上的亮矩形傳遞給圖案查找工具——反之亦然。[0043]如圖8的過程800中所述，在運(yùn)行時間期間，訓(xùn)練的圖案查找工具(已經(jīng)用與感興趣形狀相關(guān)的基于模型的模板訓(xùn)練)從神經(jīng)網(wǎng)絡(luò)接收概率圖像(掩模)和(可選地)接收關(guān)于圖像中識別的候選形狀類型的信息(步驟810)。圖案查找工具對圖像進(jìn)行操作，聚焦于所選區(qū)域，并且使用與所識別的圖像類型相關(guān)的工具和過程(步驟820)。然后，在步驟830中，圖案查找工具生成結(jié)果，其中，查找到的形狀位于圖像內(nèi)，并且形狀上的適當(dāng)坐標(biāo)(和其它)數(shù)據(jù)輸出到后續(xù)操作。[0044]進(jìn)一步參考圖9,其示出了用于創(chuàng)建和使用與獲取的圖像中的感興趣形狀相關(guān)的加權(quán)掩模的示例性過程900的框圖。如圖所示，圖像910輸入到神經(jīng)網(wǎng)絡(luò)920。使用適當(dāng)?shù)挠?xùn)練技術(shù)，神經(jīng)網(wǎng)絡(luò)920輸出感興趣形狀的加權(quán)掩模930。如上所述，每個像素基于其成為感興趣形狀的一部分的可能性來評分。隨后，將加權(quán)掩模930以及原始圖像數(shù)據(jù)910輸入到圖案查找(模板匹配)工具(例如CognexSearchMax?、PatMax?等)。工具940由此可基于包含在9加權(quán)掩模930中的數(shù)據(jù)輸出圖像950內(nèi)感興趣形狀的位置和附加匹配分?jǐn)?shù)信息960。[0045]圖10的圖表1000中描繪了過程900。感興趣的示例性形狀1010示出為具有連續(xù)邊界的U形結(jié)構(gòu)。然而，相關(guān)的獲取的圖像1012提供了斷開的邊界1014和中間形狀1016.附加地，感興趣的圖像形狀1012在場景內(nèi)相對于預(yù)期形狀1010的方向旋轉(zhuǎn)一個角度。也可能存在獲取的圖像與預(yù)期形狀之間的其它基于失真的差異。如本文所述，感興趣的形狀數(shù)據(jù)1010和圖像數(shù)據(jù)1012輸入到神經(jīng)網(wǎng)絡(luò)1020。所得到的圖像的輸出加權(quán)掩模1030表示為一系列形狀段1040,這些形狀段近似感興趣的底層形狀，并且省略了中間形狀數(shù)據(jù)1016.如圖所示，段1040以更高的概率/可能性包圍周圍像素的范圍。這個區(qū)域近似于感興趣形狀邊緣的一般輪廓。這種表示1040更容易由常規(guī)的模型訓(xùn)練的圖案查找(模板匹配)工具匹配。[0046]在另一個示例性實(shí)施例中，神經(jīng)網(wǎng)絡(luò)可用于重建和/或清理圖像內(nèi)的感興趣形狀。如圖11的過程1100中所示，神經(jīng)網(wǎng)絡(luò)1120接收獲取的圖像數(shù)據(jù)1110,并采用訓(xùn)練來輸出感興趣形狀的重建1130,其中，每個像素根據(jù)其屬于感興趣形狀(即神經(jīng)網(wǎng)絡(luò)訓(xùn)練的對象)的可能性來評分。該重建然后輸入到基于模型的圖案查找(模板匹配)工具1140,該工具包括感興趣形狀的模板。該工具輸出感興趣形狀的粗略位置1150。這個粗略位置可由下游過程適當(dāng)?shù)厥褂煤?或可選地再次輸入到模型訓(xùn)練圖案查找工具1160(與塊1140相同的工具或不同的工具)。原始圖像數(shù)據(jù)1110也提供給圖案查找工具1160。來自輸入1110和1150的工具1160的輸出是圖像1110中感興趣形狀的精細(xì)位置1170。[0047]作為過程1100的示例，圖12的圖表1200示出了圖像中的兩個輸入形狀1210和1212。如上所述，對每個形狀進(jìn)行神經(jīng)網(wǎng)絡(luò)重建1220和1222。這產(chǎn)生了分別用于獲取的圖像數(shù)據(jù)的重建形狀1230和1232。重建可因此取代現(xiàn)有的失真的或不清楚的形狀。因此，神經(jīng)網(wǎng)絡(luò)可用于有效地提供圖像數(shù)據(jù)中不完整或失真形狀的清除和/或重建，這可允許在下游操作(包括使用上述圖案查找工具或另一種合適的工具的圖案查找)中更有效地使用這種數(shù)據(jù)。如圖所示，該形狀可以表示為具有與預(yù)期/模型形狀的邊界相稱的界限分明的二值圖[0049]應(yīng)該清楚的是，上述系統(tǒng)和方法使用傳統(tǒng)圖案匹配應(yīng)用和神經(jīng)網(wǎng)絡(luò)分類器的組合，提供了用于查找和匹配訓(xùn)練圖案的更可靠和更快速的技術(shù)。這種方法允許減少模板的數(shù)量或過濾查找到的圖案，從而增強(qiáng)系統(tǒng)和方法對正確匹配的決策。此外，上述系統(tǒng)和方法有效地使得神經(jīng)網(wǎng)絡(luò)能夠用作成像的形狀重建/清理工具，和/或消除與感興趣的形狀不太相關(guān)的像素，因此減少了搜索時間，并且顯著增加了鎖定正確形狀的機(jī)會。當(dāng)圖像中的形狀失真或缺少形狀特征時，這種技術(shù)尤其有效。[0050]前面已經(jīng)詳細(xì)描述了本發(fā)明的說明性實(shí)施例。在不背離本發(fā)明的技術(shù)方案和范圍的情況下，可進(jìn)行各種修改和添加。為了在相關(guān)的新實(shí)施例中提供多種特征組合，上述各種實(shí)施例中的每一個的特征可適當(dāng)?shù)嘏c其它描述的實(shí)施例的特征相結(jié)合。此外，盡管前面描述了本發(fā)明的設(shè)備和方法的多個單獨(dú)的實(shí)施例，但是本文所描述的僅僅是本發(fā)明原理的應(yīng)繪的過程或處理器可以與其它過程和/或處理器相結(jié)合，或者分成各種子過程或處理器。根