工業(yè)視覺系統(tǒng)應用技術(shù)

第七章圖像識別與定位

學習目標掌握工業(yè)視覺系統(tǒng)在檢測中的目標識別、精確定位與標定等應用，通過實戰(zhàn)案例完成從需求分析到完整解決工程問題的全流程設(shè)計；掌握從原理到選型、從設(shè)計到集成的核心邏輯，培養(yǎng)以工程思維解決實際問題的能力。工業(yè)視覺識別與定位技術(shù)1以微電子芯片制造為例：在芯片制造的復雜工藝流程中，視覺系統(tǒng)能夠清晰地分辨出芯片上極其微小的電路圖案；對芯片的微觀電路結(jié)構(gòu)進行高精度的識別、精準定位需要進行加工或檢測的區(qū)域；通過快速讀取產(chǎn)品二維碼、條形碼或其他標識信息，準確識別型號、生產(chǎn)批次、生產(chǎn)日期等關(guān)鍵數(shù)據(jù)，實現(xiàn)了對生產(chǎn)過程的全程追溯，為生產(chǎn)流程的自動化管理提供了有力支持。未來，工業(yè)視覺系統(tǒng)將借助深度學習與人工智能技術(shù)的深度融合，實現(xiàn)質(zhì)的飛躍，具備自主學習和優(yōu)化檢測功能，靈活高效地自動適應不同的生產(chǎn)場景和產(chǎn)品變化；實現(xiàn)生產(chǎn)過程的全面檢測和數(shù)據(jù)共享與交互，為企業(yè)的智能化生產(chǎn)轉(zhuǎn)型注入強大動力，推動制造業(yè)向智能化、高效化、精細化方向邁進。2圖像識別條碼識別用于定位和識別指定區(qū)域內(nèi)的條碼條碼識別模塊支持CODE39碼、CODE128碼、庫得巴碼、EAN碼、交替25碼以及CODE93碼等多種編碼標準。二維碼識別視覺二維碼識別是一種利用圖像處理技術(shù)來解碼和讀取二維碼的信息的過程。二維碼識別算法運行過程包括圖像處理、二維碼定位、圖像矯正和解碼等操作。字符識別字符識別工具主要用于自動識別和處理物品上的文字、數(shù)字和字符等，將圖像中的這些字符信息轉(zhuǎn)化為可編輯的數(shù)字文本。字符識別算法模塊主要包括字符訓練和字符識別兩個核心部分，字符訓練是構(gòu)建一個高效字符識別系統(tǒng)的基礎(chǔ)步驟，為系統(tǒng)提供所需的數(shù)據(jù)和模型。樣例訓練時應該盡可能覆蓋所有可能出現(xiàn)的字符類型和字體風格，提高字符樣例的一致性和質(zhì)量，便于更準確地提取字符圖像中的關(guān)鍵特征。3定位與標定圖像定位是指通過分析圖像數(shù)據(jù)來確定物體或特定特征在圖像中的位置。常用的方法有模板匹配、特征匹配和位置修正等。圖像標定（或稱為相機標定）是指通過數(shù)學模型來校正圖像（及相機）的內(nèi)部參數(shù)（如焦距、光學中心）和外部參數(shù)（如位置、姿態(tài)），以去除圖像中的畸變并獲得準確的空間尺寸和形狀。常用的方法有標定板標定和N點標定等。模板匹配模板匹配是一種在圖像處理中用來查找和識別圖像中與模板圖像相匹配區(qū)域的技術(shù)。位置修正位置修正是一個輔助定位、修正目標運動偏移、輔助精準定位的工具，在識別或測量過程中，根據(jù)模板匹配結(jié)果中的匹配點和匹配框角度建立位置偏移的基準，針對誤差或偏差對對象的位置進行調(diào)整。標定標定板標定是一種常見的相機校準方法，其主要目的是通過標定板上已知的幾何特征（如棋盤格、圓點、或特定圖案）來計算相機的內(nèi)參和外參。棋盤格的特征點易于利用視覺算法檢測且分布模式規(guī)則，拍攝時要確保棋盤格在圖像中清晰可見，并覆蓋圖像的大部分區(qū)域。利用特征識別算法檢測棋盤格的角點圖像坐標，根據(jù)圖像坐標位置和物理坐標拍攝時位置（即棋盤格實際尺寸或?qū)嶋H物理位置），計算相機內(nèi)參數(shù)（如焦距、光學中心）和鏡頭畸變系數(shù)（徑向和切向畸變），輸出圖像坐標系到物理坐標系的轉(zhuǎn)換關(guān)系（即標定文件）。得到轉(zhuǎn)換關(guān)系后，就可以將圖像中標定板平面上的像素點坐標轉(zhuǎn)換到對應的標定板的物理坐標系中。在工業(yè)檢測中，標定相機可用于細致的缺陷檢測和尺寸測量。同時，視覺標定也適用于多種計算機視覺任務的校準任務。例如，使用相機標定得到的畸變系數(shù)來校正原始圖像中的畸變點,用于校正鏡頭畸變。4實戰(zhàn)案例四：物料顏色分選項目需求分析在相機視野（50*30mm、精度約0.05mm）內(nèi)放置不同顏色的物料，通過視覺系統(tǒng)準確識別對應物料顏色，分類并輸出對應的位置坐標給上位機等通信設(shè)備，可以搭配機械手實現(xiàn)不同顏色物料的定位抓取功能（操作預留空間150~200mm）。硬件方案設(shè)計（1）相機選型計算長邊像素數(shù)量為50÷0.05=1000，短邊像素數(shù)量為30÷0.05=600，精度余量按照3倍計算，得出相機的長邊像素數(shù)量為3000，短邊像素數(shù)量為1800。選擇3072×2048（600萬）像素的相機MV-CS060-10GC（2）鏡頭選型根據(jù)鏡頭焦距計算公式計算得出鏡頭焦距約為22.11mm，選擇匹配的鏡頭型號為MVL-HF2524M-10MP（3）光源選型結(jié)合定位邏輯選擇低角度環(huán)形光源MV-LRDS-H-120-30-W，以約120～130mm高度進行架設(shè)。視覺流程設(shè)計1）圖像采集2）創(chuàng)建產(chǎn)品匹配模板項目現(xiàn)場在拍攝時會隨機出現(xiàn)多個不同顏色的產(chǎn)品，可以在視覺流程中利用組合模塊，對視野內(nèi)出現(xiàn)的所有目標逐個循環(huán)檢測。3）顏色識別設(shè)置顏色模型，逐一添加所有需要識別的色彩模型視覺程序根據(jù)預設(shè)的顏色模板能夠正確識別并顯示拍攝視野內(nèi)所有產(chǎn)品的對應顏色。最后，利用通訊模塊將數(shù)據(jù)輸出給上位機或機械手等設(shè)備，引導設(shè)備完成分揀抓取。5實戰(zhàn)案例五：電容OCR字符識別項目需求分析具體檢測需求如下：產(chǎn)線上電容器隨機擺放，視覺系統(tǒng)能準確捕捉產(chǎn)品并正確識別產(chǎn)品上打印的產(chǎn)品編碼和日期等字符；字符識別區(qū)域范圍約為120mm*100mm，字符特征最小打印寬度為0.5mm；產(chǎn)線檢測速度要求為每秒需要檢測不少于10件產(chǎn)品；視覺系統(tǒng)能夠?qū)崿F(xiàn)異常剔除，可識別打印不清、殘缺、傾斜、反碼等不符合打印要求的產(chǎn)品硬件方案設(shè)計（1）相機選型根據(jù)視野大?。?20mm*100mm）和定位精度±0.5mm的要求，進行面陣相機的選型。精度余量按照2倍計算，得出相機的長邊像素數(shù)量為1920，短邊像素數(shù)量為1600。經(jīng)過綜合評估，選擇MV-CS050-10GM（500萬像素）相機。相機型號MV-CS050-10GM傳感器類型CMOS，全局快門像元尺寸3.45μm×3.45μm分辨率2448×2048靶面尺寸2/3''圖像顏色黑白（2）鏡頭選型根據(jù)鏡頭焦距計算公式計算得出，鏡頭焦距約為24.63mm。結(jié)合現(xiàn)有鏡頭型號，選擇匹配的鏡頭型號為MVL-MF2518M-5MPE。（3）光源及視覺硬件架設(shè)鑒于電容表面反光特效和表面打印的字符特征，綜合考慮產(chǎn)品表面特性，選擇MV-LGSS-175-W穹頂光源，有助于消除表面成像陰影和反光。視覺流程設(shè)計1.特征匹配模板和位置修正2.形態(tài)學處理添加形態(tài)學工具模塊，對圖中待識別的字符區(qū)域進行運算處理3.字符識別4.發(fā)送字符識別信息6實戰(zhàn)案例六：PCB板綜合檢測項目需求分析正確讀取電路板上印刷的產(chǎn)品ID和二維碼信息；識別并判斷電路板載元件有無漏插、錯插，通過元件漏插篩查，剔除不良品；識別并對電路板元件進行定位測量，控制元器件的貼裝位置準確性；根據(jù)所有檢測內(nèi)容，對PCB板進行綜合檢測合格判定。硬件方案設(shè)計硬件方案設(shè)計過程略，具體內(nèi)容可參考案例一、案例五。視覺流程設(shè)計1.標定板標定視覺項目中需要進行定位測量，首先進行視覺標定操作。2.標定驗證在完成相機標定之后，驗證標定結(jié)果是確保準確性的一個關(guān)鍵步驟，通過視覺標定的驗證過程，可以有效識別和修正潛在的標定誤差。3.模板匹配位置修正4.PCB字符識別5.二維碼讀碼6.工件缺失漏插檢測利用BLOB分析模塊工具實現(xiàn)PCB上元件的漏插檢測根據(jù)圖像特征選擇閾值方式、BLOB個數(shù)等參數(shù)，可以通過面積使能功能篩選識別目標（如剔除一些較小的圖像干擾）根據(jù)工件插裝數(shù)設(shè)定BLOB個數(shù)，符合結(jié)果范圍則模塊狀態(tài)為OK，否則輸出