工業(yè)視覺(jué)系統(tǒng)應(yīng)用技術(shù)

第五章工業(yè)視覺(jué)軟件算法基礎(chǔ)

學(xué)習(xí)目標(biāo)掌握工業(yè)視覺(jué)軟件的基本架構(gòu)，理解圖像采集、預(yù)處理、特征提取、分析決策的基本流程；掌握主要圖像處理功能模塊的基本原理、作用及其在典型任務(wù)中的應(yīng)用。工業(yè)視覺(jué)助力制造業(yè)轉(zhuǎn)型升級(jí)1工業(yè)視覺(jué)軟件作為人工智能在工業(yè)領(lǐng)域的關(guān)鍵應(yīng)用，其發(fā)展是對(duì)科技強(qiáng)國(guó)戰(zhàn)略的有力踐行，有助于提升我國(guó)在全球科技競(jìng)爭(zhēng)中的地位，增強(qiáng)國(guó)家核心競(jìng)爭(zhēng)力，為實(shí)現(xiàn)中華民族偉大復(fù)興的中國(guó)夢(mèng)提供科技支撐。2VisionMaster視覺(jué)算法平臺(tái)數(shù)字圖像數(shù)字圖像中包含豐富的信息，這些信息可以通過(guò)像素的位置、顏色值和排列方式來(lái)表達(dá)，如顏色信息、亮度信息、空間信息等。數(shù)字圖像中的每個(gè)像素都有特定的位置坐標(biāo)，包括像素的位置、大小和排列方式，描述圖像中物體或區(qū)域的尺寸和大小等信息，通常以像素?cái)?shù)或?qū)嶋H物理尺寸表示。視覺(jué)圖像空間信息對(duì)于圖像理解、處理和分析都具有重要意義，是計(jì)算機(jī)視覺(jué)和圖像處理領(lǐng)域的核心內(nèi)容之一。VisionMaster算法平臺(tái)VisionMaster算法平臺(tái)集成機(jī)器視覺(jué)多種算法組件，支持多種圖像采集設(shè)備，適用多種應(yīng)用場(chǎng)景，可快速組合算法，能滿足視覺(jué)定位、尺寸測(cè)量、缺陷檢測(cè)以及信息識(shí)別等工業(yè)視覺(jué)應(yīng)用需求。視覺(jué)方案說(shuō)明通用方案用戶可根據(jù)項(xiàng)目?jī)?nèi)容自由選擇算法工具，搭建檢測(cè)流程定位測(cè)量通過(guò)定位、測(cè)量工具進(jìn)行設(shè)計(jì)，基于輪廓圖及深度圖實(shí)現(xiàn)高效定位匹配、輪廓及特征測(cè)量和引導(dǎo)等功能缺陷檢測(cè)借助檢測(cè)工具查找工件形態(tài)和輪廓缺陷用于識(shí)別：通過(guò)識(shí)別工具進(jìn)行方案設(shè)計(jì)，讀取多種制式的信息碼、字符等ID信息在VisionMaster算法開(kāi)發(fā)平臺(tái)中，提供了千余種圖像處理算子和開(kāi)發(fā)工具,以及深度學(xué)習(xí)算法包，優(yōu)化后的算法能夠?qū)ΤＲ?jiàn)的各類工業(yè)檢測(cè)都有良好的適應(yīng)性，在安裝基礎(chǔ)工具模塊之后可根據(jù)自己需求選擇是否安裝深度學(xué)習(xí)等增強(qiáng)工具包。在VisionMaster的啟動(dòng)界面，提供了多種典型工業(yè)應(yīng)用示例方案，方便用戶參考設(shè)計(jì)工業(yè)檢測(cè)項(xiàng)目。3圖像處理工具集圖像二值化圖像二值化是圖像處理中的一種基本操作，其目的是將灰度圖像轉(zhuǎn)換為只有黑白兩種顏色的二值圖像。二值化圖像的像素值只有0和1（或者0和255），分別代表黑色和白色。圖像濾波圖像濾波是一種用于去除圖像噪聲或提取特定特征的圖像處理技術(shù)，旨在改善圖像的質(zhì)量、增強(qiáng)特定的圖像特征或去除圖像中的噪聲。濾波器通常是一種矩陣或函數(shù)，選擇濾波器類型和參數(shù)取決于所需的圖像處理目標(biāo)和應(yīng)用場(chǎng)景。1.均值濾波（MeanFilter）均值濾波也稱為線性濾波或均值平滑，通過(guò)用一個(gè)窗口內(nèi)所有像素的平均值來(lái)替代窗口中心像素的值，常用于去除圖像中的高斯噪聲或平滑圖像。2.中值濾波（MedianFilter）中值濾波是一種非線性濾波方法，其原理是選擇鄰域像素值中的中間值作為輸出來(lái)替代窗口中心像素的值，常用于去除圖像中的椒鹽噪聲或斑點(diǎn)噪聲。3.高斯濾波（GaussianFilter）高斯濾波是一種常用的線性平滑濾波器，通過(guò)對(duì)圖像進(jìn)行卷積操作,利用高斯函數(shù)來(lái)對(duì)圖像進(jìn)行加權(quán)平均，達(dá)到平滑圖像的目的。圖像增強(qiáng)圖像增強(qiáng)是通過(guò)圖像處理技術(shù)改善圖像的質(zhì)量、增強(qiáng)圖像的特定特征或提高圖像的可視化效果的技術(shù)，旨在改善圖像的視覺(jué)效果或增強(qiáng)某些感興趣的特征以改善圖像的觀感、清晰度、對(duì)比度等方面。1．對(duì)比度增強(qiáng)——通過(guò)調(diào)整圖像的像素值范圍來(lái)增加圖像的對(duì)比度，使圖像的視覺(jué)效果更加鮮明和清晰。2.銳化圖像銳化是是增強(qiáng)圖像細(xì)節(jié)和邊緣的一種技術(shù)，通過(guò)突出圖像中的邊緣等顯著特征，來(lái)增強(qiáng)圖像的清晰度和細(xì)節(jié)度。3.亮度調(diào)整亮度調(diào)整是通過(guò)改變圖像的亮度值來(lái)調(diào)整圖像的整體明暗程度，使其更符合視覺(jué)需求和具體應(yīng)用場(chǎng)景。形態(tài)學(xué)處理形態(tài)學(xué)處理是一種基于圖像形狀的數(shù)學(xué)理論，通過(guò)使用特定的結(jié)構(gòu)元素對(duì)圖像中的目標(biāo)形態(tài)進(jìn)行操作，用于圖像的邊緣檢測(cè)、噪聲去除、小目標(biāo)填充、對(duì)象連接等。形態(tài)學(xué)方法主要包括形態(tài)學(xué)腐蝕、形態(tài)學(xué)膨脹、開(kāi)運(yùn)算、閉運(yùn)算、形態(tài)學(xué)梯度等運(yùn)算操作。1.圖像腐蝕圖像腐蝕是一種局部操作，通過(guò)將圖像中的前景像素減小或腐蝕來(lái)進(jìn)行處理，主要用來(lái)去除圖像中的小的噪聲和分離不相連的結(jié)構(gòu)或區(qū)域，從而使目標(biāo)變得更小或更平滑。2.膨脹形態(tài)學(xué)膨脹是形態(tài)學(xué)腐蝕的逆過(guò)程。主要作用是增大圖像中前景（白色）像素的面積，擴(kuò)張圖像中物體的邊界、或增強(qiáng)圖像中的目標(biāo)區(qū)域等。3.開(kāi)運(yùn)算和閉運(yùn)算在圖像處理領(lǐng)域，常常將圖像腐蝕和膨脹組合使用，可以有效地改進(jìn)圖像處理效果。其中，開(kāi)運(yùn)算和閉運(yùn)算是膨脹與腐蝕操作的不同序列組合。閉運(yùn)算是先對(duì)圖像進(jìn)行膨脹操作，然后進(jìn)行腐蝕操作。膨脹擴(kuò)展前景對(duì)象的大小，然后腐蝕去除膨脹操作中擴(kuò)展的部分，但保持填補(bǔ)后對(duì)象的原始形狀。開(kāi)運(yùn)算則是通過(guò)先進(jìn)行腐蝕再進(jìn)行膨脹來(lái)處理圖像，主要功能是去除小的前景對(duì)象（例如白色噪聲斑點(diǎn)），同時(shí)不會(huì)影響到較大的前景對(duì)象。圖像運(yùn)算圖像運(yùn)算是指對(duì)輸入圖像進(jìn)行邏輯和數(shù)據(jù)運(yùn)算。1.算術(shù)運(yùn)算算數(shù)運(yùn)算有加法、減法、乘法和除法幾種類型。2.邏輯運(yùn)算邏輯運(yùn)算有邏輯與、或、非和異或四種常用方法3.幾何變換圖像幾何變換是指對(duì)圖像的位置、形態(tài)或結(jié)構(gòu)進(jìn)行更改的運(yùn)算。常見(jiàn)的幾何變換包括平移、旋轉(zhuǎn)、鏡像、縮放、仿射變換和透視變換等。仿射變換是一種線性變換，通過(guò)幾何變換操作，將圖像中的坐標(biāo)變換成新的坐標(biāo)，同時(shí)能夠保持二維圖形在變換前后的平行關(guān)系及圖形局部不變性。4系統(tǒng)數(shù)據(jù)通訊在工業(yè)自動(dòng)化領(lǐng)域，工業(yè)視覺(jué)數(shù)據(jù)通訊主要涉及工業(yè)相機(jī)、視覺(jué)系統(tǒng)與其他設(shè)備（如計(jì)算機(jī)、PLC等）之間的數(shù)據(jù)傳輸，主要內(nèi)容包括通訊接口、通訊協(xié)議和數(shù)據(jù)內(nèi)容格式等。通訊接口1.以太網(wǎng)接口以太網(wǎng)接口是目前工業(yè)視覺(jué)系統(tǒng)中最常用的通訊接口之一。它基于IEEE802.3標(biāo)準(zhǔn)網(wǎng)絡(luò)協(xié)議進(jìn)行數(shù)據(jù)傳輸，通過(guò)網(wǎng)絡(luò)協(xié)議（如TCP/IP）進(jìn)行數(shù)據(jù)傳輸，支持多種拓?fù)浣Y(jié)構(gòu)。特點(diǎn)是傳輸速度快、傳輸距離長(zhǎng)，能夠滿足工業(yè)視覺(jué)系統(tǒng)中大量圖像數(shù)據(jù)的快速傳輸需求；而且以太網(wǎng)接口具備良好的兼容性和通用性。2.USB接口USB接口具有即插即用、熱插拔、兼容性強(qiáng)等特點(diǎn)，并且在短距離內(nèi)可以提供較高的數(shù)據(jù)傳輸速率；USB3.0的理論傳輸速度可達(dá)5Gbps，USB3.1Gen2的速度可達(dá)10Gbps，能滿足高分辨率圖像的實(shí)時(shí)傳輸需求。3.CameraLink接口CameraLink是一種高速、高性能的串行接口標(biāo)準(zhǔn)，采用了LVDS（低壓差分信號(hào)）技術(shù)，其標(biāo)準(zhǔn)支持的最高數(shù)據(jù)傳輸率可達(dá)680MB/s，CameralinkFull模式有效帶寬最高可達(dá)6.4Gbps，具有良好的抗干擾能力，較多應(yīng)用在對(duì)圖像傳輸速度和質(zhì)量要求極高的場(chǎng)合，如高分辨率圖像采集、高速生產(chǎn)線的產(chǎn)品檢測(cè)等應(yīng)用領(lǐng)域。4.GigEVision接口GigEVision是一種基于以太網(wǎng)通信協(xié)議開(kāi)發(fā)的工業(yè)相機(jī)接口標(biāo)準(zhǔn)，其優(yōu)勢(shì)在于可以利用現(xiàn)有的以太網(wǎng)基礎(chǔ)設(shè)施，并且支持長(zhǎng)距離傳輸?？梢愿鶕?jù)具體需求選擇符合GigEVision標(biāo)準(zhǔn)的不同品牌、型號(hào)的相機(jī)、圖像采集卡等設(shè)備，基于以太網(wǎng)的基礎(chǔ)設(shè)施進(jìn)行系統(tǒng)集成和擴(kuò)展，構(gòu)建靈活多樣的工業(yè)視覺(jué)系統(tǒng)。通訊協(xié)議工業(yè)視覺(jué)系統(tǒng)的通訊及通訊協(xié)議是實(shí)現(xiàn)設(shè)備間數(shù)據(jù)交互、指令控制與系統(tǒng)集成的核心技術(shù)，其設(shè)計(jì)需滿足高實(shí)時(shí)性、可靠性和兼容性要求。1.TCP/IP協(xié)議——傳輸控制協(xié)議/因特網(wǎng)協(xié)議，是一組用于在互聯(lián)網(wǎng)及計(jì)算機(jī)網(wǎng)絡(luò)（如內(nèi)聯(lián)網(wǎng)、外聯(lián)網(wǎng)）中互連網(wǎng)絡(luò)設(shè)備的基礎(chǔ)通信協(xié)議。2.ModbusTCP協(xié)議——基于TCP/IP網(wǎng)絡(luò)的Modbus通訊協(xié)議，繼承了ModbusRTU和ModbusASCII的優(yōu)點(diǎn)，克服了它們?cè)诰嚯x和速度上的限制，能夠?qū)崿F(xiàn)跨網(wǎng)絡(luò)的設(shè)備通信，通信速度快，適合實(shí)時(shí)數(shù)據(jù)傳輸。3.UDP協(xié)議——即用戶數(shù)據(jù)報(bào)協(xié)議，是一種無(wú)連接的協(xié)議。將數(shù)據(jù)封裝成數(shù)據(jù)包獨(dú)立傳輸，無(wú)需建立連接和進(jìn)行復(fù)雜的確認(rèn)機(jī)制，能夠快速傳輸數(shù)據(jù)。4.西門子S7協(xié)議——西門子專為其可編程邏輯控制器（PLC）產(chǎn)品系列設(shè)計(jì)的通信協(xié)議協(xié)議。5.串口通訊協(xié)議——是一種按位發(fā)送和接收字節(jié)的通信協(xié)議。數(shù)據(jù)傳輸1.傳輸內(nèi)容工業(yè)視覺(jué)系統(tǒng)數(shù)據(jù)傳輸?shù)膬?nèi)容豐富多樣，包括圖像數(shù)據(jù)、測(cè)量數(shù)據(jù)、識(shí)別結(jié)果、控制指令和系統(tǒng)運(yùn)行狀態(tài)等數(shù)據(jù)。2.接收發(fā)送數(shù)據(jù)接收數(shù)據(jù)模塊主要用于獲取外部通信設(shè)備、全局變量和數(shù)據(jù)隊(duì)列的數(shù)據(jù)，并將這部分?jǐn)?shù)據(jù)在流程中使用。發(fā)送數(shù)據(jù)模塊主要用于將視覺(jué)流程中的數(shù)據(jù)發(fā)送給數(shù)據(jù)隊(duì)列、外部通信設(shè)備、全局變量和視覺(jué)控制器。5腳本功能工業(yè)視覺(jué)腳本是工業(yè)視覺(jué)系統(tǒng)中用于實(shí)現(xiàn)特定功能和邏輯控制的重要組成部分。在VisionMaster中，腳本模塊使用

編程，可在VisualStudio進(jìn)行代碼的編寫(xiě)和調(diào)試，腳本支持int、flaot、string、Bytes和Image五種數(shù)據(jù)類型的輸入輸出。在腳本中，用戶可自行編譯所要實(shí)現(xiàn)的功能，也可調(diào)用第三方工具庫(kù)。工業(yè)視覺(jué)腳本開(kāi)發(fā)1.Halcon——Halcon提供了豐富的用于圖像處理、分析和工業(yè)視覺(jué)應(yīng)用函數(shù)庫(kù)。語(yǔ)言簡(jiǎn)潔高效，其內(nèi)部算法經(jīng)過(guò)高度優(yōu)化，能夠在短時(shí)間內(nèi)處理大量的圖像數(shù)據(jù)，能夠快速實(shí)現(xiàn)各種復(fù)雜的視覺(jué)檢測(cè)算法。2.OpenCV——開(kāi)源的計(jì)算機(jī)視覺(jué)庫(kù)，包含了大量用于圖像處理和計(jì)算機(jī)視覺(jué)任務(wù)的算法。支持多種編程語(yǔ)言，可以結(jié)合Python或

等編程語(yǔ)言使用。Python的優(yōu)勢(shì)在于代碼簡(jiǎn)潔、開(kāi)發(fā)速度快，適合快速原型開(kāi)發(fā)和實(shí)驗(yàn)性的視覺(jué)檢測(cè)項(xiàng)目。3.VisualStudio——VisualStudio是一款功能強(qiáng)大的集成開(kāi)發(fā)環(huán)境（IDE），能夠很好地與各種工業(yè)視覺(jué)庫(kù)集成，例如：在VisualStudio項(xiàng)目中添加對(duì)Halcon庫(kù)的引用，就可以在

或

腳本中使用Halcon提供的強(qiáng)大圖像處理和分析功能。同樣，對(duì)于OpenCV等其他工業(yè)視覺(jué)庫(kù)，也可以通過(guò)適當(dāng)?shù)呐渲脕?lái)實(shí)現(xiàn)集成，從而在VisualStudio環(huán)境中充分利用這些庫(kù)的優(yōu)勢(shì)。Thankyou

工業(yè)視覺(jué)系統(tǒng)應(yīng)用技術(shù)

第六章視覺(jué)測(cè)量與檢測(cè)技術(shù)

學(xué)習(xí)目標(biāo)掌握工業(yè)視覺(jué)在尺寸精確測(cè)量和產(chǎn)品特征/缺陷檢測(cè)領(lǐng)域應(yīng)用的技術(shù)原理和方法流程；通過(guò)案例學(xué)習(xí)，理解不同行業(yè)典型測(cè)量與檢測(cè)任務(wù)的解決方案架構(gòu)。工業(yè)制造領(lǐng)域中的視覺(jué)檢測(cè)應(yīng)用1視覺(jué)硬件系統(tǒng)技術(shù)的積累和突破為智能制造提供了更強(qiáng)大的感知能力。從電子產(chǎn)品制造到汽車零部件生產(chǎn)，從食品包裝到航空航天部件加工，視覺(jué)檢測(cè)技術(shù)廣泛滲透于各個(gè)細(xì)分領(lǐng)域。以汽車制造工業(yè)為例，工業(yè)機(jī)器人利用視覺(jué)檢測(cè)系統(tǒng)能夠快速且精準(zhǔn)的定位和安裝各種復(fù)雜形狀的汽車零部件，極大地提升了檢測(cè)的準(zhǔn)確性與穩(wěn)定性，為汽車的安全性能與整體質(zhì)量提供了堅(jiān)實(shí)保障。工業(yè)制造領(lǐng)域中的視覺(jué)檢測(cè)應(yīng)用前景廣闊，但也面臨諸多挑戰(zhàn)。只有通過(guò)不斷創(chuàng)新與突破，才能充分發(fā)揮視覺(jué)檢測(cè)技術(shù)的優(yōu)勢(shì)，推動(dòng)工業(yè)制造向更高質(zhì)量、更智能化的方向發(fā)展，為我國(guó)制造業(yè)的轉(zhuǎn)型升級(jí)與經(jīng)濟(jì)的可持續(xù)發(fā)展注入強(qiáng)大動(dòng)力。2產(chǎn)品尺寸測(cè)量工業(yè)視覺(jué)尺寸測(cè)量過(guò)程一般包括圖像采集、圖像處理和數(shù)據(jù)分析三個(gè)步驟。根據(jù)測(cè)量需求和精度選定合適的工業(yè)相機(jī)、鏡頭、光源等設(shè)備組件采集圖像；然后對(duì)圖像進(jìn)行必要的預(yù)處理，如噪聲濾波、邊緣增強(qiáng)、灰度處理等；然后，使用邊緣檢測(cè)算法，如Canny、Sobel等方法識(shí)別物體的邊緣，提取所需的幾何特征；最后通過(guò)計(jì)算機(jī)視覺(jué)算法進(jìn)行尺寸測(cè)量和數(shù)據(jù)分析?？ǔ吖ぞ呖ǔ吖ぞ呤且环N測(cè)量目標(biāo)邊緣及邊緣對(duì)的位置、特征或相互之間距離的視覺(jué)工具，通常用于檢測(cè)和測(cè)量物體的幾何特征，如長(zhǎng)度、寬度、直徑、間距等。視覺(jué)算法會(huì)根據(jù)邊緣極性類型的不同，選取合適的極值點(diǎn)查找目標(biāo)。點(diǎn)線圓查找1.點(diǎn)查找特征點(diǎn)檢測(cè)算法是計(jì)算機(jī)視覺(jué)和圖像處理中的核心技術(shù)之一，用于從圖像中提取具有顯著特征的點(diǎn)，例如查找兩條邊緣線的交點(diǎn)。2.線查找線查找工具在計(jì)算機(jī)視覺(jué)和圖像處理領(lǐng)域中用于識(shí)別和提取圖像中的線性結(jié)構(gòu)，常用于圖像分析、形狀檢測(cè)和模式識(shí)別。3.圓查找圓查找是在圖像中指定區(qū)域內(nèi)基于邊緣檢測(cè)和擬合的方法確定符合特定要求的圓周及相關(guān)數(shù)據(jù)，如圓中心點(diǎn)坐標(biāo)、圓半徑、擬合誤差等。點(diǎn)圓測(cè)量測(cè)量點(diǎn)到圓心的連線長(zhǎng)度實(shí)現(xiàn)點(diǎn)到圓距離的測(cè)量，通常用于工業(yè)生產(chǎn)中測(cè)量精度、位置校準(zhǔn)和質(zhì)量檢測(cè)等場(chǎng)合。線線測(cè)量線線測(cè)量是測(cè)量圖像中兩條直線之間的幾何關(guān)系，通過(guò)向量點(diǎn)積公式計(jì)算兩條直線之間的相交點(diǎn)（如有）、線間距離和夾角等參數(shù)。圓圓測(cè)量圓圓測(cè)量模塊涉及到檢測(cè)圖像中的圓，一般與圓查找模塊配合使用，計(jì)算它們之間的幾何關(guān)系（如距離、相交面積等）。3特征檢測(cè)線邊緣缺陷檢測(cè)線邊緣缺陷檢測(cè)模塊的設(shè)計(jì)旨在檢測(cè)產(chǎn)品或材料中線狀結(jié)構(gòu)（如直線、曲線）上的缺陷。這種檢測(cè)經(jīng)常應(yīng)用于檢測(cè)電纜、管道、軌道或印刷電路板等產(chǎn)品的邊緣是否有瑕疵、缺口或不規(guī)則性。圓弧缺陷檢測(cè)圓弧缺陷檢測(cè)模塊用于識(shí)別和分析工業(yè)產(chǎn)品中圓弧形特征的缺陷，模塊可以識(shí)別諸如裂縫、咬邊、凹陷和表面不平等缺陷。4實(shí)戰(zhàn)案例一：三極管引腳尺寸測(cè)量項(xiàng)目需求分析具體測(cè)量需求如下：產(chǎn)品材質(zhì)：金屬、塑料尺寸范圍：2mm-10mm測(cè)量精度：0.1mm視野確定：50mm*50mm（視野范圍要比樣品大，并保證有充分的移動(dòng)冗余空間）成像系統(tǒng)工作距離：200mm硬件方案設(shè)計(jì)根據(jù)視野大?。?0mm*50mm）和測(cè)量精度±0.1mm等檢測(cè)要求，選擇面陣相機(jī)

相機(jī)像素=（長(zhǎng)邊像素?cái)?shù)×n）×（短邊像素?cái)?shù)×n）精度余量按照3倍計(jì)算，得出相機(jī)的長(zhǎng)邊像素?cái)?shù)量為1500，短邊像素?cái)?shù)量為1500。選擇MV-CS032-10GM（320萬(wàn)像素黑白相機(jī)、分辨率2048×1536、CMOS芯片、像元尺寸3.45μm×3.45μm、C-Mount接口）根據(jù)鏡頭焦距計(jì)算公式：

焦距=工作距離×CCDSensor尺寸÷視野計(jì)算得出鏡頭焦距約為21.2mm

，結(jié)合現(xiàn)有鏡頭型號(hào)，選擇MVL-HF1628M-6MPE（600萬(wàn)分辨率）鏡頭。根據(jù)檢測(cè)需求分析和設(shè)備選型，視覺(jué)采集硬件系統(tǒng)架設(shè)方案視覺(jué)測(cè)量流程設(shè)計(jì)5實(shí)戰(zhàn)案例二：光伏電池片制造缺陷質(zhì)檢項(xiàng)目需求分析現(xiàn)有某光伏電池系列產(chǎn)品，需對(duì)電池片邊緣破損和斷裂等制造缺陷進(jìn)行識(shí)別檢測(cè)。其中，產(chǎn)品材質(zhì)為硅基半導(dǎo)體材料，電池片來(lái)料位置固定、視野范圍約為100mm*100mm，崩邊破損識(shí)別精度0.5mm，視覺(jué)采集系統(tǒng)工作距離約為250mm。硬件方案設(shè)計(jì)根據(jù)工件材質(zhì)及邊緣識(shí)別檢測(cè)特點(diǎn)，打光方案選擇背光源，可以呈現(xiàn)對(duì)比明顯的邊緣效果；相機(jī)及鏡頭選型可參考案例一。視覺(jué)檢測(cè)流程設(shè)計(jì)具體流程步驟如下：

1）調(diào)用特征匹配（高精度匹配）工具模塊2）利用位置修正模塊建立基準(zhǔn)點(diǎn)3）利用直線邊緣檢測(cè)模塊分別查找四條直線邊的缺陷4）利用格式化整理檢測(cè)結(jié)果，按照項(xiàng)目檢測(cè)要求將邊緣缺陷區(qū)域的中心坐標(biāo)輸出5）條件檢測(cè)判斷。使用條件檢測(cè)模塊通過(guò)判斷缺陷個(gè)數(shù)判斷工件是否合格。6）完成缺陷檢測(cè)流程，使用發(fā)送數(shù)據(jù)模塊，將上述四個(gè)條件分支的檢測(cè)結(jié)果格式化處理后別發(fā)送至相應(yīng)的控制或通信設(shè)備6實(shí)戰(zhàn)案例三：齒輪測(cè)量案例硬件方案設(shè)計(jì)硬件方案設(shè)計(jì)過(guò)程略，具體內(nèi)容可參考案例一。視覺(jué)流程設(shè)計(jì)1）采集圖像后，分別調(diào)用特征匹配（快速匹配）和位置修正工具模塊進(jìn)行特征定位操作2）檢測(cè)齒輪輪轂圓心和輪齒頂點(diǎn)。使用圓查找工具模塊檢測(cè)輪轂軸孔利用組合模塊，搜索所有匹配的輪齒，逐一測(cè)量每個(gè)輪齒頂點(diǎn)到齒輪輪轂圓心的距離；利用位置修正工具定位匹配的輪齒，逐一確定后續(xù)視覺(jué)工具模塊運(yùn)行時(shí)所對(duì)應(yīng)的輪齒位置利用頂點(diǎn)檢測(cè)工具模塊檢測(cè)所有的輪齒齒頂頂點(diǎn)3）使用點(diǎn)圓測(cè)量工具，分別調(diào)用前述視覺(jué)流程中檢測(cè)到的輪轂圓心和輪齒頂點(diǎn)，計(jì)算出每個(gè)輪齒頂點(diǎn)到輪轂圓心的距離根據(jù)需要匯總視覺(jué)流程中測(cè)量得到的所有圓心、頂點(diǎn)和距離等數(shù)據(jù)信息，后續(xù)可以搭配邏輯運(yùn)算、數(shù)據(jù)發(fā)送等模塊，進(jìn)行界面顯示和輸出等操作。利用格式化工具整理數(shù)據(jù)內(nèi)容，使用數(shù)據(jù)發(fā)送工具將數(shù)據(jù)信息發(fā)送給相應(yīng)的設(shè)備。Thankyou

工業(yè)視覺(jué)系統(tǒng)應(yīng)用技術(shù)

第七章圖像識(shí)別與定位

學(xué)習(xí)目標(biāo)掌握工業(yè)視覺(jué)系統(tǒng)在檢測(cè)中的目標(biāo)識(shí)別、精確定位與標(biāo)定等應(yīng)用，通過(guò)實(shí)戰(zhàn)案例完成從需求分析到完整解決工程問(wèn)題的全流程設(shè)計(jì)；掌握從原理到選型、從設(shè)計(jì)到集成的核心邏輯，培養(yǎng)以工程思維解決實(shí)際問(wèn)題的能力。工業(yè)視覺(jué)識(shí)別與定位技術(shù)1以微電子芯片制造為例：在芯片制造的復(fù)雜工藝流程中，視覺(jué)系統(tǒng)能夠清晰地分辨出芯片上極其微小的電路圖案；對(duì)芯片的微觀電路結(jié)構(gòu)進(jìn)行高精度的識(shí)別、精準(zhǔn)定位需要進(jìn)行加工或檢測(cè)的區(qū)域；通過(guò)快速讀取產(chǎn)品二維碼、條形碼或其他標(biāo)識(shí)信息，準(zhǔn)確識(shí)別型號(hào)、生產(chǎn)批次、生產(chǎn)日期等關(guān)鍵數(shù)據(jù)，實(shí)現(xiàn)了對(duì)生產(chǎn)過(guò)程的全程追溯，為生產(chǎn)流程的自動(dòng)化管理提供了有力支持。未來(lái)，工業(yè)視覺(jué)系統(tǒng)將借助深度學(xué)習(xí)與人工智能技術(shù)的深度融合，實(shí)現(xiàn)質(zhì)的飛躍，具備自主學(xué)習(xí)和優(yōu)化檢測(cè)功能，靈活高效地自動(dòng)適應(yīng)不同的生產(chǎn)場(chǎng)景和產(chǎn)品變化；實(shí)現(xiàn)生產(chǎn)過(guò)程的全面檢測(cè)和數(shù)據(jù)共享與交互，為企業(yè)的智能化生產(chǎn)轉(zhuǎn)型注入強(qiáng)大動(dòng)力，推動(dòng)制造業(yè)向智能化、高效化、精細(xì)化方向邁進(jìn)。2圖像識(shí)別條碼識(shí)別用于定位和識(shí)別指定區(qū)域內(nèi)的條碼條碼識(shí)別模塊支持CODE39碼、CODE128碼、庫(kù)得巴碼、EAN碼、交替25碼以及CODE93碼等多種編碼標(biāo)準(zhǔn)。二維碼識(shí)別視覺(jué)二維碼識(shí)別是一種利用圖像處理技術(shù)來(lái)解碼和讀取二維碼的信息的過(guò)程。二維碼識(shí)別算法運(yùn)行過(guò)程包括圖像處理、二維碼定位、圖像矯正和解碼等操作。字符識(shí)別字符識(shí)別工具主要用于自動(dòng)識(shí)別和處理物品上的文字、數(shù)字和字符等，將圖像中的這些字符信息轉(zhuǎn)化為可編輯的數(shù)字文本。字符識(shí)別算法模塊主要包括字符訓(xùn)練和字符識(shí)別兩個(gè)核心部分，字符訓(xùn)練是構(gòu)建一個(gè)高效字符識(shí)別系統(tǒng)的基礎(chǔ)步驟，為系統(tǒng)提供所需的數(shù)據(jù)和模型。樣例訓(xùn)練時(shí)應(yīng)該盡可能覆蓋所有可能出現(xiàn)的字符類型和字體風(fēng)格，提高字符樣例的一致性和質(zhì)量，便于更準(zhǔn)確地提取字符圖像中的關(guān)鍵特征。3定位與標(biāo)定圖像定位是指通過(guò)分析圖像數(shù)據(jù)來(lái)確定物體或特定特征在圖像中的位置。常用的方法有模板匹配、特征匹配和位置修正等。圖像標(biāo)定（或稱為相機(jī)標(biāo)定）是指通過(guò)數(shù)學(xué)模型來(lái)校正圖像（及相機(jī)）的內(nèi)部參數(shù)（如焦距、光學(xué)中心）和外部參數(shù)（如位置、姿態(tài)），以去除圖像中的畸變并獲得準(zhǔn)確的空間尺寸和形狀。常用的方法有標(biāo)定板標(biāo)定和N點(diǎn)標(biāo)定等。模板匹配模板匹配是一種在圖像處理中用來(lái)查找和識(shí)別圖像中與模板圖像相匹配區(qū)域的技術(shù)。位置修正位置修正是一個(gè)輔助定位、修正目標(biāo)運(yùn)動(dòng)偏移、輔助精準(zhǔn)定位的工具，在識(shí)別或測(cè)量過(guò)程中，根據(jù)模板匹配結(jié)果中的匹配點(diǎn)和匹配框角度建立位置偏移的基準(zhǔn)，針對(duì)誤差或偏差對(duì)對(duì)象的位置進(jìn)行調(diào)整。標(biāo)定標(biāo)定板標(biāo)定是一種常見(jiàn)的相機(jī)校準(zhǔn)方法，其主要目的是通過(guò)標(biāo)定板上已知的幾何特征（如棋盤格、圓點(diǎn)、或特定圖案）來(lái)計(jì)算相機(jī)的內(nèi)參和外參。棋盤格的特征點(diǎn)易于利用視覺(jué)算法檢測(cè)且分布模式規(guī)則，拍攝時(shí)要確保棋盤格在圖像中清晰可見(jiàn)，并覆蓋圖像的大部分區(qū)域。利用特征識(shí)別算法檢測(cè)棋盤格的角點(diǎn)圖像坐標(biāo)，根據(jù)圖像坐標(biāo)位置和物理坐標(biāo)拍攝時(shí)位置（即棋盤格實(shí)際尺寸或?qū)嶋H物理位置），計(jì)算相機(jī)內(nèi)參數(shù)（如焦距、光學(xué)中心）和鏡頭畸變系數(shù)（徑向和切向畸變），輸出圖像坐標(biāo)系到物理坐標(biāo)系的轉(zhuǎn)換關(guān)系（即標(biāo)定文件）。得到轉(zhuǎn)換關(guān)系后，就可以將圖像中標(biāo)定板平面上的像素點(diǎn)坐標(biāo)轉(zhuǎn)換到對(duì)應(yīng)的標(biāo)定板的物理坐標(biāo)系中。在工業(yè)檢測(cè)中，標(biāo)定相機(jī)可用于細(xì)致的缺陷檢測(cè)和尺寸測(cè)量。同時(shí)，視覺(jué)標(biāo)定也適用于多種計(jì)算機(jī)視覺(jué)任務(wù)的校準(zhǔn)任務(wù)。例如，使用相機(jī)標(biāo)定得到的畸變系數(shù)來(lái)校正原始圖像中的畸變點(diǎn),用于校正鏡頭畸變。4實(shí)戰(zhàn)案例四：物料顏色分選項(xiàng)目需求分析在相機(jī)視野（50*30mm、精度約0.05mm）內(nèi)放置不同顏色的物料，通過(guò)視覺(jué)系統(tǒng)準(zhǔn)確識(shí)別對(duì)應(yīng)物料顏色，分類并輸出對(duì)應(yīng)的位置坐標(biāo)給上位機(jī)等通信設(shè)備，可以搭配機(jī)械手實(shí)現(xiàn)不同顏色物料的定位抓取功能（操作預(yù)留空間150~200mm）。硬件方案設(shè)計(jì)（1）相機(jī)選型計(jì)算長(zhǎng)邊像素?cái)?shù)量為50÷0.05=1000，短邊像素?cái)?shù)量為30÷0.05=600，精度余量按照3倍計(jì)算，得出相機(jī)的長(zhǎng)邊像素?cái)?shù)量為3000，短邊像素?cái)?shù)量為1800。選擇3072×2048（600萬(wàn)）像素的相機(jī)MV-CS060-10GC（2）鏡頭選型根據(jù)鏡頭焦距計(jì)算公式計(jì)算得出鏡頭焦距約為22.11mm，選擇匹配的鏡頭型號(hào)為MVL-HF2524M-10MP（3）光源選型結(jié)合定位邏輯選擇低角度環(huán)形光源MV-LRDS-H-120-30-W，以約120～130mm高度進(jìn)行架設(shè)。視覺(jué)流程設(shè)計(jì)1）圖像采集2）創(chuàng)建產(chǎn)品匹配模板項(xiàng)目現(xiàn)場(chǎng)在拍攝時(shí)會(huì)隨機(jī)出現(xiàn)多個(gè)不同顏色的產(chǎn)品，可以在視覺(jué)流程中利用組合模塊，對(duì)視野內(nèi)出現(xiàn)的所有目標(biāo)逐個(gè)循環(huán)檢測(cè)。3）顏色識(shí)別設(shè)置顏色模型，逐一添加所有需要識(shí)別的色彩模型視覺(jué)程序根據(jù)預(yù)設(shè)的顏色模板能夠正確識(shí)別并顯示拍攝視野內(nèi)所有產(chǎn)品的對(duì)應(yīng)顏色。最后，利用通訊模塊將數(shù)據(jù)輸出給上位機(jī)或機(jī)械手等設(shè)備，引導(dǎo)設(shè)備完成分揀抓取。5實(shí)戰(zhàn)案例五：電容OCR字符識(shí)別項(xiàng)目需求分析具體檢測(cè)需求如下：產(chǎn)線上電容器隨機(jī)擺放，視覺(jué)系統(tǒng)能準(zhǔn)確捕捉產(chǎn)品并正確識(shí)別產(chǎn)品上打印的產(chǎn)品編碼和日期等字符；字符識(shí)別區(qū)域范圍約為120mm*100mm，字符特征最小打印寬度為0.5mm；產(chǎn)線檢測(cè)速度要求為每秒需要檢測(cè)不少于10件產(chǎn)品；視覺(jué)系統(tǒng)能夠?qū)崿F(xiàn)異常剔除，可識(shí)別打印不清、殘缺、傾斜、反碼等不符合打印要求的產(chǎn)品硬件方案設(shè)計(jì)（1）相機(jī)選型根據(jù)視野大?。?20mm*100mm）和定位精度±0.5mm的要求，進(jìn)行面陣相機(jī)的選型。精度余量按照2倍計(jì)算