工業(yè)視覺系統(tǒng)應(yīng)用技術(shù)

第五章工業(yè)視覺軟件算法基礎(chǔ)

學(xué)習(xí)目標(biāo)掌握工業(yè)視覺軟件的基本架構(gòu)，理解圖像采集、預(yù)處理、特征提取、分析決策的基本流程；掌握主要圖像處理功能模塊的基本原理、作用及其在典型任務(wù)中的應(yīng)用。工業(yè)視覺助力制造業(yè)轉(zhuǎn)型升級(jí)1工業(yè)視覺軟件作為人工智能在工業(yè)領(lǐng)域的關(guān)鍵應(yīng)用，其發(fā)展是對(duì)科技強(qiáng)國(guó)戰(zhàn)略的有力踐行，有助于提升我國(guó)在全球科技競(jìng)爭(zhēng)中的地位，增強(qiáng)國(guó)家核心競(jìng)爭(zhēng)力，為實(shí)現(xiàn)中華民族偉大復(fù)興的中國(guó)夢(mèng)提供科技支撐。2VisionMaster視覺算法平臺(tái)數(shù)字圖像數(shù)字圖像中包含豐富的信息，這些信息可以通過像素的位置、顏色值和排列方式來表達(dá)，如顏色信息、亮度信息、空間信息等。數(shù)字圖像中的每個(gè)像素都有特定的位置坐標(biāo)，包括像素的位置、大小和排列方式，描述圖像中物體或區(qū)域的尺寸和大小等信息，通常以像素?cái)?shù)或?qū)嶋H物理尺寸表示。視覺圖像空間信息對(duì)于圖像理解、處理和分析都具有重要意義，是計(jì)算機(jī)視覺和圖像處理領(lǐng)域的核心內(nèi)容之一。VisionMaster算法平臺(tái)VisionMaster算法平臺(tái)集成機(jī)器視覺多種算法組件，支持多種圖像采集設(shè)備，適用多種應(yīng)用場(chǎng)景，可快速組合算法，能滿足視覺定位、尺寸測(cè)量、缺陷檢測(cè)以及信息識(shí)別等工業(yè)視覺應(yīng)用需求。視覺方案說明通用方案用戶可根據(jù)項(xiàng)目?jī)?nèi)容自由選擇算法工具，搭建檢測(cè)流程定位測(cè)量通過定位、測(cè)量工具進(jìn)行設(shè)計(jì)，基于輪廓圖及深度圖實(shí)現(xiàn)高效定位匹配、輪廓及特征測(cè)量和引導(dǎo)等功能缺陷檢測(cè)借助檢測(cè)工具查找工件形態(tài)和輪廓缺陷用于識(shí)別：通過識(shí)別工具進(jìn)行方案設(shè)計(jì)，讀取多種制式的信息碼、字符等ID信息在VisionMaster算法開發(fā)平臺(tái)中，提供了千余種圖像處理算子和開發(fā)工具,以及深度學(xué)習(xí)算法包，優(yōu)化后的算法能夠?qū)ΤＲ姷母黝惞I(yè)檢測(cè)都有良好的適應(yīng)性，在安裝基礎(chǔ)工具模塊之后可根據(jù)自己需求選擇是否安裝深度學(xué)習(xí)等增強(qiáng)工具包。在VisionMaster的啟動(dòng)界面，提供了多種典型工業(yè)應(yīng)用示例方案，方便用戶參考設(shè)計(jì)工業(yè)檢測(cè)項(xiàng)目。3圖像處理工具集圖像二值化圖像二值化是圖像處理中的一種基本操作，其目的是將灰度圖像轉(zhuǎn)換為只有黑白兩種顏色的二值圖像。二值化圖像的像素值只有0和1（或者0和255），分別代表黑色和白色。圖像濾波圖像濾波是一種用于去除圖像噪聲或提取特定特征的圖像處理技術(shù)，旨在改善圖像的質(zhì)量、增強(qiáng)特定的圖像特征或去除圖像中的噪聲。濾波器通常是一種矩陣或函數(shù)，選擇濾波器類型和參數(shù)取決于所需的圖像處理目標(biāo)和應(yīng)用場(chǎng)景。1.均值濾波（MeanFilter）均值濾波也稱為線性濾波或均值平滑，通過用一個(gè)窗口內(nèi)所有像素的平均值來替代窗口中心像素的值，常用于去除圖像中的高斯噪聲或平滑圖像。2.中值濾波（MedianFilter）中值濾波是一種非線性濾波方法，其原理是選擇鄰域像素值中的中間值作為輸出來替代窗口中心像素的值，常用于去除圖像中的椒鹽噪聲或斑點(diǎn)噪聲。3.高斯濾波（GaussianFilter）高斯濾波是一種常用的線性平滑濾波器，通過對(duì)圖像進(jìn)行卷積操作,利用高斯函數(shù)來對(duì)圖像進(jìn)行加權(quán)平均，達(dá)到平滑圖像的目的。圖像增強(qiáng)圖像增強(qiáng)是通過圖像處理技術(shù)改善圖像的質(zhì)量、增強(qiáng)圖像的特定特征或提高圖像的可視化效果的技術(shù)，旨在改善圖像的視覺效果或增強(qiáng)某些感興趣的特征以改善圖像的觀感、清晰度、對(duì)比度等方面。1．對(duì)比度增強(qiáng)——通過調(diào)整圖像的像素值范圍來增加圖像的對(duì)比度，使圖像的視覺效果更加鮮明和清晰。2.銳化圖像銳化是是增強(qiáng)圖像細(xì)節(jié)和邊緣的一種技術(shù)，通過突出圖像中的邊緣等顯著特征，來增強(qiáng)圖像的清晰度和細(xì)節(jié)度。3.亮度調(diào)整亮度調(diào)整是通過改變圖像的亮度值來調(diào)整圖像的整體明暗程度，使其更符合視覺需求和具體應(yīng)用場(chǎng)景。形態(tài)學(xué)處理形態(tài)學(xué)處理是一種基于圖像形狀的數(shù)學(xué)理論，通過使用特定的結(jié)構(gòu)元素對(duì)圖像中的目標(biāo)形態(tài)進(jìn)行操作，用于圖像的邊緣檢測(cè)、噪聲去除、小目標(biāo)填充、對(duì)象連接等。形態(tài)學(xué)方法主要包括形態(tài)學(xué)腐蝕、形態(tài)學(xué)膨脹、開運(yùn)算、閉運(yùn)算、形態(tài)學(xué)梯度等運(yùn)算操作。1.圖像腐蝕圖像腐蝕是一種局部操作，通過將圖像中的前景像素減小或腐蝕來進(jìn)行處理，主要用來去除圖像中的小的噪聲和分離不相連的結(jié)構(gòu)或區(qū)域，從而使目標(biāo)變得更小或更平滑。2.膨脹形態(tài)學(xué)膨脹是形態(tài)學(xué)腐蝕的逆過程。主要作用是增大圖像中前景（白色）像素的面積，擴(kuò)張圖像中物體的邊界、或增強(qiáng)圖像中的目標(biāo)區(qū)域等。3.開運(yùn)算和閉運(yùn)算在圖像處理領(lǐng)域，常常將圖像腐蝕和膨脹組合使用，可以有效地改進(jìn)圖像處理效果。其中，開運(yùn)算和閉運(yùn)算是膨脹與腐蝕操作的不同序列組合。閉運(yùn)算是先對(duì)圖像進(jìn)行膨脹操作，然后進(jìn)行腐蝕操作。膨脹擴(kuò)展前景對(duì)象的大小，然后腐蝕去除膨脹操作中擴(kuò)展的部分，但保持填補(bǔ)后對(duì)象的原始形狀。開運(yùn)算則是通過先進(jìn)行腐蝕再進(jìn)行膨脹來處理圖像，主要功能是去除小的前景對(duì)象（例如白色噪聲斑點(diǎn)），同時(shí)不會(huì)影響到較大的前景對(duì)象。圖像運(yùn)算圖像運(yùn)算是指對(duì)輸入圖像進(jìn)行邏輯和數(shù)據(jù)運(yùn)算。1.算術(shù)運(yùn)算算數(shù)運(yùn)算有加法、減法、乘法和除法幾種類型。2.邏輯運(yùn)算邏輯運(yùn)算有邏輯與、或、非和異或四種常用方法3.幾何變換圖像幾何變換是指對(duì)圖像的位置、形態(tài)或結(jié)構(gòu)進(jìn)行更改的運(yùn)算。常見的幾何變換包括平移、旋轉(zhuǎn)、鏡像、縮放、仿射變換和透視變換等。仿射變換是一種線性變換，通過幾何變換操作，將圖像中的坐標(biāo)變換成新的坐標(biāo)，同時(shí)能夠保持二維圖形在變換前后的平行關(guān)系及圖形局部不變性。4系統(tǒng)數(shù)據(jù)通訊在工業(yè)自動(dòng)化領(lǐng)域，工業(yè)視覺數(shù)據(jù)通訊主要涉及工業(yè)相機(jī)、視覺系統(tǒng)與其他設(shè)備（如計(jì)算機(jī)、PLC等）之間的數(shù)據(jù)傳輸，主要內(nèi)容包括通訊接口、通訊協(xié)議和數(shù)據(jù)內(nèi)容格式等。通訊接口1.以太網(wǎng)接口以太網(wǎng)接口是目前工業(yè)視覺系統(tǒng)中最常用的通訊接口之一。它基于IEEE802.3標(biāo)準(zhǔn)網(wǎng)絡(luò)協(xié)議進(jìn)行數(shù)據(jù)傳輸，通過網(wǎng)絡(luò)協(xié)議（如TCP/IP）進(jìn)行數(shù)據(jù)傳輸，支持多種拓?fù)浣Y(jié)構(gòu)。特點(diǎn)是傳輸速度快、傳輸距離長(zhǎng)，能夠滿足工業(yè)視覺系統(tǒng)中大量圖像數(shù)據(jù)的快速傳輸需求；而且以太網(wǎng)接口具備良好的兼容性和通用性。2.USB接口USB接口具有即插即用、熱插拔、兼容性強(qiáng)等特點(diǎn)，并且在短距離內(nèi)可以提供較高的數(shù)據(jù)傳輸速率；USB3.0的理論傳輸速度可達(dá)5Gbps，USB3.1Gen2的速度可達(dá)10Gbps，能滿足高分辨率圖像的實(shí)時(shí)傳輸需求。3.CameraLink接口CameraLink是一種高速、高性能的串行接口標(biāo)準(zhǔn)，采用了LVDS（低壓差分信號(hào)）技術(shù)，其標(biāo)準(zhǔn)支持的最高數(shù)據(jù)傳輸率可達(dá)680MB/s，CameralinkFull模式有效帶寬最高可達(dá)6.4Gbps，具有良好的抗干擾能力，較多應(yīng)用在對(duì)圖像傳輸速度和質(zhì)量要求極高的場(chǎng)合，如高分辨率圖像采集、高速生產(chǎn)線的產(chǎn)品檢測(cè)等應(yīng)用領(lǐng)域。4.GigEVision接口GigEVision是一種基于以太網(wǎng)通信協(xié)議開發(fā)的工業(yè)相機(jī)接口標(biāo)準(zhǔn)，其優(yōu)勢(shì)在于可以利用現(xiàn)有的以太網(wǎng)基礎(chǔ)設(shè)施，并且支持長(zhǎng)距離傳輸?？梢愿鶕?jù)具體需求選擇符合GigEVision標(biāo)準(zhǔn)的不同品牌、型號(hào)的相機(jī)、圖像采集卡等設(shè)備，基于以太網(wǎng)的基礎(chǔ)設(shè)施進(jìn)行系統(tǒng)集成和擴(kuò)展，構(gòu)建靈活多樣的工業(yè)視覺系統(tǒng)。通訊協(xié)議工業(yè)視覺系統(tǒng)的通訊及通訊協(xié)議是實(shí)現(xiàn)設(shè)備間數(shù)據(jù)交互、指令控制與系統(tǒng)集成的核心技術(shù)，其設(shè)計(jì)需滿足高實(shí)時(shí)性、可靠性和兼容性要求。1.TCP/IP協(xié)議——傳輸控制協(xié)議/因特網(wǎng)協(xié)議，是一組用于在互聯(lián)網(wǎng)及計(jì)算機(jī)網(wǎng)絡(luò)（如內(nèi)聯(lián)網(wǎng)、外聯(lián)網(wǎng)）中互連網(wǎng)絡(luò)設(shè)備的基礎(chǔ)通信協(xié)議。2.ModbusTCP協(xié)議——基于TCP/IP網(wǎng)絡(luò)的Modbus通訊協(xié)議，繼承了ModbusRTU和ModbusASCII的優(yōu)點(diǎn)，克服了它們?cè)诰嚯x和速度上的限制，能夠?qū)崿F(xiàn)跨網(wǎng)絡(luò)的設(shè)備通信，通信速度快，適合實(shí)時(shí)數(shù)據(jù)傳輸。3.UDP協(xié)議——即用戶數(shù)據(jù)報(bào)協(xié)議，是一種無連接的協(xié)議。將數(shù)據(jù)封裝成數(shù)據(jù)包獨(dú)立傳輸，無需建立連接和進(jìn)行復(fù)雜的確認(rèn)機(jī)制，能夠快速傳輸數(shù)據(jù)。4.西門子S7協(xié)議——西門子專為其可編程邏輯控制器（PLC）產(chǎn)品系列設(shè)計(jì)的通信協(xié)議協(xié)議。5.串口通訊協(xié)議——是一種按位發(fā)送和接收字節(jié)的通信協(xié)議。數(shù)據(jù)傳輸1.傳輸內(nèi)容工業(yè)視覺系統(tǒng)數(shù)據(jù)傳輸?shù)膬?nèi)容豐富多樣，包括圖像數(shù)據(jù)、測(cè)量數(shù)據(jù)、識(shí)別結(jié)果、控制指令和系統(tǒng)運(yùn)行狀態(tài)等數(shù)據(jù)。2.接收發(fā)送數(shù)據(jù)接收數(shù)據(jù)模塊主要用于獲取外部通信設(shè)備、全局變量和數(shù)據(jù)隊(duì)列的數(shù)據(jù)，并將這部分?jǐn)?shù)據(jù)在流程中使用。發(fā)送數(shù)據(jù)模塊主要用于將視覺流程中的數(shù)據(jù)發(fā)送給數(shù)據(jù)隊(duì)列、外部通信設(shè)備、全局變量和視覺控制器。5腳本功能工業(yè)視覺腳本是工業(yè)視覺系統(tǒng)中用于實(shí)現(xiàn)特定功能和邏輯控制的重要組成部分。在VisionMaster中，腳本模塊使用

編程，可在VisualStudio進(jìn)行代碼的編寫和調(diào)試，腳本支持int、flaot、string、Bytes和Image五種數(shù)據(jù)類型的輸入輸出。在腳本中，用戶可自行編譯所要實(shí)現(xiàn)的功能，也可調(diào)用第三方工具庫。工業(yè)視覺腳本開發(fā)1.Halcon——Halcon提供了豐富的用于圖像處理、分析和工業(yè)視覺應(yīng)用函數(shù)庫。語言簡(jiǎn)潔高效，其內(nèi)部算法經(jīng)過高度優(yōu)化，能夠在短時(shí)間內(nèi)處理大量的圖像數(shù)據(jù)，能夠快速實(shí)現(xiàn)各種復(fù)雜的視覺檢測(cè)算法。2.OpenCV——開源的計(jì)算機(jī)視覺庫，包含了大量用于圖像處理和計(jì)算機(jī)視覺任務(wù)的算法。支持多種編程語言，可以結(jié)合Python或

等編程語言使用。Python的優(yōu)勢(shì)在于代碼簡(jiǎn)潔、開發(fā)速度快，適合快速原型開發(fā)和實(shí)驗(yàn)性的視覺檢測(cè)項(xiàng)目。3.VisualStudio——Visual