項目三

機器人關(guān)節(jié)部件視覺分揀編程知識結(jié)構(gòu)2任務(wù)一

視覺引導(dǎo)系統(tǒng)認知1.任務(wù)描述視覺系統(tǒng)就是用機器代替人眼來做測量和判斷。視覺系統(tǒng)是指通過機器視覺產(chǎn)品（即圖像攝取裝置，分CMOS和CCD兩種）將被攝取目標轉(zhuǎn)換成圖像信號，傳送給專用的圖像處理系統(tǒng)，根據(jù)像素分布和亮度、顏色等信息，轉(zhuǎn)變成數(shù)字化信號；圖像系統(tǒng)對這些信號進行各種運算來抽取目標的特征，進而根據(jù)判別的結(jié)果來控制現(xiàn)場的設(shè)備動作。經(jīng)常被應(yīng)用在生產(chǎn)、裝配、包裝、檢測缺陷等方面。3任務(wù)一

視覺引導(dǎo)系統(tǒng)認知視覺系統(tǒng)概述視覺引導(dǎo)系統(tǒng)的作用在來料位置不固定，來料型號多樣化并且顏色有差異時，通過視覺系統(tǒng)，可以識別料型號、顏色并定位到物體坐標，引導(dǎo)機器人將的物體放置在指定區(qū)域。視覺引導(dǎo)系統(tǒng)的原理視覺軟件通過多點標定的方法，將圖像坐標系與機器人坐標系建立關(guān)系。使用顏色查找的工具來識別物體顏色。通過模板匹配的方法，定位到目標物的坐標并傳送給機器人控制器，引導(dǎo)機器人抓去已定位到的目標。視覺系統(tǒng)監(jiān)測系統(tǒng)的組成視覺檢測系統(tǒng)包括工業(yè)相機、鏡頭、光源、視覺控制器。4任務(wù)一

視覺引導(dǎo)系統(tǒng)認知2.視覺系統(tǒng)概述（4）工業(yè)面陣相機?？低旵E&CA系列網(wǎng)口工業(yè)面陣相機中的MV-CA060-10G(如圖3-3所示)千兆以太網(wǎng)接口提供了1Gbps帶寬，無需中繼，大傳輸距離可到100m，128MB板上緩存，可緩存多張圖片，用于突發(fā)傳輸或者重傳支持自動曝光控制、用戶自定義查找表LUT、Gamma校正等，可使用硬觸發(fā)或者軟觸發(fā)的方式來完成多臺相機或者相機與外部設(shè)備之間的同步。同時可以配合不同的曝光模式完成相機成像采集。彩色相機植入優(yōu)異的圖像插值算法，更好的顏色還原，并且支持自動白平衡兼容GigE

Vision協(xié)議V1.2，無縫鏈接第三方軟件。5任務(wù)一

視覺引導(dǎo)系統(tǒng)認知VisionMaster軟件VisionMaster軟件是?？低曄鄼C配套的圖像處理軟件。該軟件封裝了千余種?？低曌灾鏖_發(fā)的圖像處理算子，形成了強大的視覺分析工具庫，無需編程，通過簡單靈活的配置，便可快速構(gòu)建機器視覺應(yīng)用系統(tǒng)。軟件特點：響應(yīng)快。VisionMaster視覺識別系統(tǒng)中，所有的識別算法都是自主開發(fā)的，有很快的響應(yīng)時間和靈活的處理方式。界面友好。VisionMaster編輯界面擁有多種設(shè)計圖形，能夠?qū)崿F(xiàn)各種圖形化交互，也可以進行拖曳式操作，完成可視化操作。功能強大。系統(tǒng)內(nèi)部包含千余種圖像處理算子，算法性能優(yōu)秀?？梢愿鶕?jù)需要自行編輯界面，有豐富的通信接口。兼容性強。支持GigE

Vision

USB3

Vision協(xié)議標準，可以接入多種品牌相機。6任務(wù)一

視覺引導(dǎo)系統(tǒng)認知4.VisionMaster軟件安裝打開VisionMaster安裝軟件開始安裝，按步驟執(zhí)行即可完成軟件安裝。軟件安裝完成，有完成提示。7任務(wù)一

視覺引導(dǎo)系統(tǒng)認知5.VisionMaster軟件界面該界面由菜單欄、工具欄、圖像顯示欄、狀態(tài)顯示欄和流程圖區(qū)組成，用戶可以根據(jù)工具欄提供的控件和自身需要設(shè)計流程圖。8任務(wù)一

視覺引導(dǎo)系統(tǒng)認知PLCInterface通信配置機器人端：無需配置，通過二次開發(fā)接口接收數(shù)據(jù)。工控機端：打開桌面上的“PLCInterface”軟件，按如圖3-7所示配置：A型連接192.168.1.200/B型連接192.168.1.201，分別連接機器人和軟件。9任務(wù)一

視覺引導(dǎo)系統(tǒng)認知7.工控機網(wǎng)絡(luò)通信配置在工控機網(wǎng)絡(luò)設(shè)置里面：設(shè)置網(wǎng)卡IP地址，與機器人的IPC地址為同一網(wǎng)段：192.168.1.213（A型）或者192.168.1.214（B型）與機器人通信配置。具體設(shè)置方法如圖所示。與相機通信配置系統(tǒng)將自動獲取。10任務(wù)二

視覺相機標定1.任務(wù)描述在圖像測量過程以及機器視覺應(yīng)用中，為確定空間物體表面某點的三維幾何位置與其在圖像中對應(yīng)點之間的相互關(guān)系，必須建立相機成像的幾何模型，這些幾何模型參數(shù)就是相機參數(shù)。在大多數(shù)條件下這些參數(shù)必須通過實驗與計算才能得到，這個求解參數(shù)的過程就稱之為相機標定（或攝像機標定）。無論是在圖像測量或者機器視覺應(yīng)用中，相機參數(shù)的標定都是非常關(guān)鍵的環(huán)節(jié)，其標定結(jié)果的精度及算法的穩(wěn)定性直接影響相機工作產(chǎn)生結(jié)果的準確性。11任務(wù)二

視覺相機標定2.常用相機的標定方法常用相機標定方法有：傳統(tǒng)相機標定法、相機自標定法和主動視覺相機標定方法。（1）傳統(tǒng)相機標定法該方法需要使用尺寸已知的標定物，通過建立標定物上坐標已知的點與其圖像點之間的對應(yīng)，利用一定的算法獲得相機模型的內(nèi)外參數(shù)。根據(jù)標定物的不同可分為三維標定物和平面型標定物。三維標定物可由單幅圖像進行標定，標定精度較高，但高精密三維標定物的加工和維護較困難。平面型標定物比三維標定物制作簡單，精度易保證，但標定時必須采用兩幅或兩幅以上的圖像。傳統(tǒng)相機標定法在標定過程中始終需要標定物，且標定物的制作精度會影響標定結(jié)果。同時有些場合不適合放置標定物也限制了傳統(tǒng)相機標定法的應(yīng)用。12任務(wù)二

視覺相機標定2.常用相機的標定方法常用相機標定方法有：傳統(tǒng)相機標定法、相機自標定法和主動視覺相機標定方法。（2）相機自標定法目前出現(xiàn)的自標定算法中主要是利用相機運動的約束。相機的運動約束條件太強，因此使得其在實際中并不實用。利用場景約束主要是利用場景中的一些平行或者正交的信息。其中空間平行線在相機圖像平面上的交點被稱為消失點，它是射影幾何中一個非常重要的特征，所以很多學(xué)者研究了基于消失點的相機自標定方法。自標定方法靈活性強，可對相機進行在線定標。但由于它是基于絕對二次曲線或曲面的方法，其算法魯棒性差。13任務(wù)二

視覺相機標定2.常用相機的標定方法常用相機標定方法有：傳統(tǒng)相機標定法、相機自標定法和主動視覺相機標定方法。（3）基于主動視覺的相機標定法該方法是指已知相機的某些運動信息對相機進行標定。該方法不需要標定物，但需要控制相機做某些特殊運動，利用這種運動的特殊性可以計算出相機內(nèi)部參數(shù)?；谥鲃右曈X的相機標定法的優(yōu)點是算法簡單，往往能夠獲得線性解，故魯棒性較高，缺點是系統(tǒng)的成本高、實驗設(shè)備昂貴、實驗條件要求高，而且不適合于運動參數(shù)未知或無法控制的場合。本設(shè)備平臺由于機器人坐標系和相機坐標系并不重合，相機計量單位為像素，機器人計量單位為MM，需要九點法標定換算。視覺軟件通過多點標定的方法，將圖像坐標系與機器人坐標系建立關(guān)系，進行工件種類和顏色的識別。通過模板匹配的方法，定位到目標物的坐標并傳送給機器人控制器，引導(dǎo)機器人抓取已定位到的目標。14任務(wù)二

視覺相機標定3.任務(wù)實施（1）標定前準備先將工業(yè)機器人以吸嘴為中心，新建一個工具坐標系（如：Tool10）準備一張紙或硬紙板，并繪制9個標記中心位置的圓，具體示意圖如圖所示。切換工業(yè)機器人工具坐標系為步驟1新建的工具坐標系，并選擇世界坐標系操控機器人。15任務(wù)二

視覺相機標定3.任務(wù)實施（2）標定任務(wù)的實施

1）創(chuàng)建N點標定流程2）設(shè)置相機參數(shù)選擇相機：Hikvision

MV-CA060-10G。像素格式：MONO8。觸發(fā)源:software16任務(wù)二

視覺相機標定3.任務(wù)實施（3）高精度特征匹配1）創(chuàng)建“特征模板”，點擊創(chuàng)建，彈出如圖所示對話框，完成圖中第1——第6的操作步驟。①選擇當(dāng)前圖像，新建模板②用圓形框或矩形框選中小圓圈③選擇模型匹配中心④選擇小圓中心點，如果有其他非圓弧邊界，用橡皮檫去除⑤點擊勾選，生成模型⑥確定17任務(wù)二

視覺相機標定3.任務(wù)實施（3）高精度特征匹配2）設(shè)置“運行參數(shù)”，最大匹配個數(shù)設(shè)置為9。具體示意圖如圖所示18任務(wù)二

視覺相機標定3.任務(wù)實施（4）N點標定雙擊流程圖中的“N點標定”，主要進行基本參數(shù)設(shè)置，選擇標定點獲取：觸發(fā)獲取，標定點輸入：按點，平移次數(shù)：9。選中不相關(guān)的標定點，單擊“清空標定點”，初始化標定點。19任務(wù)二

視覺相機標定3.任務(wù)實施（4）N點標定雙擊流程圖中的“N點標定”，主要進行基本參數(shù)設(shè)置，選擇標定點獲取：觸發(fā)獲取，標定點輸入：按點，平移次數(shù)：9。選中不相關(guān)的標定點，單擊“清空標定點”，初始化標定點。雙擊主窗口流程圖中的“高精度特征匹配”，

拖動藍色拍照框，至9個小圓圈處，點擊“單次執(zhí)行”。雙擊“N點標定”，查看圖像顯示窗口中，上

個步驟單次執(zhí)行后9個點的軌跡是否與圖像窗口顯示的軌跡匹配，如果不正確，清空標定點后，重復(fù)上一步。如果正確，點擊“旋轉(zhuǎn)次數(shù)”后面的筆形圖標，調(diào)出

“編輯標定點”表格。20任務(wù)二

視覺相機標定3.任務(wù)實施（4）N點標定雙擊主窗口流程圖中的“高精度特征匹配”，拖動藍色拍照框，至9個小圓圈處，點擊“單次執(zhí)行”。雙擊“N點標定”，查看圖像顯示窗口中，上個步驟單次執(zhí)行后9個點的軌跡是否與圖像窗口顯示的軌跡匹配，如果不正確，清空標定點后，重復(fù)上一步。如果正確，點擊“旋轉(zhuǎn)次數(shù)”后面的筆形圖標，調(diào)出“編輯標定點”表格。21任務(wù)二

視覺相機標定3.任務(wù)實施（4）N點標定左側(cè)圖像坐標X、Y會自動填寫，工業(yè)機器人按順序依次運行到每個小圓圈的中心點，用LR寄存器記錄坐標值。機器人姿態(tài)圖如圖3-15所示。把保存坐標X、Y值填入相機“編輯標定點”表格的物理坐標X、Y中。如圖3-16所示。點擊確認。先點擊執(zhí)行，然后生成標定文件，保存在文件夾中。標定完成。22任務(wù)三

工件形狀的識別1.任務(wù)描述在機器人關(guān)節(jié)裝配任務(wù)中，工件形狀識別是要完成法蘭盤盤工件和減速器工件的區(qū)分，引入視覺系統(tǒng)之后，需要采用機器視覺自動區(qū)分兩種不同類型的工件，以引導(dǎo)機器人完成不同的裝配動作。在當(dāng)前系統(tǒng)中，進行工件形狀識別，需要進行識別流程創(chuàng)建、工件識別模板制作及測試。23任務(wù)三

工件形狀的識別2.機器視覺形狀檢測方法機器視覺就是以機器代替人眼視覺完成觀察和檢測任務(wù)的系統(tǒng)。隨著計算機運算速度的不斷

提高，機器視覺在很多領(lǐng)域不斷得到應(yīng)用，逐漸成為許多機器和生產(chǎn)線的一部分，并發(fā)揮著重要

作用。常用于大批量生產(chǎn)過程的產(chǎn)品質(zhì)量檢測、目標定位，如外觀、缺陷等的檢測、工件精定位，以及一些不適合人的危險環(huán)境或者人眼視覺難以滿足要求的場合。采用機器視覺系統(tǒng)可以很大程

度上提高檢測精度和檢測效率。24任務(wù)三

工件形狀的識別3.工件形狀檢測識別原理在機器視覺中應(yīng)用比較廣泛的形狀檢測方法是基于幾何特征的模板匹配算法。該算法對于光

照的影響不是很敏感，且可以有效地處理遮擋問題，對于非剛性變形(伸縮、旋轉(zhuǎn)等)也可以得到

滿意的效果。該算法首先提取出模板的特征信息，如邊緣、角點、模板重心，并對特征進行訓(xùn)練，通過訓(xùn)練后得到的特征對目標圖像進行特定搜索匹配。25任務(wù)三

工件形狀的識別4.任務(wù)實施（1）創(chuàng)建形狀識別流程圖新建工藝流程圖，通過選取工具欄相應(yīng)的模塊，創(chuàng)建如圖3-18所示的用于工件的形狀識別，判定、法蘭盤、減速器工件的種類的識別流程圖。26任務(wù)三

工件形狀的識別4.任務(wù)實施（2）工件形狀識別參數(shù)設(shè)置1）相機常用參數(shù)設(shè)置，選擇相機：Hikvision

MV-CA060-10G，像素格式：MONO8，觸發(fā)設(shè)置：選擇SOFTWAR。27任務(wù)三

工件形狀的識別4.任務(wù)實施（2）工件形狀識別參數(shù)設(shè)置2）工件“高精度特征匹配→特征模板”定義，創(chuàng)建模板。模板創(chuàng)建需要將相機設(shè)置為灰色，選擇當(dāng)前圖像，進行模板創(chuàng)建，創(chuàng)建完成后，將相機設(shè)置為彩色RGB。創(chuàng)建模板時，將工件放在在攝像頭照射中心位置，缺口方向與裝配的放置方向重合。模板1為法蘭盤、模板2為減速器，分別創(chuàng)建。28任務(wù)三

工件形狀的識別4.任務(wù)實施（2）工件形狀識別參數(shù)設(shè)置工件“高精度特征匹配→運行參數(shù)”定義，輸入角度范圍為-45

~

45。參數(shù)設(shè)置如圖3-22所示。工件“標定轉(zhuǎn)換→基本參數(shù)”定義與設(shè)置，將標定文件，加載到此處。加載示意圖如圖3-23所示。29任務(wù)三

工件形狀的識別4.任務(wù)實施（2）工件形狀識別參數(shù)設(shè)置5）工件“腳本信息”程序編制，具體如圖3-24所示。30任務(wù)三

工件形狀的識別4.任務(wù)實施（2）工件形狀識別參數(shù)設(shè)置注意：在創(chuàng)建模板時，進行視覺拍照后，不要動工件，打開腳本，將圖3-24中左邊方框中顯示的x,y,a的數(shù)值，填寫到右邊方框的x0、y0和a0處，然后移動機器人T10工具坐標到工件的正中心，將到達中心處時機器人的實際位置填寫到Wsx和Wsy處，然后點擊“預(yù)

翻譯”“執(zhí)行”“確認”。31任務(wù)三

工件形狀的識別4.任務(wù)實施（3）工件形狀識別的測試將法蘭盤或減速器放置在視覺下，單擊視覺軟件的單次執(zhí)行工具，選擇流程圖中的高精度匹配，查看圖像顯示窗口的結(jié)果，是否正確顯示工件的像素坐標X、Y及角度。測試結(jié)果圖如圖3-25所示。32任務(wù)四

工件顏色的識別1.任務(wù)描述在機器人關(guān)節(jié)裝配任務(wù)中，工件顏色識別是對相同類型工件不同顏色的區(qū)分，引入視覺系統(tǒng)之后，需要采用機器視覺自動區(qū)分不同顏色的同類工件，以引導(dǎo)機器人按照設(shè)定的工件顏色完成裝配任務(wù)。顏色識別同形狀識別類似，需要首先建立識別流程，其次要設(shè)定顏色轉(zhuǎn)換參數(shù)，最后進行識別檢測。33任務(wù)四

工件顏色的識別顏色識別的基本常識可見光一般來說，可見光波長在380--780nm之間，在光譜范圍內(nèi)，不同波長的輻射引起人的不同顏色感覺。大多硅光電二極管的光譜影響范圍在300--1000nm之間，可以滿足要求。顏色的特性色調(diào)(hue)以波長為基礎(chǔ)，是區(qū)分不同顏色的特征屬性。飽和度(saturation)反映顏色的純度，任意一種顏色都可以看作某種光譜色與白色混合的結(jié)果，光譜色所占比例越大，顏色的飽和度越高。亮度(lightness)是描述顏色亮暗的一種屬性，是一種光強度的測量方法，與光的能量有關(guān)。三基色原理。適當(dāng)選取三種基色(紅R，綠G，藍B)，將它們按不同比例進行合成，就可以引起不

同的顏色感覺，合成彩色光的亮度由三個基色的亮度之和決定，色度由三基色分量的比例決定，三基色彼此獨立，任--種基色不能由其他兩種顏色配出。Pixel是由Picture(圖像)和Element(元素)這兩個單詞的字母所組成的，是用來計算數(shù)碼影像的一種單位，也稱為“像素”。34任務(wù)四

工件顏色的識別3.圖像顏色識別原理工件在視覺系統(tǒng)停止位置坐標確定后，通過拍照獲取圖像，然后取出每個工件的RGB值，根據(jù)RGB

各分量值的大小進行顏色判斷，但是同一種顏色的工件，它返回來的RGB值也存在一定的差異，為了保證顏色識別的準確，必須做相應(yīng)的處理。解決方法是將背景板設(shè)置成純黑色，RGB值都為0，減小背景色塑料瓶顏色的干擾。其次在每次進行顏色判斷時，在工件中心點坐標附近按一定的間隔取出多個像素點的RGB值，然后通過對這些值求平均值來判斷顏色。在同一種環(huán)境里，同一種顏色的瓶子的RGB值相對來說是比較穩(wěn)定的，可以對不同顏色工件進行大數(shù)量的抽樣，確定每種顏色RGB值的取值范圍，根據(jù)這個范圍確定每種顏色RGB值的閾值大小，把各個工

件的RGB值跟各個顏色的閾值進行比較，只要在某種顏色范圍之內(nèi)的，就判斷這個工件為這種顏色，通過以上的處理，大大提高了顏色識別的準確率。35任務(wù)四

工件顏色的識別4.任務(wù)實施（1）創(chuàng)建顏色識別流程圖36任務(wù)四

工件顏色的識別4.任務(wù)實施（2）工件顏色識別參數(shù)設(shè)置1）顏色轉(zhuǎn)換。將工件自身的顏色，轉(zhuǎn)換到不同的通道（R/G/B），進行顏色區(qū)分，其他兩個顏色轉(zhuǎn)換控件的轉(zhuǎn)換比例設(shè)置為G通道、B通道。具體示意圖如圖3-27所示。37任務(wù)四

工件顏色的識別4.任務(wù)實施（2）工件顏色識別參數(shù)設(shè)置2）BLOB分析。通過BLOB分析出當(dāng)前的閾值，根據(jù)視覺圖像窗口中工件的R、G、B值，設(shè)置極值和低閾值參數(shù)；具體如圖3-28所示。38任務(wù)四

工件顏色的識別4.任務(wù)實施（2）工件顏色識別參數(shù)設(shè)置3）條件檢測。通過3個通道的閾值進行條件有效范圍的設(shè)置；如圖3-29所示。39任務(wù)四

工件顏色的識別4.任務(wù)實施（2）工件顏色識別參數(shù)設(shè)置4）分支模塊。設(shè)置3個分支模塊控件的輸入?yún)?shù)為對應(yīng)條件檢測的結(jié)果，并將條件輸入值設(shè)置為1。具體如圖3-30所示。40任務(wù)四

工件顏色的識別4.任務(wù)實施（2）工件顏色識別參數(shù)設(shè)置5）格式化。依據(jù)條件檢測中的范圍，設(shè)置分支模塊下的格式化控件的基本參數(shù)白色為1、黃色為2、藍色為3。具體如圖3-31所示。41任務(wù)四

工件顏色的識別4.任務(wù)實施（3）工件顏色識別的測試選擇如圖3-32所示的格式化控件，單擊單次執(zhí)行按鈕，查看圖像顯示窗口中的檢測結(jié)果。放置黃色法蘭盤工件在視覺拍照位置，工件顏色識別結(jié)果如圖3-33所示。42任務(wù)五

視覺系統(tǒng)聯(lián)調(diào)1.任務(wù)描述無論是顏色識別還是形狀識別最終都是要應(yīng)用到實際系統(tǒng)中，這就需要同外部系統(tǒng)進行協(xié)同，本套設(shè)備中，視覺數(shù)據(jù)存儲在機器人的IPC寄存器中，為了讓客戶能夠直觀地看到識別結(jié)果，需要通過PLC編程，獲取到相關(guān)數(shù)據(jù)，并顯示到HMI端。這就需要進行多方聯(lián)調(diào)。本任務(wù)在華數(shù)工業(yè)機器人應(yīng)用編程一體化教學(xué)平臺上，學(xué)習(xí)視覺系統(tǒng)、機器人系統(tǒng)、PLC系統(tǒng)及HMI界面之間的調(diào)試方法。通過本任務(wù)的學(xué)習(xí)，讀者能夠?qū)崿F(xiàn)對機器人與視覺系統(tǒng)的聯(lián)調(diào)，并在此基礎(chǔ)上運用機器人和視覺系統(tǒng)完成電機減速器和法蘭盤盤的裝配。43任務(wù)五

視覺系統(tǒng)聯(lián)調(diào)2.視覺系統(tǒng)數(shù)據(jù)流整個系統(tǒng)中視覺數(shù)據(jù)的數(shù)