1/1康耐視工業(yè)機(jī)器視覺(jué)基礎(chǔ)及應(yīng)用六(視覺(jué)引導(dǎo)機(jī)器人操作與應(yīng)用)康耐視工業(yè)機(jī)器視覺(jué)基礎(chǔ)及應(yīng)用

模塊六視覺(jué)引導(dǎo)機(jī)器人操作與應(yīng)用

任務(wù)一視覺(jué)引導(dǎo)機(jī)器人簡(jiǎn)介

【學(xué)習(xí)目標(biāo)】

1.了解視覺(jué)引導(dǎo)機(jī)器人的作業(yè)、功能與優(yōu)勢(shì)。

2.了解視覺(jué)引導(dǎo)機(jī)器人的調(diào)試步驟。

【相關(guān)知識(shí)】

視覺(jué)引導(dǎo)與定位是工業(yè)機(jī)器人應(yīng)用領(lǐng)域中廣泛存在的問(wèn)題。對(duì)于工作在自動(dòng)化生產(chǎn)線上的工業(yè)機(jī)器人來(lái)說(shuō)，其完成最多的一類操作是“抓?。胖谩眲?dòng)作。為了完成這類操作，對(duì)被操作物體定位信息的獲取是必要的，首先機(jī)器人必須知道物體被操作前的位姿，以保證機(jī)器人準(zhǔn)確地抓取；其次是必須知道物體被操作后的目標(biāo)位姿，以保證機(jī)器人準(zhǔn)確地完成任務(wù)。在大部分的工業(yè)機(jī)器人應(yīng)用場(chǎng)合，機(jī)器人只是按照固定的程序進(jìn)行操作，物體的初始位姿和終止位姿是事先規(guī)定的，作業(yè)任務(wù)完成的質(zhì)量由生產(chǎn)線的定位精度來(lái)保證。為了高質(zhì)量作業(yè)，就要求生產(chǎn)線相對(duì)固定，定位精度高，這樣的結(jié)果是生產(chǎn)柔性下降，成本卻大大增加，此時(shí)生產(chǎn)線的柔性和產(chǎn)品質(zhì)量是矛盾的。

視覺(jué)引導(dǎo)與定位是解決上述矛盾的理想工具。工業(yè)機(jī)器人可以通過(guò)視覺(jué)系統(tǒng)實(shí)時(shí)地了解工作環(huán)境的變化，相應(yīng)調(diào)整動(dòng)作，保證任務(wù)的正確完成。這種情況下，即使生產(chǎn)線的調(diào)整或定位有較大的誤差也不會(huì)對(duì)機(jī)器人準(zhǔn)確作業(yè)造成多大影響，視覺(jué)系統(tǒng)實(shí)際上提供了外部閉環(huán)控制機(jī)制，保證機(jī)器人自動(dòng)補(bǔ)償由于環(huán)境變化而產(chǎn)生的誤差。

理想的視覺(jué)引導(dǎo)與定位應(yīng)當(dāng)是基于視覺(jué)伺服的。首先觀察物體的大致方位，然后機(jī)械手一邊運(yùn)動(dòng)一邊觀察機(jī)械手和物體之間的偏差，根據(jù)這個(gè)偏差調(diào)整機(jī)械手的運(yùn)動(dòng)方向，直到機(jī)械手和物體準(zhǔn)確接觸為止。但是這種定位方式在實(shí)現(xiàn)上存在諸多困難。

直接視覺(jué)引導(dǎo)與定位是一次性地對(duì)在機(jī)器人環(huán)境中物體的空間位姿進(jìn)行詳細(xì)描述，引導(dǎo)機(jī)器人直接地完成動(dòng)作。與基于視覺(jué)伺服的方法相比，直接視覺(jué)引導(dǎo)的運(yùn)算量大大減少，為實(shí)際應(yīng)用創(chuàng)造了條件，但這必須基于一個(gè)前提：視覺(jué)系統(tǒng)能夠在機(jī)器人空間中（基坐標(biāo)系中）精確測(cè)定物體的三維位姿信息。

視覺(jué)引導(dǎo)機(jī)器人(VGR)優(yōu)勢(shì)：

1、減少昂貴的高精度固定設(shè)備。

2、無(wú)需工具轉(zhuǎn)換即能處理多種類型的工件。

3、防止意外的機(jī)器人沖突。

應(yīng)用包括：

1、自動(dòng)堆垛和卸垛。

2、傳送帶追蹤。

3、組件裝配。

4、機(jī)器人檢測(cè)。

康耐視優(yōu)勢(shì)

1、業(yè)界先進(jìn)的軟件，簡(jiǎn)便易用且性能可靠。

2、PatMax?準(zhǔn)確可靠地定位非固定部件。

3、非線性校準(zhǔn)可通過(guò)校正鏡頭和透視畸變提高準(zhǔn)確性和可重復(fù)性。

4、機(jī)器人驅(qū)動(dòng)程序和樣本代碼有助于實(shí)現(xiàn)集成。

5、強(qiáng)大的視覺(jué)工具性能。

6、耐用的硬件，能夠承受惡劣的環(huán)境。

視覺(jué)引導(dǎo)機(jī)器人基本調(diào)試步驟：

1、視覺(jué)定位作業(yè)調(diào)試，目的是輸出工件在視覺(jué)系統(tǒng)下的像素位置值。

2、機(jī)器人與視覺(jué)IO信號(hào)調(diào)試。

3、機(jī)器人與視覺(jué)網(wǎng)絡(luò)通訊設(shè)置。

4、機(jī)器人與相機(jī)校準(zhǔn)調(diào)試，目的是讓機(jī)器人與相機(jī)在空間上建立聯(lián)系。

5、機(jī)器人視覺(jué)指令編程與調(diào)試。

任務(wù)二In-Sight8000視覺(jué)系統(tǒng)引導(dǎo)向?qū)V數(shù)機(jī)器人

【學(xué)習(xí)目標(biāo)】

1.熟練掌握機(jī)器人與視覺(jué)IO信號(hào)調(diào)試基礎(chǔ)操作，完成實(shí)訓(xùn)項(xiàng)目。

2.熟練掌握網(wǎng)絡(luò)通訊設(shè)置，完成實(shí)訓(xùn)項(xiàng)目。

3.熟練掌握校準(zhǔn)的基本步驟，完成實(shí)訓(xùn)項(xiàng)目。

4.熟練掌握機(jī)器人視覺(jué)程序編程，完成實(shí)訓(xùn)項(xiàng)目。

【相關(guān)知識(shí)】

一、機(jī)器人與視覺(jué)IO信號(hào)調(diào)試

In-Sight8200IO接口通道描述

根據(jù)上述輸入/輸出的內(nèi)容，In-Sight8200可以通過(guò)IO線纜，實(shí)現(xiàn)與外圍設(shè)備的IO通信。在這里，可以實(shí)現(xiàn)機(jī)器人控制相機(jī)觸發(fā)與作業(yè)結(jié)果發(fā)生至機(jī)器人的功能。

In-Sight8200電氣原理圖

根據(jù)上述的電氣原理圖，相機(jī)的3、4號(hào)端線接分別接到機(jī)器人控制器IO輸出端的OT18與

24V，表示機(jī)器人OT18控制相機(jī)的拍照觸發(fā)，這里還需要將觸發(fā)模式調(diào)整至“相機(jī)”狀態(tài)。1、5號(hào)端線分別接到機(jī)器人IO輸入端的IN18與24V，視覺(jué)的作業(yè)結(jié)果可以通過(guò)IN18發(fā)送至機(jī)器人。

打開(kāi)EasyBuilder界面，在“輸入/輸出”項(xiàng)，將HSOUT0通道設(shè)置的“作業(yè)結(jié)果”設(shè)置為“作業(yè).通過(guò)”。

或者切換至電子表格界面，選擇表格一個(gè)空格，打開(kāi)右側(cè)的“選擇板”，點(diǎn)擊“函數(shù)”，打開(kāi)“Input/Output”，添加“WriteDiscrete”函數(shù)。

WriteDiscrete

“Event”參數(shù)指定觸發(fā)事件，可以雙擊“Event”按鈕,絕對(duì)引用至“工具通過(guò)”值，表示作業(yè)通過(guò)時(shí)，引發(fā)事件。

StartBit:指定IO通道的起始位。

NumberofBits:指定位的數(shù)量。

Value:寫(xiě)入值。

StartBit=0，NumberofBites=1,Value=1，表示起始位位0號(hào)的一個(gè)位被寫(xiě)位1，即HSOUT0=1。

用同樣的操作步驟，當(dāng)工具檢測(cè)失敗時(shí)，HSOUT0=0。

實(shí)訓(xùn)

創(chuàng)建新作業(yè)，命名為“象棋檢測(cè)”。按照上述的操作步驟，完成機(jī)器人與視覺(jué)的IO調(diào)試任務(wù)：機(jī)器人的OT18用于觸發(fā)視覺(jué)拍照，IN18用于接收視覺(jué)作業(yè)結(jié)果。

二、網(wǎng)絡(luò)通訊設(shè)置

廣州數(shù)控機(jī)器人GR-C控制器上集成了以太網(wǎng)接口，可以通過(guò)此接口，實(shí)現(xiàn)以太網(wǎng)的通訊。

GR-C的系統(tǒng)版本要求：軟件版本：V2.20以上

硬件版本：2.35以上

（一）機(jī)器人基本通訊參數(shù)設(shè)置

1.網(wǎng)絡(luò)設(shè)置

（1）打開(kāi)菜單界面路徑（需管理模式）：主頁(yè)面>系統(tǒng)設(shè)置>網(wǎng)絡(luò)設(shè)置>：

（2）功能說(shuō)明與設(shè)置

注意：

默認(rèn)網(wǎng)關(guān)：例如IP是192.168.0.165，則網(wǎng)關(guān)為192.168.0.1，外設(shè)網(wǎng)關(guān)需一致。

MAC地址：本地MAC地址，多臺(tái)機(jī)器人連接在同一網(wǎng)絡(luò)時(shí)MAC地址必須唯一，例如機(jī)器人1的MAC設(shè)為00-11-22-33-44-01，機(jī)器人2的MAC設(shè)為：00-11-22-33-44--02，必須保持前四組00-11-22-33不變，44-55可根據(jù)需求進(jìn)行修改。

2.界面操作指引

數(shù)字輸入：進(jìn)入網(wǎng)絡(luò)設(shè)置界面后，按“↑”“↓”方向鍵移動(dòng)黃色光標(biāo)，直接按示教盒上的數(shù)字鍵進(jìn)行數(shù)值輸入，按下示教盒的“輸入”鍵完成輸入，使用示教盒上的“退格”鍵進(jìn)行單數(shù)字刪除。按示教盒上的“TAB”鍵，可切換光標(biāo)到界面的“設(shè)置”和“退出”，所改參數(shù)必須“設(shè)置”后，系統(tǒng)重啟才生效。

3.遠(yuǎn)程配置

（1）打開(kāi)菜單界面路徑（需管理模式）：主頁(yè)面>系統(tǒng)設(shè)置>網(wǎng)絡(luò)設(shè)置>按“翻頁(yè)”鍵：

每一個(gè)Socket號(hào)必須配置以下參數(shù):

SOCKET號(hào)：0-5可同時(shí)建立6種不同類型以太網(wǎng)連接，一種通訊類型只能建立一個(gè)SOCKET號(hào)，例如應(yīng)用類型為PLC則0-5的SOCKET應(yīng)用中只能有一個(gè)PLC的應(yīng)用類型存在；

協(xié)議類型：指定機(jī)器人是做服務(wù)器還是客戶端，服務(wù)器是被動(dòng)連接，客戶端是主動(dòng)建立連接；

數(shù)據(jù)類型：也可以理解為數(shù)據(jù)格式，選擇發(fā)送為HEX還是MODBUS等，根據(jù)實(shí)際應(yīng)用選擇。

（3）界面操作指引：

SOCKET、狀態(tài)、應(yīng)用類型等，可移動(dòng)光標(biāo)通過(guò)示教盒上的“選擇”鍵進(jìn)行選擇設(shè)置。

數(shù)字輸入：進(jìn)入網(wǎng)絡(luò)設(shè)置界面后，按“↑”“↓”方向鍵移動(dòng)黃色光標(biāo)，直接按示教盒上的數(shù)字鍵進(jìn)行

數(shù)值輸入，按下示教盒的“輸入”鍵完成輸入，使用示教盒上的“退格”鍵進(jìn)行單數(shù)字刪除。按示教盒上的“TAB”鍵，可切換光標(biāo)到界面的“設(shè)置”和“退出”，所改參數(shù)必須“設(shè)置”后，系統(tǒng)重啟才生效。

4.開(kāi)啟視覺(jué)

（1）打開(kāi)菜單界面路徑（需廠家模式）：主頁(yè)面>系統(tǒng)設(shè)置>應(yīng)用配置，開(kāi)啟調(diào)試模式，確認(rèn)設(shè)置后，重啟系統(tǒng)。

開(kāi)啟調(diào)試模式

（2）重啟后，打開(kāi)菜單界面路徑：主頁(yè)面>系統(tǒng)設(shè)置>應(yīng)用配置，開(kāi)啟視覺(jué)2功能，并關(guān)閉調(diào)試模式，確認(rèn)設(shè)置后，重啟系統(tǒng)。

開(kāi)啟視覺(jué)2功能

（二）視覺(jué)系統(tǒng)網(wǎng)絡(luò)通訊設(shè)置

1.EasyBuilder網(wǎng)絡(luò)通訊設(shè)置

定位工具設(shè)定完成后，打開(kāi)“配置結(jié)果”的“通信”項(xiàng)，點(diǎn)擊“添加設(shè)備”，選擇“其他”，選擇“TCP/IP”協(xié)議。

TCP/IP設(shè)置

服務(wù)器主機(jī)名：中輸入要與之建立連接的TCP/IP服務(wù)設(shè)備的名稱，這里是機(jī)器人的IP地址。端口：TCP/IP服務(wù)器的端口號(hào)。輸入的端口號(hào)也必須在服務(wù)器上分配，這里指的是機(jī)器人的端口號(hào)。

超時(shí)：在超時(shí)中止連接嘗試之前等待TCP/IP建立連接的毫秒數(shù)（100到15000；默認(rèn)=1000）。

切換至“格式化輸出字符串”窗口，點(diǎn)擊“格式化字符串”，打開(kāi)“FormatString”設(shè)置窗口，先設(shè)置“開(kāi)頭文本”與“結(jié)尾文本”。

廣州數(shù)控機(jī)器人接收視覺(jué)數(shù)據(jù)的數(shù)據(jù)類型為T(mén)CPString格式，故格式為：

headx,y,z,w,p,rend

其中，x,y,z,w,p,r為位置數(shù)據(jù)。

故在“FormatString”設(shè)置窗口，將“開(kāi)頭文件”設(shè)置為“head”，“結(jié)尾文本”設(shè)置為“end”，并使用“逗號(hào)”為分隔符。

點(diǎn)擊“添加”，分別填加定位工具圖案的X，Y，角度，表示定位結(jié)果的X,Y,角度分別發(fā)送至機(jī)器人的位置變量X，Y，W，其他機(jī)器人其他位置變量用0表示，可以添加一個(gè)值為0數(shù)字工具。

分別添加6個(gè)位置變量，最后點(diǎn)擊“確定”。

2.電子表格網(wǎng)絡(luò)通訊設(shè)置

切換至電子表格界面，選擇表格一個(gè)空格，打開(kāi)右側(cè)的“選擇板”，點(diǎn)擊“函數(shù)”，打開(kāi)“Input/Output”，選擇“Networt”,添加“TCPDevice”函數(shù)。

設(shè)置HostName與Port，即機(jī)器人的IP地址與端口號(hào)，然后“確定”。

選擇表格一個(gè)空格，打開(kāi)“Text”，選擇“String”，添加“FormatString”函數(shù)。

“FormatString”函數(shù)用于編輯字符的格式，設(shè)置基本上與EasyBuilder通信的字符格式一致，可參考上述內(nèi)容。注意，這里添加的標(biāo)簽變量需要絕對(duì)應(yīng)用電子表格“圖案”的結(jié)果。

設(shè)置“WriteDevice”函數(shù)

WriteDevice(Event,Device,Data1,[Data2,...])

Event:指定觸發(fā)函數(shù)的事件，默認(rèn)絕對(duì)引用“AcquireImage”函數(shù)的單元格。

Device:指定對(duì)應(yīng)寫(xiě)入的設(shè)備，默認(rèn)絕對(duì)引用“TCPDevice”函數(shù)的單元格。

Data:指定發(fā)送的數(shù)據(jù)，這里需要絕對(duì)應(yīng)用“FormatString”函數(shù)的單元格。

3、聯(lián)機(jī)測(cè)試

在廣數(shù)機(jī)器人上，創(chuàng)建以下網(wǎng)絡(luò)測(cè)試程序：

說(shuō)明：GETVISION2VR0，LAB0;指令，等待數(shù)據(jù)接收，若有數(shù)據(jù)則往下一行程序運(yùn)行，若沒(méi)有則跳至LAB0。程序結(jié)束后，可以查看VR0變量是否與發(fā)送的數(shù)據(jù)一致。

MAIN;

LAB0:

PULSEOT18，T0.3觸發(fā)相機(jī)拍照

GETVISION2VR0，LAB0;接收視覺(jué)2數(shù)據(jù)，存在VR0

END;

將視覺(jué)系統(tǒng)置于“聯(lián)機(jī)”模式，然后運(yùn)行機(jī)器人程序。

查看VR0變量的路徑：主頁(yè)面>變量視覺(jué)>變量（VR0）>VR0，核對(duì)VR0的數(shù)據(jù)In-Sight瀏覽器上的結(jié)果是否一致。

（三）實(shí)訓(xùn)

根據(jù)上述操作步驟，完成機(jī)器人與視覺(jué)系統(tǒng)的網(wǎng)絡(luò)通訊設(shè)置與調(diào)試，要求視覺(jué)檢測(cè)的結(jié)果可以順利發(fā)送至機(jī)器人VR0變量。

三、校準(zhǔn)

目前，機(jī)器人與視覺(jué)系統(tǒng)通信完成，但是，視覺(jué)定位工具所測(cè)量的工件位置只是視覺(jué)系統(tǒng)下的像素X，Y值，機(jī)器人不能直接拿過(guò)來(lái)做矢量矯正。機(jī)器人需要實(shí)際空間上的位置數(shù)據(jù)，并不是位置的像素?cái)?shù)據(jù)，為了解決這一問(wèn)題，還需要完成機(jī)器人與視覺(jué)的校準(zhǔn)工作，即機(jī)器人與相機(jī)建立空間上的對(duì)應(yīng)關(guān)系。

視覺(jué)校準(zhǔn)的方法很多，常用的與機(jī)器人校準(zhǔn)方法是9點(diǎn)法校準(zhǔn)，即機(jī)器人在視覺(jué)測(cè)量范圍的空間上走9個(gè)點(diǎn)，分別記錄這9點(diǎn)機(jī)器人的空間位置與相機(jī)的像素位置，然后建立機(jī)器人與相機(jī)的空間位置關(guān)系。機(jī)器人工裝夾具可以?shī)A著工件走9點(diǎn)，并相機(jī)可以能測(cè)量出工件的結(jié)果，這樣能大大簡(jiǎn)化校準(zhǔn)的流程。

機(jī)器人夾著工件，調(diào)整好姿態(tài)，走到相機(jī)測(cè)量范圍的下方。

視覺(jué)定位工具訓(xùn)練訓(xùn)練當(dāng)前模板

如果視覺(jué)引導(dǎo)機(jī)器人的場(chǎng)合僅應(yīng)用于機(jī)器人在平面上的定位，選用2D的相機(jī)便可滿足需求。目前，以機(jī)器人在平面上抓取象棋為例，可以不考慮角度因素，因此，在這里僅做X，Y的校準(zhǔn)。切換至電子表格，建立相機(jī)X,Y與機(jī)器人X,Y的列表。

機(jī)器人攜帶工件走到一個(gè)合適的位置，觸發(fā)相機(jī)拍照，在X,Y列表分別記錄像素X,Y與機(jī)器人X,Y。

走9個(gè)位置，分別記錄像素X,Y與機(jī)器人X,Y。

選擇表格一個(gè)空格，打開(kāi)“函數(shù)”，選擇“CoordinateTransforms”，添加“CalibrateAdvanced”函數(shù)。

“CalibrateAdvanced”函數(shù)絕對(duì)引用9點(diǎn)的數(shù)據(jù)。

選擇表格一個(gè)空格，添加“TransPixelToWorld”函數(shù)，用于校準(zhǔn)后像素值轉(zhuǎn)換至坐標(biāo)值。

雙擊“Calib”按鈕，絕對(duì)引用“CalibrateAdvanced”函數(shù)空格，“Point”則絕對(duì)引用定位工具測(cè)量結(jié)果。

“TransPixelToWorld”函數(shù)輸出校準(zhǔn)后機(jī)器人的位置X,Y。

實(shí)訓(xùn)

根據(jù)上述操作步驟，完成機(jī)器人與視覺(jué)系統(tǒng)的校準(zhǔn)調(diào)試，要求視覺(jué)定位工具測(cè)量后，輸出工件的機(jī)器人的位置數(shù)據(jù)。

一、機(jī)器人視覺(jué)指令編程

廣數(shù)機(jī)器人有個(gè)視覺(jué)的應(yīng)用有幾種編程方式，以下介紹零位置偏移矯正的應(yīng)用：設(shè)定工件的一個(gè)最優(yōu)位置為零位置并記錄該位置的信息，以后工