機器視覺技術(shù)及應用基礎(chǔ)083D視覺技術(shù)與應用09深度學習技術(shù)與應用07機器視覺測量應用機器視覺引導應用CHAPTER章06Section節(jié)7.1PLC通訊與交互7.2手眼標定7.3標準位示教7.4移動引導抓取TASK任務7.1PLC通訊與交互一、PLC及其通訊二、PLC通訊調(diào)試工具三、PLC通訊與交互一、PLC及其通訊PLC是一種在工業(yè)環(huán)境下應用而設(shè)計的數(shù)字運算操作的電子系統(tǒng)。它采用了可編程的存儲器,用來在其內(nèi)部存儲執(zhí)行邏輯運算、順序運算、計時、計數(shù)和算術(shù)運算等操作指令,并通過數(shù)字式或模擬式的輸入和輸出，控制各種類型的機械或生產(chǎn)過程一、PLC及其通訊PLC采用了多種數(shù)據(jù)類型來支持對各種輸入、輸出和計算任務的處理。不同的數(shù)據(jù)類型能容納的數(shù)據(jù)范圍會有所差異。一、PLC及其通訊序號數(shù)據(jù)類型說明1Bool表示存儲器中位的狀態(tài)為1（True）或0（False），占用1?位存儲空間2Word16位二進制數(shù)據(jù)類型，用于存儲無符號的整數(shù)3Int1616位二進制數(shù)據(jù)類型，用于存儲帶符號的整數(shù)4String可變長度的數(shù)據(jù)類型，用于存儲文本數(shù)據(jù)，如圖像存儲路徑、OK/NG等5Real32位浮點型數(shù)據(jù)6Byte8位二進制數(shù)據(jù)類型，用于存儲字符、整數(shù)等數(shù)據(jù)，數(shù)據(jù)范圍0~255在V+平臺軟件中建立PLC通訊的工具界面如下一、PLC及其通訊使用PLC進行通訊時，PLC掃描工具、讀PLC工具及寫PLC工具是三個重要的操作工具一、PLC及其通訊1.PLC掃描工具：該工具執(zhí)行的是一個循環(huán)性的操作2.讀PLC工具：從PLC的指定地址讀取數(shù)據(jù)來獲取控制系統(tǒng)的狀態(tài)信息和結(jié)果數(shù)據(jù)，如傳感器信號、執(zhí)行器狀態(tài)等，并支持輸出讀取結(jié)果；3.寫PLC工具：向PLC的指定地址寫入適當?shù)臄?shù)據(jù)來實現(xiàn)開關(guān)電路、調(diào)整參數(shù)等有效控制使用PLC進行通訊時，PLC掃描工具、讀PLC工具及寫PLC工具是三個重要的操作工具一、PLC及其通訊PLC：選擇已連接的PLC設(shè)備掃描間隔：設(shè)定掃描周期，單位可選秒和毫秒地址：下拉選擇已添加的地址觸發(fā)條件：即地址的數(shù)據(jù)滿足觸發(fā)條件即觸發(fā)，可選“發(fā)生變化”、“變?yōu)椤焙汀埃健笔褂肞LC進行通訊時，PLC掃描工具、讀PLC工具及寫PLC工具是三個重要的操作工具一、PLC及其通訊PLC設(shè)備：選擇已連接的PLC設(shè)備地址名稱：下拉選擇需要讀數(shù)據(jù)的地址是否匹配：一般為否，也可選擇“是”并配置匹配值使用PLC進行通訊時，PLC掃描工具、讀PLC工具及寫PLC工具是三個重要的操作工具一、PLC及其通訊PLC：選擇已連接的PLC設(shè)備地址名稱：下拉選擇需要寫入數(shù)據(jù)的地址寫入值：可輸入或鏈接前置工具的輸出結(jié)果，寫入值的類型要與地址中設(shè)置的類型保持一致二、PLC通訊調(diào)試工具PLC通訊調(diào)試工具是V+平臺軟件為使用者提供的一種輔助工具，能夠方便開發(fā)者進行通訊測試二、PLC通訊調(diào)試工具PLC通訊調(diào)試工具是V+平臺軟件為使用者提供的一種輔助工具，能夠方便開發(fā)者進行通訊測試二、PLC通訊調(diào)試工具三、PLC通訊與交互PLC通訊過程中涉及多個設(shè)備之間復雜信號的交互。在設(shè)計PLC通訊的交互信號時需要合理安排數(shù)據(jù)轉(zhuǎn)發(fā)和處理的順序，必要時可畫出方案執(zhí)行的流程圖作為參考三、PLC通訊與交互結(jié)果展示流程圖交互順序圖PLC通訊過程中涉及多個設(shè)備之間復雜信號的交互，時序問題一直是影響PLC系統(tǒng)穩(wěn)定性的主要因素之一鋰電池有無檢測的方案設(shè)計參考步驟如下：三、PLC通訊與交互單擊【菜單】→“工具”→“3.CommunicationDemo”，進入“通訊調(diào)試工具”界面PLC通訊過程中涉及多個設(shè)備之間復雜信號的交互，時序問題一直是影響PLC系統(tǒng)穩(wěn)定性的主要因素之一鋰電池有無檢測的方案設(shè)計參考步驟如下：三、PLC通訊與交互1.展開“Modbus”，雙擊①處“ModbusServer”2.在②處輸入端口號，并單擊【啟動服務】注：（1）本參考步驟基于匯川PLC完成，故此處通訊協(xié)議為Modbus（2）端口號可自行設(shè)置，此時虛擬服務器處于打開狀態(tài)PLC通訊過程中涉及多個設(shè)備之間復雜信號的交互，時序問題一直是影響PLC系統(tǒng)穩(wěn)定性的主要因素之一鋰電池有無檢測的方案設(shè)計參考步驟如下：三、PLC通訊與交互1.單擊“InovanceH5UTcp”配置通訊參數(shù)2.單擊【連接】PLC通訊過程中涉及多個設(shè)備之間復雜信號的交互，時序問題一直是影響PLC系統(tǒng)穩(wěn)定性的主要因素之一鋰電池有無檢測的方案設(shè)計參考步驟如下：三、PLC通訊與交互在“設(shè)備管理”的PLC中雙擊“匯川”添加到設(shè)備區(qū)2.配置參數(shù)其通訊參數(shù)：名稱：匯川1型號：H5U通訊方式：TcpIP：端口號：502站號：1編碼：ASCII數(shù)據(jù)格式：ABCD3.單擊【連接】PLC通訊過程中涉及多個設(shè)備之間復雜信號的交互，時序問題一直是影響PLC系統(tǒng)穩(wěn)定性的主要因素之一鋰電池有無檢測的方案設(shè)計參考步驟如下：三、PLC通訊與交互參照順序圖，添加所需地址并配置其相關(guān)數(shù)據(jù)區(qū)域和類型PLC通訊過程中涉及多個設(shè)備之間復雜信號的交互，時序問題一直是影響PLC系統(tǒng)穩(wěn)定性的主要因素之一鋰電池有無檢測的方案設(shè)計參考步驟如下：三、PLC通訊與交互1.雙擊或拖出“信號”工具包中的“PLC掃描”工具2.雙擊或拖出“通訊”工具包中的“寫PLC”工具3.復制“003_取像”工具粘貼為“061_取像”工具4.依次鏈接三個工具PLC通訊過程中涉及多個設(shè)備之間復雜信號的交互，時序問題一直是影響PLC系統(tǒng)穩(wěn)定性的主要因素之一鋰電池有無檢測的方案設(shè)計參考步驟如下：三、PLC通訊與交互配置“060_PLC掃描”工具的參數(shù)：PLC：匯川1掃描間隔：120ms地址：下拉選擇M100觸發(fā)條件：發(fā)生變化PLC通訊過程中涉及多個設(shè)備之間復雜信號的交互，時序問題一直是影響PLC系統(tǒng)穩(wěn)定性的主要因素之一鋰電池有無檢測的方案設(shè)計參考步驟如下：三、PLC通訊與交互配置“062_寫PLC”工具參數(shù)：PLC：匯川1地址名稱：D101寫入值：1注：當CCDBusy時寫入1，否則寫為0PLC通訊過程中涉及多個設(shè)備之間復雜信號的交互，時序問題一直是影響PLC系統(tǒng)穩(wěn)定性的主要因素之一鋰電池有無檢測的方案設(shè)計參考步驟如下：三、PLC通訊與交互1.①處框選工具為復制而來，操作方法與“061_取像”工具相同2.雙擊或拖出“通訊”工具包中的“寫PLC”工具3.鏈接新添加的工具PLC通訊過程中涉及多個設(shè)備之間復雜信號的交互，時序問題一直是影響PLC系統(tǒng)穩(wěn)定性的主要因素之一鋰電池有無檢測的方案設(shè)計參考步驟如下：三、PLC通訊與交互配置“071_寫PLC”工具參數(shù)：PLC：匯川1地址名稱：D102寫入值：OKPLC通訊過程中涉及多個設(shè)備之間復雜信號的交互，時序問題一直是影響PLC系統(tǒng)穩(wěn)定性的主要因素之一鋰電池有無檢測的方案設(shè)計參考步驟如下：三、PLC通訊與交互配置“072_寫PLC”工具參數(shù)：PLC：匯川1地址名稱：D103寫入值：NGPLC通訊過程中涉及多個設(shè)備之間復雜信號的交互，時序問題一直是影響PLC系統(tǒng)穩(wěn)定性的主要因素之一鋰電池有無檢測的方案設(shè)計參考步驟如下：三、PLC通訊與交互1.雙擊或拖出“流程”工具包中的“分支選擇”工具，鏈接至“071_寫PLC”和“072_寫PLC”2.同理，再次添加“074_寫PLC”工具并鏈接至“073_分支選擇”工具PLC通訊過程中涉及多個設(shè)備之間復雜信號的交互，時序問題一直是影響PLC系統(tǒng)穩(wěn)定性的主要因素之一鋰電池有無檢測的方案設(shè)計參考步驟如下：三、PLC通訊與交互配置“073_分支選擇”工具的屬性：點擊【添加】，分別添加分支1和分支2PLC通訊過程中涉及多個設(shè)備之間復雜信號的交互，時序問題一直是影響PLC系統(tǒng)穩(wěn)定性的主要因素之一鋰電池有無檢測的方案設(shè)計參考步驟如下：三、PLC通訊與交互配置“073_分支選擇”工具的屬性：添加分支1的數(shù)據(jù)項為“071_寫PLC”的輸出“Successfully”添加分支2的數(shù)據(jù)項為“072_寫PLC”的輸出“Successfully”PLC通訊過程中涉及多個設(shè)備之間復雜信號的交互，時序問題一直是影響PLC系統(tǒng)穩(wěn)定性的主要因素之一鋰電池有無檢測的方案設(shè)計參考步驟如下：三、PLC通訊與交互配置“074_寫PLC”工具參數(shù)：PLC：匯川1地址名稱：M104寫入值：TruePLC通訊過程中涉及多個設(shè)備之間復雜信號的交互，時序問題一直是影響PLC系統(tǒng)穩(wěn)定性的主要因素之一鋰電池有無檢測的方案設(shè)計參考步驟如下：三、PLC通訊與交互1.保存項目9解決方案，啟動方案運行2.在“通訊調(diào)試助手”的InovanceH5UTcp訪問Demo頁面進行觸發(fā)測試：地址：M100值：true3.單擊【bool寫入】注：“值”滿足“發(fā)生變化”條件即可觸發(fā)流程執(zhí)行TASK任務7.2

手眼標定一、手眼標定原理二、手眼標定工具三、光源設(shè)定工具四、手眼標定程序編寫機器視覺四大應用前面已經(jīng)學習了哪些相關(guān)應用？分別使用了哪些視覺工具？課前回顧一、手眼標定原理一、手眼標定原理在項目11中，講解過相機標定和四種坐標系的定義——世界坐標系、相機坐標系、圖像像素坐標系、圖像物理坐標系。在尺寸測量過程中，僅涉及到圖像像素坐標系與圖像物理坐標系之間的轉(zhuǎn)換關(guān)系。而在本項目，需要獲取圖像像素坐標系與世界坐標系的轉(zhuǎn)換關(guān)系，以確定相機和機械手之間的轉(zhuǎn)換關(guān)系，從而獲取目標工件在機械手坐標系中的位置信息，進行正確抓取。1、空間坐標系轉(zhuǎn)換一、手眼標定原理世界坐標系與相機坐標系轉(zhuǎn)換

世界坐標系Ow-XwYwZw與相機坐標系C-xyz轉(zhuǎn)換關(guān)系圖，如下圖所示。利用旋轉(zhuǎn)矩陣R與平移向量T可以實現(xiàn)世界坐標系中坐標點到相機坐標系中的映射。世界坐標系與相機坐標系轉(zhuǎn)換關(guān)系圖如果已知相機坐標系中的一點P相對于世界坐標系的旋轉(zhuǎn)矩陣R與平移向量T，則世界坐標系與相機坐標系的轉(zhuǎn)換關(guān)系為：其中，R為3×3矩陣，T為3×1平移向量，0的轉(zhuǎn)置矩陣為(000)，P點在相機坐標系的坐標為(x,y,z)，P點在世界坐標系的坐標為(Xw,Yw,Zw)。一、手眼標定原理1、空間坐標系轉(zhuǎn)換相機坐標系與圖像物理坐標系轉(zhuǎn)換

世界坐標系Ow-XwYwZw與相機坐標系C-xyz轉(zhuǎn)換關(guān)系圖，如下圖所示。利用旋轉(zhuǎn)矩陣R與平移向量T可以實現(xiàn)世界坐標系中坐標點到相機坐標系中的映射。相機坐標系與圖像物理坐標系轉(zhuǎn)換關(guān)系圖式中，p(x,y,z)是空間點P在相機坐標系下的坐標，對應在圖像物理坐標系下的坐標為(X,Y)，f為相機的焦距，則由上式可以得到相機坐標系與圖像物理坐標系間的轉(zhuǎn)換關(guān)系為：空間中任意一點P在圖像平面的投影p是光心C與P點的連接線與成像平面的交點，由透視投影，可知：一、手眼標定原理1、空間坐標系轉(zhuǎn)換圖像像素坐標系與世界坐標系轉(zhuǎn)換

根據(jù)前面各坐標系間的轉(zhuǎn)換可以得到世界坐標系Ow-XwYwZw與圖像像素坐標系o-uv的轉(zhuǎn)換關(guān)系為：式中，ax=f/dx，ay=f/dy；M為3×4矩陣，被稱為投影矩陣；M1由參數(shù)決定ax、ay、uo、vo，這些參數(shù)只與相機的內(nèi)部結(jié)構(gòu)有關(guān)，因此稱為相機的內(nèi)部參數(shù)（內(nèi)參）；M2被稱為相機的外部參數(shù)（外參），由相機相對于世界坐標系的位置決定。確定相機內(nèi)參和外參的過程即為相機的標定。2、手眼標定——相機圖像坐標和機械手世界坐標系的轉(zhuǎn)換相機與機械手坐標系的轉(zhuǎn)換即為手眼標定，其結(jié)果的好壞直接決定了定位的準確性。手眼標定包括眼在手上（移動相機）和眼在手外（固定相機）兩種相機安裝方式，如下圖所示。眼在手外（固定相機）眼在手上（移動相機）一、手眼標定原理2、手眼標定——相機圖像坐標和機械手世界坐標系的轉(zhuǎn)換相機與機械手之間的坐標系轉(zhuǎn)換標定，通常使用多點標定，常見的有九點標定、四點標定等，標定轉(zhuǎn)換工具可以使用標定板或是實物，本項目僅介紹基于標定板的多點標定方法。即機械手移動X軸、Y軸，分別取標定板上同一參照點對應的n組圖像坐標和n組機械手世界坐標，一一對應換算得到坐標系轉(zhuǎn)換關(guān)系，完成標定。“眼在手上”模式：相機安裝于機械手末端，標定時標定板不移動，只需要機械手移動多點位置進行標定即可，手眼標定的結(jié)果為相機坐標系與機械手工具坐標系的關(guān)系；“眼在手外”模式：相機位置固定，機械手吸取標定板同一參照點，在相機視野范圍內(nèi)移動多點位置進行標定，手眼標定的結(jié)果為相機坐標系與機械手基坐標系的關(guān)系。眼在手外模式眼在手上模式一、手眼標定原理3、旋轉(zhuǎn)中心獲取旋轉(zhuǎn)中心指物體旋轉(zhuǎn)所繞的固定點。若機械手使用世界坐標系，旋轉(zhuǎn)中心就是法蘭中心（機械手末端旋轉(zhuǎn)軸）；若使用工具坐標系，旋轉(zhuǎn)中心就是工具中心。物體繞旋轉(zhuǎn)中心旋轉(zhuǎn)時，物體的X、Y坐標也會發(fā)生改變，若想做到一次到位，則需要通過旋轉(zhuǎn)中心計算出物體旋轉(zhuǎn)后X、Y坐標發(fā)生的偏移。旋轉(zhuǎn)中心的計算：取圓周上的兩點和夾角（或多點），通過幾何公式求得與圓心坐標，即為旋轉(zhuǎn)中心的坐標。已知圓周上兩點P2和P3的坐標、夾角∠P2P1P3的值，即可求出P1點（旋轉(zhuǎn)中心）的坐標，如下圖所示。旋轉(zhuǎn)中心計算一、手眼標定原理二、手眼標定工具1、手眼標定工具“手眼標定”工具用于進行多點標定和旋轉(zhuǎn)中心查找，預編輯程序后，無需手動獲取標定片上參照點的圖像像素坐標和機械手坐標，即可通過收發(fā)指令的形式進行手眼自動標定，經(jīng)過計算后獲取坐標系的轉(zhuǎn)換關(guān)系。“手眼標定”工具圖標“手眼標定”工具界面二、手眼標定工具2、標定配置數(shù)據(jù)來源：自動手眼標定需要接收的指令，包含指令頭、相機號、當前機械手坐標值等，工具可以自動分割指令，獲取相關(guān)信息標定模式：相機的個數(shù)，單相機或多相機特征樣式：標定方式，使用棋盤格或?qū)嵨锒?、手眼標定工?、“圖像”頁面安裝方式：相機的安裝方式，固定安裝即眼在手外，手部安裝即眼在手上移動步數(shù)：多點標定的點數(shù)和計算旋轉(zhuǎn)中心旋轉(zhuǎn)的次數(shù)圖像來源：相機實時取像或本地加載圖像選擇相機：選擇進行手眼標定的相機二、手眼標定工具4、“指令”頁面詳細信息：查看該工具需要的指令情況，以及每條指令的含義二、手眼標定工具5、“校準”頁面詳細手動模式：啟動則可手動觸發(fā)拍照和計算校準校準模式：包含Linear（默認）、PerspectiveAndRadialWarp、LinescanWarp等特征符號：包含詳盡棋盤格（默認）、點網(wǎng)格、棋盤格等基準符號：包含StandardRectangle（默認）、DataMatrix、DotGridAxes、None等塊尺寸（mm）：棋盤格單元尺寸（寬×高）高級配置：查看并設(shè)置更多高級功能選項二、手眼標定工具6、“執(zhí)行”頁面手動模式：啟動則可手動控制主機位移動至標定點位和觸發(fā)拍照指令詳情：查看輸入輸出指令接收時間及具體信息N點詳情：查看當前坐標計算結(jié)果二、手眼標定工具7、“結(jié)果”頁面查看標定的結(jié)果分數(shù)。二、手眼標定工具三、光源設(shè)定工具1、光源控制器的作用和種類使用光源控制器的最主要的目的是給光源供電，控制光源的亮度及照明狀態(tài)（亮和滅），還可以通過給控制器觸發(fā)信號來實現(xiàn)光源的頻閃，進而大大延長光源的壽命。光源控制器按照功能可以分為：數(shù)字控制器、模擬控制器、大功率模擬控制器、線性光源專用模擬控制器、線性光源專用數(shù)字控制器、增量模塊和非標控制器等。其中，最常用的光源控制器為模擬光源控制器和數(shù)字光源控制器。三、光源設(shè)定工具2、模擬控制器模擬控制器輸出沒有任何脈沖成分的電壓信號，且信號在其輸出狀態(tài)下是一種連續(xù)狀態(tài)。產(chǎn)品特點：亮度無極模擬電壓調(diào)節(jié)；提供持續(xù)穩(wěn)定的電壓源，可用于1/10000s的快門；外觸發(fā)靈活，高低電平可選，適應不同的外部傳感器；過流、短路保護功能；體積小，操作簡單。適用范圍：可用于驅(qū)動小功率光源；高速相機拍攝照明驅(qū)動；低成本照明方案；小尺寸線光源驅(qū)動。該控制器通常無法直接使用軟件進行控制，需要手動調(diào)整相關(guān)旋鈕來控制光源的亮度，如機器視覺實訓基礎(chǔ)套件使用的光源控制器。模擬光源控制器三、光源設(shè)定工具3、數(shù)字控制器模擬控制器輸出的是一個有周期性變化規(guī)律的脈沖電壓信號，也就是PWM信號。產(chǎn)品特點：PWM信號輸出，改變PWM占空比來調(diào)整光源亮度；亮度控制方式靈活，可通過面板按鍵、串口通信調(diào)節(jié)光源亮度；外觸發(fā)采用高速光耦隔離設(shè)計，提供準確、可靠的觸發(fā)信號；集過流、過載、短路保護功能于一體；具有掉電保護功能，自動記憶關(guān)機前的設(shè)定值。適用范圍：可用于驅(qū)動小、中功率光源；觸發(fā)響應快，擅長于高速觸發(fā)拍攝場合；面陣相機拍攝照明驅(qū)動；不可用于線陣相機照明驅(qū)動。該控制器可以通過串口或網(wǎng)口、USB等方式連接軟件，在軟件中輸入相關(guān)指令和參數(shù)來控制光源通道及亮度，如機器視覺只能綜合實訓平臺使用的光源控制器。數(shù)字光源控制器三、光源設(shè)定工具4、設(shè)備管理-光源V+平臺軟件與控制光源的設(shè)備為“設(shè)備管理”中的“德創(chuàng)”光源控制器。交互區(qū)：用于控制不同通道光源亮度，可拖動滑動條，也可直接輸入數(shù)值參數(shù)集：可以為多通道設(shè)置多組不同的亮度，方便后續(xù)進行選擇端口：選擇光源控制器通過哪一端口號進行通訊波特率：根據(jù)不同產(chǎn)品設(shè)置，多為19200頻閃模式：若勾選，則光源會頻繁閃爍其他參數(shù)默認三、光源設(shè)定工具5、“光源設(shè)定”工具光源：“設(shè)備管理”中已添加的光源控制器工作模式：若勾選直接控制，可控制通道的光源為固定亮度；若勾選參數(shù)集，則通道可切換不同亮度光源控制欄：可添加和刪除光源通道，并設(shè)置亮度三、光源設(shè)定工具四、手眼標定程序編寫1、設(shè)備介紹任務一：了解設(shè)備非運行狀態(tài)時，設(shè)備務必處于“手動狀態(tài)”。任務一：了解設(shè)備1、設(shè)備介紹在鋰電池生產(chǎn)環(huán)節(jié)中，需要對它進行拍照、定位、抓取、裝配、測量、檢測等多種任務，順利通過每個環(huán)節(jié)才能得到合格的產(chǎn)品。該項目模擬了自動化生產(chǎn)線上鋰電池上料入庫，并進行碼垛的全過程。上料入庫碼垛移動相機12、觸摸屏介紹任務一：了解設(shè)備“主畫面”：切換手動狀態(tài)/自動狀態(tài)同設(shè)備硬件按鈕功能：啟動、停止、復位2、觸摸屏介紹任務一：了解設(shè)備“教學單段流程”：用于“手動模式”下切換單獨程序2、觸摸屏介紹任務一：了解設(shè)備“手動調(diào)試”：調(diào)速電機：控制4條流水線LED燈：設(shè)備照明上料電機：“鋰電池上料碼垛入庫”工位電機排料電機：“鋰電池外觀檢測”工位電機測量電機：“鋰電池尺寸測量”工位電機吸氣：控制機械手末端吸嘴追蹤傳送帶反轉(zhuǎn)：“鋰電池抓取”工位皮帶反轉(zhuǎn)2、觸摸屏介紹任務一：了解設(shè)備參數(shù)設(shè)置”：碼垛層數(shù)：“鋰電池上料碼垛入庫”工位鋰電池堆疊層數(shù)屏蔽推料：控制“鋰電池外觀檢測”工位是否推料追蹤推料間隔時間：單位s光柵屏蔽：設(shè)備正面兩側(cè)光柵，若被遮擋，是否觸發(fā)運行停止安全門屏蔽：設(shè)備側(cè)面和背面門打開，是否觸發(fā)運行停止追蹤到達工位選擇：“鋰電池抓取”工位后，選擇去“裝配工位”或者去“測量工位”2、觸摸屏介紹任務一：了解設(shè)備“信號監(jiān)控”：監(jiān)控設(shè)備傳感器當前狀態(tài)。2、觸摸屏介紹任務一：了解設(shè)備“報警畫面”：查看設(shè)備報警時間和原因。2、觸摸屏介紹任務一：了解設(shè)備“機械手”：用于在“手動模式”下，進行綜合程序或單獨程序的標定和訓練吸嘴。2、觸摸屏介紹任務一：了解設(shè)備“機械手手動位置”：用于手動控制機械手位置，點擊【開啟手動調(diào)試點位】后，哪個按鈕亮綠燈，則代表可以點擊該按鈕走到下一位置。任務二：軟件端添加硬件設(shè)備在“設(shè)備管理”→“2D相機”→雙擊“德創(chuàng)”，即可添加1臺相機到左側(cè)設(shè)備欄中。編輯相機名稱，選擇相機對應的IP地址、格式、曝光、增益。如圖所示：1、相機通訊上料入庫碼垛移動相機1任務二：軟件端添加硬件設(shè)備2、光源通訊該項目使用1組光源，由光源控制器控制，這里添加一個“德創(chuàng)1”光源，端口號為COM2，取消勾選“頻閃模式”，其他參數(shù)無需修改，點擊【連接】?！巴ǖ?”即控制移動相機1對應光源，亮度可設(shè)置的范圍為0-255。一共添加2個以太網(wǎng)，用于不同場景的通訊。以太網(wǎng)1基本參數(shù)進行如下設(shè)置：名稱：TCP模式：服務器IP地址：23端口號：30003、以太網(wǎng)通訊-TCP任務二：軟件端添加硬件設(shè)備以太網(wǎng)2基本參數(shù)進行如下設(shè)置：名稱：TCP2模式：服務器IP地址：23端口號：40004、以太網(wǎng)通訊-TCP2任務二：軟件端添加硬件設(shè)備任務三：手動調(diào)試硬件“主畫面”界面上，將狀態(tài)打到“手動狀態(tài)”，點擊【停止】，再點擊【復位】按鈕。1、設(shè)備復位任務三：手動調(diào)試硬件1、觸摸屏點擊最下面一排的【機械手手動位置】按鈕，進入該界面2、查看移動相機1圖像效果-①機械手走點位點擊【開啟手動調(diào)試點位】，“機械手原點”按鈕會亮綠燈，則代表可點擊該按鈕走到下一位置。任務三：手動調(diào)試硬件點擊【機械手原點】，“CCD1拍照位”和“CCD2拍照位”同時亮綠燈，代表可以選擇走到其中一個位置。2、查看移動相機1圖像效果-①機械手走點位點擊【CCD1拍照位】，機械手攜帶移動相機1移動到拍照位置。在此位置時移動相機1可拍照，所以不需要再走到下個位置。任務三：手動調(diào)試硬件2、設(shè)備管理“德創(chuàng)1”光源：通道1亮度值255。3、查看移動相機1圖像效果-②打開光源和相機3、設(shè)備管理“移動相機1”：點擊交互區(qū)右下角【打開視頻】，查看圖像效果。若圖像模糊，需要調(diào)節(jié)移動相機1的鏡頭對焦環(huán)。若圖像亮度過亮或過暗，推薦調(diào)節(jié)光源亮度。結(jié)果展示四、手眼標定程序編寫1.獨立搭建標定程序。2.掌握引導模塊工具：手眼標定。3.學會和機械手進行以太網(wǎng)通訊，正確發(fā)送和接收相關(guān)指令。實訓目的1、“監(jiān)聽”工具（重命名為“標定”）任務一：程序設(shè)計設(shè)備：TCP觸發(fā)條件：匹配數(shù)據(jù)頭數(shù)據(jù)頭：Calib數(shù)據(jù)頭尾分隔符：，2、“光源設(shè)定”工具任務二：光源設(shè)定打開光源。光源：德創(chuàng)1添加通道：Channel1，亮度1003、“手眼標定”工具-首頁數(shù)據(jù)來源：標定.ReceivedData標定模式：單相機特征樣式：棋盤格配置完成點擊右下角【下一步】。任務一：程序設(shè)計4、“手眼標定”工具-①圖像安裝方式：固定安裝；移動步數(shù)：9（平移步數(shù)）+5（旋轉(zhuǎn)步數(shù)）；圖像來源：相機取像；機位編號1（主機位1）：移動相機1；配置完成點擊右下角【下一步】。任務一：程序設(shè)計5、“手眼標定”工具-②指令此頁不需要進行配置，點擊右下角【下一步】。點擊【詳細信息】，可以了解該工具需要拿到什么指令，才可以進行正常的拍照和標定計算，以及每條指令的含義。任務一：程序設(shè)計6、“手眼標定”工具-②指令詳情任務一：程序設(shè)計7、“手眼標定”工具-③校準特征符號：詳盡棋盤格基準符號：StandardRectangles塊尺寸(mm)：3×3其余配置默認即可，配置完成點擊右下角【下一步】。任務一：程序設(shè)計8、“手眼標定”工具-④執(zhí)行此步驟無需配置，點擊右下角【下一步】?？梢渣c擊【指令詳情】和【N點詳情】，查看當前執(zhí)行狀態(tài)。任務一：程序設(shè)計9、“手眼標定”工具-④執(zhí)行-指令詳情和N點詳情任務一：程序設(shè)計10、“手眼標定”工具-⑤結(jié)果此頁不需要進行配置，執(zhí)行完成可以查看標定的結(jié)果。任務一：程序設(shè)計11、“光源設(shè)定”工具-光源熄滅光源：德創(chuàng)1添加通道：Channel1亮度：0任務一：程序設(shè)計12、“寫數(shù)據(jù)”工具任務一：程序設(shè)計每個標定步驟完成后，需要發(fā)送指令給機械手。通訊：TCP數(shù)據(jù)：手眼標定.Command其余參數(shù)無需配置。1、設(shè)備復位和程序運行任務二：設(shè)備操作觸摸屏：“主畫面”界面上，將狀態(tài)打到“手動狀態(tài)”，點擊【停止】，再點擊【復位】按鈕。程序：點擊菜單欄運行按鈕，運行程序。2、標定片放于初始位置任務二：設(shè)備操作在“鋰電池上料碼垛入庫”工位的傳送帶上，擺放厚的白色墊板，并將標定片放于圖示位置。3、手動調(diào)試機械手任務二：設(shè)備操作觸摸屏：1.點擊【機械手】進入該界面。2.機械手調(diào)試：點擊【手動調(diào)試未啟用】，開啟手動調(diào)試。3.機械手碼垛標定：點擊【碼垛標定】，機械手移動，標定開始。機械手搬運標定片，并用移動相機1進行拍照，過程中嚴禁用手移動標定片。4、標定完成任務二：設(shè)備操作程序：運行結(jié)束后，在跳出的窗口點擊【確定】，將當前結(jié)果分數(shù)進行覆蓋?？稍凇笆盅蹣硕ā惫ぞ摺敖Y(jié)果”頁面中查看此次標定結(jié)果分數(shù)和相關(guān)參數(shù)。練習：請完成本實訓的程序設(shè)計，并正確操作設(shè)備，完成標定。（要求時長：2課時）實訓三：鋰電池上料入庫-標定結(jié)果展示TASK任務7.3標準位示教一、標準位示教原理二、標準位示教工具三、標準位示教程序編寫手眼標定主要是什么坐標系之間的轉(zhuǎn)換？課前回顧一、標準位示教原理1、標準位示教原理一、標準位示教原理在實際工業(yè)應用中，機械手或移動模組常配合吸盤、夾爪等用來抓取產(chǎn)品，不可避免存在抓取的點位同末端旋轉(zhuǎn)軸不在同一軸中心的情況。此時就需要做標準位示教（也稱為“訓練吸嘴”），獲取一個模板情況下的產(chǎn)品圖像坐標和機械手實際坐標。使自動引導抓取時，都能根據(jù)此模板位置進行計算，實現(xiàn)正確抓取。當前產(chǎn)品模板產(chǎn)品二、標準位示教工具1、標準位示教工具V+平臺軟件的“標準位示教”工具如下圖所示?！皹藴饰皇窘獭惫ぞ邎D標“標準位示教”工具界面二、標準位示教工具2、輸入設(shè)置信號數(shù)據(jù)：指定或關(guān)聯(lián)信號的數(shù)據(jù)格式。鼠標放置于“”時，可看到該工具需要的參考指令為“Train,N,TTN,C,0,X,Y,A”圖像：鏈接外部輸入圖像創(chuàng)建Record：若勾選，則該工具可以創(chuàng)建結(jié)果圖像二、標準位示教工具2、標定設(shè)置標定文件列表：由“手眼標定”工具自動生成，標定文件名對應“手眼標定-①圖像”中的機位編號：刷新按鈕，點擊可刷新列表中的標定文件：打開文件夾，點擊可查看本地文件夾下的手眼標定文件和標準位示教文件高級設(shè)置：點擊可查看底層工具算法二、標準位示教工具3、特征抓取特征抓?。骸巴ㄓ谩睘槭褂煤唵喂ぞ攉@取示教點，“高級”為使用ToolBlock工具獲取示教點操作：可導入或?qū)С龃耸窘涛募/Y/R：鏈接ToolBlock的“[Outputs]”輸出的示教點的X/Y/RRecord：可選擇ToolBlock的圖像緩沖區(qū)作為結(jié)果圖像二、標準位示教工具三、標準位示教程序編寫三、標準位示教程序編寫1.獨立搭建標準示教位（也稱為訓練吸嘴模板位置）程序。2.掌握引導模塊工具：標準位示教。3.學會和機械手進行以太網(wǎng)通訊，正確發(fā)送和接收相關(guān)指令。實訓目的1、“監(jiān)聽”工具（重命名為“訓練吸嘴”）任務一：程序設(shè)計設(shè)備：TCP觸發(fā)條件：包含數(shù)據(jù)數(shù)據(jù)頭：TTN2、“光源設(shè)定”工具打開光源。光源：德創(chuàng)1添加通道：Channel1，亮度210任務一：程序設(shè)計3、“取像”工具相機：移動相機1（此為標定的從相機2）輸出格式：ICogImage任務一：程序設(shè)計4、“光源設(shè)定”工具關(guān)閉光源。光源：德創(chuàng)1添加通道：Channel1，亮度0任務一：程序設(shè)計5、“標準位示教”工具-①輸入設(shè)置信號數(shù)據(jù)：訓練吸嘴.

ReceivedData（點擊【

】可查看需要的指令格式）圖像：取像工具輸出的Image勾選“創(chuàng)建Record”完成配置點擊【下一步】。任務一：程序設(shè)計勾選標定文件“主機位1”（此含義為調(diào)用該相機的標定空間，使得接下來的圖像處理在已標定的機械手坐標系下完成）。完成配置點擊【下一步】。6、“標準位示教”工具-②標定設(shè)置任務一：程序設(shè)計7、“標準位示教”工具-③特征抓取用于輸出鋰電池中心點XYR和結(jié)果圖像Record.勾選“高級”左側(cè)搭建ToolBlock：PMAlign，F(xiàn)ixture建立坐標系4個FindCorner找鋰電池4個標簽角（A：左上角，B：左下角，C：右下角，D：右上角）2個FitLine擬合2條對角線1個IntersectLineLine將對角線相交得到標簽中心XY添加到“[Outputs]”1個FitLine鏈接FindCorner1和FindCorner4輸出的XY，添加終端Rotation，并將其鏈接到“[Outputs]”。右側(cè)輸出XYR，必須分別選擇左側(cè)“[Outputs]”的XYR，否則沒有結(jié)果。右側(cè)輸出XYR和Record。完成配置點擊【完成】。任務一：程序設(shè)計8、“寫數(shù)據(jù)”工具通訊：TCP數(shù)據(jù)：分支選擇.數(shù)據(jù)項1.標準位示教.Command其余參數(shù)無需配置。任務一：程序設(shè)計1、設(shè)備復位和程序運行任務二：設(shè)備操作觸摸屏：“主畫面”界面上，將狀態(tài)打到“手動狀態(tài)”，點擊【停止】，再點擊【復位】按鈕。程序：點擊菜單欄運行按鈕，運行程序。2、鋰電池放置在標準位置任務二：設(shè)備操作1.在“鋰電池上料碼垛入庫”工位的傳送帶上，，擺放鋰電池于圖示位置，頂于卡槽內(nèi)。2.其他位置不放任何東西，保證傳送帶整潔。3、手動調(diào)試機械手任務二：設(shè)備操作觸摸屏：1.點擊【機械手】進入該界面。2.機械手調(diào)試：點擊【手動調(diào)試未啟用】，開啟手動調(diào)試。3.訓練吸嘴：點擊【訓練吸嘴】，機械手移動，訓練開始4、移動相機1訓練吸嘴-無需手動操作任務二：設(shè)備操作機械手抓取鋰電池后放置于移動相機1下，進行拍照。待訓練吸嘴程序成功運行后，及時按下【停止】按鈕（也可按下觸摸屏主頁面上【停止】鍵）。后續(xù)其他相機訓練吸嘴不再需要，要及時停止。5、訓練吸嘴結(jié)束任務二：設(shè)備操作此時訓練吸嘴流程結(jié)束。觸摸屏上按下【停止】，再按【復位】。結(jié)果展示TASK任務7.4移動引導抓取一、引導原理二、引導相關(guān)工具三、移動抓取程序編寫標準位示教需要拿到哪些坐標？課前回顧一、引導原理1、引導類型在工業(yè)視覺引導的應用場景中，相機的安裝方式可選擇固定安裝或隨機構(gòu)移動安裝，亦可以選擇單個或多個相機同機構(gòu)進行配合。其中，與機械手或移動模組相結(jié)合的應用最為普遍。關(guān)于此類場景，視覺定位引導可大致分為4種模式：引導抓取、引導組裝、位置補正、軌跡運算定位引導。引導抓取引導組裝位置補正軌跡運算定位引導一、引導原理2、引導抓取相機拍照計算機械手抓取位置，機械手根據(jù)視覺運算數(shù)據(jù)抓取。如：在料盤中抓取、對流水線上產(chǎn)品進行抓取等。引導抓取一、引導原理3、引導組裝相機拍產(chǎn)品的上下兩部分，通過標定計算出機械手需要移動的距離，完成貼合動作。如：屏幕貼合、產(chǎn)品組裝等。引導組裝一、引導原理4、位置補正又稱為“糾偏補正”。機械手抓完產(chǎn)品，移至相機視野下拍照，視覺計算機械手移動位置，將產(chǎn)品放置到固定位置。位置補正一、引導原理5、相機軌跡運算定位引導相機拍照（一次或多次），計算出產(chǎn)品的中心和角度，根據(jù)設(shè)定好的軌跡點，計算出產(chǎn)品在不同狀態(tài)下的軌跡點的位置。如：點膠軌跡運算、焊接軌跡運算等。軌跡運算定位引導一、引導原理6、引導原理手眼標定是引導能否正確運行的關(guān)鍵因素，在標定坐標下，相機拍照獲取當前圖像，計算產(chǎn)品的當前圖像坐標X、Y、R，并根據(jù)此當前圖像坐標，同模板坐標等信息進行計算，獲取補償值，使機械手最終走絕對值或相對值，產(chǎn)品當前位置同模板位置的差如下圖所示。其中C(c,d)為模板圖像坐標，A(x,y)為當前圖像坐標，且夾角都為已知。根據(jù)模板位置進行計算引導抓取一、引導原理二、引導相關(guān)工具1、特征定位工具特征定位工具的界面布局及配置同“標準位示教”工具類似，如下圖所示，其說明不再贅述。不同之處在于二者輸出的坐標合集格式不同，在后續(xù)“引導計算”工具中，可選擇調(diào)用的文件不同，二者不可混用?！疤卣鞫ㄎ弧惫ぞ呓缑娑⒁龑嚓P(guān)工具2、引導計算工具V+平臺軟件的“引導計算”工具如下圖所示，其中，“模式選擇”的含義詳見“1.引導原理”?！耙龑в嬎恪眻D標“引導計算”工具界面二、引導相關(guān)工具2、引導計算工具-位移計算（通用模式）旋轉(zhuǎn)軸方向：由機械手末端軸，或移動模組旋轉(zhuǎn)軸的正負方向決定數(shù)據(jù)源：分為“簡易模式”和“通用模式”，不同模式對應的特征數(shù)據(jù)和訓練數(shù)據(jù)的選項不同特征數(shù)據(jù)：當前圖像TX、TY和TR的值，可分別選擇不同數(shù)據(jù)訓練數(shù)據(jù)：模板的圖像坐標TX、TY、TR的值和機械手坐標RX、RY、RR的值，可分別選擇不同來源的數(shù)據(jù)二、引導相關(guān)工具2、引導計算工具-位移計算（簡易模式）特征數(shù)據(jù)：“特征定位”工具輸出的當前圖像坐標，可直接選擇前端程序“特征定位”工具輸出的整體文件訓練數(shù)據(jù)：“標準位示教”工具輸出的模板圖像坐標和對應的機械手坐標，需要先用“標準位數(shù)據(jù)”工具先得到標準位示教的txt坐標文件，再在此處下拉選擇整體文件。并不是所有情況都可使用簡易模式二、引導相關(guān)工具2、引導計算工具-補償計算在某些情況，需要通過固定方向增加或減少X、Y和R的值，以獲取更好的引導效果。二、引導相關(guān)工具2、引導計算工具-防呆保護啟用并設(shè)置機械手XYR的安全值，及其該安全值允許的上下限。二、引導相關(guān)工具三、移動抓取程序編寫三、鋰電池移動抓取實訓目的1.獨立搭建鋰電池上料入庫的自動運行程序。2.掌握引導模塊工具：特征定位、標準位數(shù)據(jù)、引導計算。3.設(shè)計HMI界面，顯示每次拍照的結(jié)果圖像（帶Record信息）、每次結(jié)果的OKNG信息、抓取的XYR坐標、標題欄等，整體美觀大方，展示關(guān)鍵信息。3.學會和機械手進行以太網(wǎng)通訊，正確發(fā)送和接收相關(guān)指令，引導機械手正確抓取鋰電池，