基于機器視覺的工業(yè)機器人工件搬運技術(shù)研究1.1研究背景自19世紀(jì)60年代問世以來，工業(yè)機器人不斷發(fā)展和完善，現(xiàn)已得到廣泛應(yīng)用，機器人產(chǎn)業(yè)也逐漸成熟。目前，全世界已擁有100多萬臺工業(yè)機器人廣泛應(yīng)用在焊接、搬運、裝配、噴涂、修邊、拾料、包裝、堆垛和上下料等單調(diào)或復(fù)雜的作業(yè)中，為企業(yè)節(jié)約了大量的勞動成本，大大提高了勞動生產(chǎn)率。工業(yè)機器人是面向工業(yè)領(lǐng)域的多關(guān)節(jié)機械手或多自由度的機器人，它在穩(wěn)定產(chǎn)品品質(zhì)、提高生產(chǎn)效率和改善勞動條件等方面有著十分重要的作用，它的應(yīng)用能夠使企業(yè)大大縮短新產(chǎn)品的換產(chǎn)周期和節(jié)約勞動成本，從而提高了產(chǎn)品的市場競爭力。隨著當(dāng)代工業(yè)革命深入發(fā)展，工業(yè)生產(chǎn)日益趨向自動化，工業(yè)機器人技術(shù)也正朝著智能、柔性的方向發(fā)展。許多發(fā)達(dá)國家對于智能工業(yè)機器人的研究都較為重視，我國也早已將其納入國家高科技發(fā)展規(guī)劃。國家層面的重視也必將給工業(yè)機器人技術(shù)帶來新的跨越式發(fā)展，機器人的發(fā)展也必將對社會經(jīng)濟(jì)和生產(chǎn)力的發(fā)產(chǎn)生更加深遠(yuǎn)的影響1.2研究目的和意義對于工作在自動化生產(chǎn)線上或柔性制造系統(tǒng)中的工業(yè)機器人來說，其完成最多的一類操作是“抓取—放置”動作，比如流水線上的工件搬運、裝配以及各工位之間的工件轉(zhuǎn)移和上下料。機器人要完成這類操作是經(jīng)過復(fù)雜計算的：首先，機器人必須知道怎么抓，其次機器人應(yīng)該知道怎么放；同時在這個過程還要伴隨著機器人運動學(xué)分析的過程。傳統(tǒng)的工業(yè)機器人完成這類操作，必須經(jīng)過精確的逐點示教后，才能一步一步的按照固定程序執(zhí)行。在這個過程中，工件相對于機器人的初始位姿（位置和姿態(tài)）和終止位姿是事先規(guī)定的，但很多情況下，特別是流水線場合，工件的位姿常常是不固定的。這就導(dǎo)致實際目標(biāo)工件的位姿與理想工件位姿總是有偏差的，這種偏差哪怕很小都會導(dǎo)致機器人操作任務(wù)的失敗。這種由于環(huán)境的變化而導(dǎo)致機器人不能很好地完成任務(wù)的情況極大地限制了機器人的實際應(yīng)用。這就要求工業(yè)機器人具備一定的環(huán)境適應(yīng)能力，即工業(yè)機器人智能化。智能工業(yè)機器人的智能特征在于它具有與外部世界、對象、環(huán)境和人相互協(xié)調(diào)的工作機能，具體表現(xiàn)在機器視覺、接近覺、觸覺和力覺等方面。機器視覺是用機器代替人眼來做測量和判斷的，其本質(zhì)是使計算機具有認(rèn)知周圍環(huán)境信息的能力。這種能力不僅使機器能感知周圍物體的形狀、位置、姿態(tài)、運動等等信息，而且能相應(yīng)地對這些信息進(jìn)行描述、理解和識別。將機器視覺與機器人結(jié)合到一起，也就產(chǎn)生了機器人視覺。機器人視覺技術(shù)是用來模擬人類視覺，使機器人通過獲取視覺信息從而對操作環(huán)境進(jìn)行判別，給機器人賦予更強大的應(yīng)對能力，大大增強了機器人的柔性。因而基于視覺引導(dǎo)的機器人擁有著廣闊的發(fā)展空間，具有重要的科研和應(yīng)用價值。1.3國內(nèi)外現(xiàn)狀目前，機器視覺技術(shù)已經(jīng)從最初的實驗室階段逐漸走向成熟，并且在工業(yè)生產(chǎn)線上已經(jīng)有實際應(yīng)用。德國、日本、美國和韓國處在智能工業(yè)機器人領(lǐng)域應(yīng)用研究的前沿。日本從最初的模仿到現(xiàn)在的獨創(chuàng)，找到了自己的技術(shù)創(chuàng)新之路。德國西門子公司也緊跟著時代的步伐，將機器視覺滲透到各個領(lǐng)域，應(yīng)用到汽車發(fā)動機裝配，生產(chǎn)線工件分揀等領(lǐng)域。美國更是機器人技術(shù)的創(chuàng)新發(fā)源地，其機器視覺廣泛應(yīng)用在工業(yè)和軍事上，機械手經(jīng)銷商，包括Fanuc公司，Motman公司和Staubli公司都推出了“揀選”系統(tǒng)。如圖1.1所示，日本川崎設(shè)計的工業(yè)機器人主要應(yīng)用在基于視覺系統(tǒng)的大型物品裝卸、樹脂成形機械抓取和汽車車門的邊角打磨工程等領(lǐng)域。這種機器人可以結(jié)合具體的實際應(yīng)用和目標(biāo)方法，配置不同的選裝件和相關(guān)參數(shù)，能夠適應(yīng)各種應(yīng)用場合。通過使用機器人內(nèi)部搭載標(biāo)準(zhǔn)的機器人語言，它還可以實現(xiàn)高性能的動作控制和時序控制。圖1.1基于視覺系統(tǒng)的大型物品裝卸圖1.2所示的是美國普渡大學(xué)研究的一種基于視覺控制的Bin-picking系統(tǒng)，該系統(tǒng)可以從多種零件中分揀出圓形零件，它是通過簡單的圓弧邊界特征來識別圓形零件的。圖1.3所示的是瑞典ABB公司最新推出的第二代拾取機器人FlexPickerIRB360，該機器人擁有有效載荷大、操作速度快、簡單有效等優(yōu)點，能夠在2D視覺的幫助下，以高達(dá)2次/秒的速度撿取傳送帶上的物品。總的來說，美國、日本、歐洲一些發(fā)達(dá)國家在機器人視覺技術(shù)有著豐富的經(jīng)驗，已經(jīng)開發(fā)出多款成熟產(chǎn)品，廣泛應(yīng)用在微裝配、空間和軍事領(lǐng)域。圖1.2Bin-Picking機器人圖1.3ABBFlex-Picker機器人我國對工業(yè)機器人的研究起步較晚，從90年代初期起，我國在工業(yè)機器人領(lǐng)域才取得一定的進(jìn)展。隨著近幾年科技的進(jìn)步，我國在這方面發(fā)展迅速，取得了不少科研成果，機器人的結(jié)構(gòu)和控制理論不斷得到創(chuàng)新，生產(chǎn)制造工藝也逐漸成熟，不斷有自主知識產(chǎn)權(quán)的機器人產(chǎn)品相繼問世，此外還相繼建立了20多個機器人產(chǎn)業(yè)化基地，實施了100多項機器人應(yīng)用工程，機器人產(chǎn)業(yè)不斷壯大和發(fā)展。新松機器人自動化股份有限公司研制機器人是擁有自主知識產(chǎn)權(quán)和核心技術(shù)的工業(yè)搬運機器人，它可用于鍛造生產(chǎn)和鑄件落砂等工作條件惡劣的場合，降低工人的勞動強度。北京航空航天大學(xué)于1994年成功研制了七自由度機器人操作臂，并且研制出一系列改進(jìn)型的冗余自由度機器人實驗樣機。方躍提出了采用靈活角來度量操作器靈活程度，將機器人的工作空間根據(jù)靈活程度的不同劃分為相應(yīng)的有限靈活工作空間，高同以梯度投影法為基礎(chǔ)，采用線性加權(quán)法，研究冗余度機器人的多指標(biāo)融合優(yōu)化問題。冗余自由度機器人另一個研究重點是運動學(xué)逆解，如圖1.5所示，為深圳眾為興技術(shù)股份有限公司生產(chǎn)的四自由度分揀機器人。該機器人在分類分揀的應(yīng)用中具有視覺導(dǎo)引功能，重點介紹了眾為興SCARA機器人及視覺系統(tǒng)，并在現(xiàn)場用實物生動展示了具有視覺功能的眾為興機器人在分類分揀的應(yīng)用。眾為興公司開發(fā)研制的SCARA機器人，可應(yīng)用在搬運、分揀一些較小的規(guī)則工件。圖1.5眾為興展出的SCARA機器人1.4本課題的研究內(nèi)容本文是針對基于視覺引導(dǎo)的工業(yè)機器人工件搬運技術(shù)進(jìn)行的研究，簡單的講，就是在一臺6軸的工業(yè)機器人的基礎(chǔ)上引入機器視覺，利用機器人對視覺的理解，完成工業(yè)生產(chǎn)中工件的抓取和放置操作。在這個操作過程中，工件識別與定位和機器人運動學(xué)反解是兩個關(guān)鍵環(huán)節(jié)。工件識別與定位是為機器人提供操作和如何操作的信息，而機器人運動學(xué)反解的準(zhǔn)確性直接影響到操作能否完成和相應(yīng)的操作精度。整個工件搬運的具體流程是：在機器人工作之前，先通過上方攝像機實時地采集工件圖像，并送到圖像處理系統(tǒng)，以便確定所感興趣的工件以及該工件相對于機器人的位姿，最后將位姿信息反解成工業(yè)機器人熟悉的關(guān)節(jié)角度和角度控制信息，從而實現(xiàn)利用視覺引導(dǎo)機器人準(zhǔn)確地抓取工件。同時根據(jù)已抓取工件的放置要求，進(jìn)一步引導(dǎo)機器人完成工件的定點放置，從而實現(xiàn)機器人搬運操作。本課題的研究內(nèi)容圍繞物體識別這個中心展開，主要包括以下幾個方面：如何獲取圖像獲取圖像是進(jìn)行本課題研究的前提，順利的通過攝像頭設(shè)備獲取到原始圖像是一切研究的根本如何對圖像進(jìn)行預(yù)處理視覺系統(tǒng)中直接使用的圖像，必須在進(jìn)行灰度校正、噪聲過濾等圖像預(yù)處理。將圖像中感興趣的特征有選擇地突出，衰減其不需要的特征，預(yù)處理后的輸出圖像并不需要去逼近原圖像。如何對預(yù)處理以后的圖像進(jìn)行特征識別和特征提取已經(jīng)把待測目標(biāo)工件進(jìn)行過圖像預(yù)處理，接下來要針對靜態(tài)工件的特征提取，最后要根據(jù)已經(jīng)提取的目標(biāo)工件的特征進(jìn)行分類。特征提取的意義于要區(qū)分不同種類的工件就要把它們之間不同的信息提取出來，作為識別的前提條件。一般來說，提取普通特征包括周長、邊緣、面積、曲率、角度和物體質(zhì)心等如何根據(jù)提取的特征對目標(biāo)進(jìn)行分類和目標(biāo)定位目標(biāo)分類是指對得到的不同目標(biāo)進(jìn)行區(qū)分并將其歸為某一已知類的過程。對于圖像目標(biāo)來說通常利用圖像特征來對目標(biāo)進(jìn)行描述，然后對其分類。通過模版匹配計算目標(biāo)上空間點和像素點之間的對應(yīng)關(guān)系。然后創(chuàng)建模版，對后續(xù)的圖像進(jìn)行目標(biāo)定位。如何跟蹤目標(biāo)對于運動的目標(biāo)，通過跟蹤能夠得到目標(biāo)的速度和加速度，并可以對將來目標(biāo)出現(xiàn)的位置進(jìn)行預(yù)測6.如何將目標(biāo)在圖像中的位置轉(zhuǎn)化到機器人基坐標(biāo)系中并進(jìn)行機器人運動學(xué)反解通過相機標(biāo)定得到圖像坐標(biāo)與機器人基坐標(biāo)之間的轉(zhuǎn)換關(guān)系，將目標(biāo)在圖像中的位置信息轉(zhuǎn)化為機器人基坐標(biāo)系中的具體坐標(biāo)，并通過該坐標(biāo)進(jìn)行機器人運動學(xué)逆解，得到關(guān)節(jié)運動信息如何規(guī)劃路徑并控制機器人進(jìn)行目標(biāo)抓取通過前面得到的運動學(xué)逆解，合理的設(shè)置機器人抓取運動規(guī)劃，包括路徑規(guī)劃和手部抓取規(guī)劃，路徑規(guī)劃是研究按照何種路徑，將機器人手部坐標(biāo)系的原點和目標(biāo)抓取坐標(biāo)系的原點重合的問題，抓取點規(guī)劃是針對不同形狀的物體，如何選擇合適夾持點位置的問題。1.5本課題的研究方法1.5.1獲取圖像1)硬件介紹一個穩(wěn)定的視覺系統(tǒng)的構(gòu)建需要根據(jù)任務(wù)的特點和現(xiàn)場環(huán)境的特點進(jìn)行，例如精度，目標(biāo)尺寸，檢測速度，安裝空間大小等要求，都將影響系統(tǒng)硬、軟件的選擇。典型的視覺系統(tǒng)包括的硬件很多，但最重要的最基本的三件設(shè)備是：光源、鏡頭和相機。本節(jié)主要給出本系統(tǒng)所用硬件的參數(shù)并對其進(jìn)行簡單介紹1.光源由于所有非發(fā)光物體都是通過反射光才能在傳感器上留下影像，所以光源的正確選擇是保證視覺系統(tǒng)正常工作的基礎(chǔ)。在選擇視覺系統(tǒng)光源時要注意，使用的光源要把感興趣目標(biāo)和背景區(qū)分開來，削減非關(guān)心目標(biāo)或噪聲的干擾，并且光源本身不會帶來額外的干擾，鏡頭鏡頭與人眼的晶狀體具有類似的功能，如果沒有安裝鏡頭進(jìn)行拍攝，得到的圖像將是花白色，不包含任何場景信息。所以鏡頭的作用是匯聚目標(biāo)反射回的光，在感光原件上產(chǎn)生細(xì)節(jié)豐富，銳利的圖像。鏡頭的參數(shù)選擇一般是根據(jù)配用的攝像機感光原件的大小來進(jìn)行的，如果二者的參數(shù)不合適，將出現(xiàn)圖像記錄不完整，視場角不符合要求或者畫面在焦點外的問題本文選擇的是COMUPTAR公司的M0814-MP2型號的鏡頭，參數(shù)如表所示：性能指標(biāo)參數(shù)靶面尺寸2/3’’焦距8最大成像尺寸8.8*6.6控制光圈手動聚焦手動變焦手動接口C-接口尺寸33.5*28.2攝像機本系統(tǒng)使用的是Basler公司的acA2500-14gm型號的工業(yè)相機，如圖所示，該相機的性能指標(biāo)和參數(shù)如表所示：圖3BasleracA2500-14gm型號工業(yè)相機性能指標(biāo)參數(shù)傳感器類型AptinaMT9PCMOS,rollingshutter有效圖像元素2592*1944像素尺寸2.2x2.2數(shù)據(jù)位數(shù)12鏡頭接口C-mount,CS-mount傳輸方式GigabitEthernet幀率14供電要求ViaPoweroverEthernet(802.3af)or+12VDC(±10%)viathecamera′s6-pinHiroseconnector外形尺寸42x29x29表1BasleracA2500-14gm型號工業(yè)相機參數(shù)拍攝參數(shù)設(shè)定為了提高圖像處理速度并兼顧分辨率，選擇的拍攝參數(shù)如下表：圖像尺寸待定色彩待定ISO速度待定幀頻待定記錄頻率待定2）軟件介紹OpenCV的全稱是：OpenSourceComputerVisionLibrary。OpenCV是一個基于（開源）發(fā)行的跨平臺計算機視覺庫，可以運行在Linux、Windows和MacOS操作系統(tǒng)上。它輕量級而且高效——由一系列C函數(shù)和少量C++類構(gòu)成，同時提供了Python、Ruby、MATLAB等語言的接口，實現(xiàn)了圖像處理和計算機視覺方面的很多通用算法，它可以完成以下工作：1.圖像數(shù)據(jù)操作（內(nèi)存分配與釋放，圖像復(fù)制、設(shè)定和轉(zhuǎn)換）2.圖像/視頻的輸入輸出（支持文件或攝像頭的輸入，圖像/視頻文件的輸出）3.矩陣/向量數(shù)據(jù)操作及線性代數(shù)運算（矩陣乘積、矩陣方程求解、特征值、奇異值分解）支持多種動態(tài)數(shù)據(jù)結(jié)構(gòu)（鏈表、隊列、數(shù)據(jù)集、樹、圖）4.基本圖像處理（去噪、邊緣檢測、角點檢測、采樣與插值、色彩變換、形態(tài)學(xué)處理、直方圖、圖像金字塔結(jié)構(gòu)）5.結(jié)構(gòu)分析（連通域/分支、輪廓處理、距離轉(zhuǎn)換、圖像矩、模板匹配、霍夫變換、多項式逼近、曲線擬合、橢圓擬合、狄勞尼三角化）6.攝像頭定標(biāo)（尋找和跟蹤定標(biāo)模式、參數(shù)定標(biāo)、基本矩陣估計、單應(yīng)矩陣估計、立體視覺匹配）7.運動分析（光流、動作分割、目標(biāo)跟蹤）8.目標(biāo)識別（特征方法、HMM模型）HALCON軟件介紹HALCON是一款來自德國慕尼黑的世界頂級機器視覺編程環(huán)境，該軟件以面向問題為基礎(chǔ)，涉及工業(yè)領(lǐng)域中光學(xué)工程、精密制造、包裝、半導(dǎo)體、印刷、機械等行業(yè)。使用它可以迅速構(gòu)建一個準(zhǔn)確、穩(wěn)定、高效率的視覺解決方案。該軟件具有強大的函數(shù)庫，能導(dǎo)出C++、C、VB等語言，縮短了代碼編寫時間，為構(gòu)建獨立的視覺系統(tǒng)提供了方便。利用HALCON軟件構(gòu)建一個獨立視覺系統(tǒng)分為三個步驟：該軟件最大特點是模范化和模塊化，所有的算子都具有同一的輸入輸出格式，下面是一個典型的算子結(jié)構(gòu)：Operator(iconicinput:iconicoutput:controlinput:controloutput)HALCON語言的數(shù)據(jù)有兩種：一種是控制參數(shù)，包含數(shù)字、數(shù)組，字符串等；另一種是圖形參數(shù)，包含圖像，區(qū)域和邊緣數(shù)據(jù)等。從典型算子結(jié)構(gòu)可以看出，圖形參數(shù)首先輸入的參數(shù)，然后是控制參數(shù)，并且順序是輸入數(shù)據(jù)和輸出數(shù)據(jù)相間隔，也即是：Operator(輸入圖形參數(shù)：輸出圖形參數(shù)：輸入控制參數(shù)：輸出控制參數(shù)）。1.5.2圖像預(yù)處理圖像灰度化將RGB彩色圖像轉(zhuǎn)化為單通道圖像，灰度范圍為0-255，可以很大程度上提高運算的速度Image<gray,byte>cam_gray=cam.Convert<gray,byte>();Cam是攝像機采集的彩色圖像直方圖均衡化對于工件和背景灰度相差不大的情況，可以通過直方圖均衡化增加圖像的對比度，使工件在背景中更突出cvEqualizeHist函數(shù)可以增大圖像灰度的動態(tài)范圍，從而增加對比度圖像濾波消除噪聲信息對于環(huán)境中的各種干擾，相機的成像噪聲，可以通過預(yù)處理階段消除或者削弱噪聲的影響，具體可以使用各種濾波算子，如中值濾波，高斯平滑濾波，均值濾波，在OpenCV中都有對應(yīng)的函數(shù)可以調(diào)用1.5.3圖像識別模式識別應(yīng)用與圖像信號處理領(lǐng)域就成為了圖像識別，它是一種利用計算機對圖像進(jìn)行描述和分類的技術(shù)，在機器視覺中具有廣泛的應(yīng)用，涉及文字，條碼，車牌識別，目標(biāo)分類等應(yīng)用場合，識別的過程其實是一個分類的過程，將滿足判斷條件的對象歸為一類，而不滿足條件的劃分為其他類，首先對目標(biāo)圖像進(jìn)行特征提取，然后將它和已知的模式向量進(jìn)行比較，比較的過程是函數(shù)計算的過程，通過計算得到相似程度值，根據(jù)該值判斷目標(biāo)是否與已知庫中的目標(biāo)相似，從而得到相應(yīng)的識別或者不識別信號，根據(jù)分類標(biāo)準(zhǔn)選擇的不同，可以將識別方法分為：基于概率統(tǒng)計方法的識別，基于模版匹配方法的識別，基于多傳感器信息融合方法的識別等。通常，圖像識別有以下三步，如圖所示圖3圖像識別的步驟主要有三個任務(wù)：圖像分割、目標(biāo)分類、圖像匹配圖像分割要將圖像分割為區(qū)域，就要有分割的標(biāo)準(zhǔn)，這個標(biāo)準(zhǔn)就叫做閾值，獲取合適閾值的方法很多，通?？梢苑譃槭謩荧@取和自動獲取，當(dāng)進(jìn)行手動獲取時，通常借鑒圖像灰度直方圖的分布來幫助選擇，最簡單的自動全局閾值的方法是：首先選擇一個初始閾值估計值（然后利用該閾值對圖像進(jìn)行初始分割得到G1和G2區(qū)域。對G1和G2區(qū)域中所有像素計算灰度平均值，計算得到的新閾值為T=，利用新閾值對圖像進(jìn)行重新分割，然后重復(fù)前面兩步，直至前后兩次T值之差小于設(shè)定值時停止。然后利用最終得到的最佳閾值將區(qū)域分割為兩部分，從而得到二值圖像：對于本系統(tǒng)，由于拍攝到的目標(biāo)圖像和背景灰度差別較大，可以直接確定閾值范圍，此方法進(jìn)行分割的結(jié)果如圖所示，從圖中可以看出，目標(biāo)區(qū)域和背景區(qū)域分割的較好，但是有許多非目標(biāo)的區(qū)域也被劃分為一類（主要是傳送帶的邊緣），所以還需要后續(xù)的區(qū)域標(biāo)記方法，利用區(qū)域的連通性將這些目標(biāo)區(qū)域和非目標(biāo)區(qū)域給分開來區(qū)域聯(lián)通標(biāo)記是建立在像素點鄰接性的基礎(chǔ)之上的，鄰接性是一種相似性的度量方法，常用的類型有4-鄰接、8-鄰接、和對角鄰接XXPXX4-鄰接XXXXPXXXX8-鄰接XXPXX對角鄰接提取連通成分的過程實際上也是標(biāo)記連通成分的過程，通常的做法是給圖像中的每個連通區(qū)域分配一個唯一的編號，這樣的圖像成為標(biāo)注圖像。得到各個編號區(qū)域，就能計算區(qū)域的面積，中重心，圓度，外接/內(nèi)切圓半徑等特征參數(shù)，以供所需區(qū)域的選擇，本例采用面積特征進(jìn)行選擇，得到目標(biāo)模版圖像目標(biāo)分類目標(biāo)分類是對得到的不同目標(biāo)進(jìn)行區(qū)分并將其歸為某一已知類的過程。對于圖像目標(biāo)來說通常利用圖像特征來對目標(biāo)進(jìn)行描述，然后再對其分類，目標(biāo)分類是目標(biāo)識別過程中的重要步驟目前已經(jīng)廣泛應(yīng)用于圖像分割，目標(biāo)識別，變化檢測，字符識別等場合。根據(jù)待分類目標(biāo)的外形，可將分類任務(wù)分為兩類。第一類是針對搜索目標(biāo)外形固定，并且不同類型目標(biāo)的特征區(qū)域明顯，這種情況可以采用模版匹配的方法對其進(jìn)行分類，第二類是針對目標(biāo)外形不是特別明顯，人工無法選擇出合適的分類方法對其進(jìn)行分類，這種情況下就需要利用已知類型信息的目標(biāo)圖像對分類器進(jìn)行訓(xùn)練，讓分類器對后續(xù)的圖像進(jìn)行分類。常用的分類器有三種，分別是基于多層感知分類器MLP，基于支持向量機分類器SVM，基于高斯混合模型分類器GMM，本文采用MLP分類器，具體步驟為：圖X目標(biāo)分類的一般步驟首先創(chuàng)建某一類型的分類器，然后對一直目標(biāo)進(jìn)行分析，得到描述該類型目標(biāo)的特征向量，然后利用特征向量對分類器進(jìn)行訓(xùn)練，得到判別函數(shù)，這時分類器就獲得了分類的原則，然后對后續(xù)的未知目標(biāo)進(jìn)行分類，同樣也需要對目標(biāo)進(jìn)行特征提取得到特征向量，然后利用分類器對向量進(jìn)行計算，得到分類結(jié)果。這里使用的是OpenCV或者Halcon中提供的分類器3圖像匹配用創(chuàng)建模版圖像的方法可以用于檢測圖像來確定目標(biāo)的位置，但是通過圖像分割的方法來得到一個穩(wěn)定的目標(biāo)識別系統(tǒng)是非常困難的。例如背景發(fā)生拜年話，目標(biāo)被部分遮擋，目標(biāo)與攝像機間距離變化，多個目標(biāo)出現(xiàn)等都導(dǎo)致分割的困難，而圖像匹配可以解決這些問題。圖像匹配是指利用已知的目標(biāo)模式，對不同時刻或視角下拍攝的兩幅圖像間尋找相同或相近的目標(biāo)模式，使期望的目標(biāo)建立起對應(yīng)關(guān)系的過程，圖像匹配算法按照特征選擇層次的不同分為兩大類，基于灰度值相關(guān)的匹配是利用圖像的直接灰度值特征，其計算過程為：移動模版至待匹配圖像的各個位置，計算每個位置時模版本身與所覆蓋區(qū)域的相似性計算值，將得到的一系列計算值進(jìn)行比較，極值處便是目標(biāo)所在的位置。這種方法計算量大，達(dá)不到實時性要求，并且不能適應(yīng)光照條件變化、尺度變化，遮擋等情況，為了解決實時性要求，采用基于圖像特征的匹配方法，這種匹配方法有很好的魯棒性，基于特征的匹配是指，對模版圖像和匹配圖像分別進(jìn)行特征提取，用相似性度量函數(shù)計算對應(yīng)特征之間的相似程度的匹配方法，特征的選擇有很多，一般來說灰度變化大的地方是信息量最豐富的地方，比如，角點，輪廓，邊緣，直線，紋理等。本文采用的是基于形狀匹配的方法，該方法是多種技術(shù)的綜合，既用到了金字塔匹配模型，也用到了圖像的輪廓特征，該方法的一般流程如圖，匹配后得到目標(biāo)在圖像中的位置坐標(biāo)如下表：序號目標(biāo)個數(shù)坐標(biāo)角度準(zhǔn)確度11（289.042，311.058）-0.0005298.36521（145.325，178.698）6.3254199.452...........................圖X.基于形狀匹配的步驟目標(biāo)跟蹤目標(biāo)跟蹤是一個對運動目標(biāo)或者運動相機采集到的圖像序列進(jìn)行連續(xù)確定目標(biāo)位置的過程，目標(biāo)定位是目標(biāo)跟蹤的基礎(chǔ)，通過跟蹤能夠得到目標(biāo)的運動軌跡從而可以對將來目標(biāo)出現(xiàn)的位置進(jìn)行預(yù)測，通過軌跡能夠得到目標(biāo)的速度和加速度，從而可以為運動學(xué)研究提供一種測量手段。此外，通過目標(biāo)跟蹤可以對預(yù)先設(shè)定好出現(xiàn)范圍和形狀的目標(biāo)進(jìn)行監(jiān)視，如果其出現(xiàn)范圍或者形狀發(fā)生變化時，便發(fā)出相應(yīng)的報警信號。目標(biāo)跟蹤可以分為兩大方法：第一類是基于邊緣特征的方法;第二類是基于目標(biāo)內(nèi)部投影點信息的方法，如光流法，模版匹配法。本位采用第二類中的模版匹配方法，由于匹配計算量較大，可采用以下途徑減少運算量：首先計算第一副圖像中目標(biāo)的位姿，由于目標(biāo)運動的連續(xù)性，對得到的位姿進(jìn)行限制，定義一個跟蹤范圍圓（下一個目標(biāo)可能出現(xiàn)的區(qū)域），然后在指定范圍內(nèi)對后續(xù)圖像進(jìn)行目標(biāo)匹配。由于本文采用的傳送帶運動狀態(tài)為勻速直線運動，因此只要計算出目標(biāo)的速度和位置便能寫出軌跡方程來。定義參考坐標(biāo)系：在傳送帶上定義參考坐標(biāo)系的目的，是為了將目標(biāo)位姿與機器人基坐標(biāo)系聯(lián)系起來。參考坐標(biāo)系的X軸與傳送帶中線重合，方向指向目標(biāo)運動方向，y軸指向機器人一側(cè)，Z軸垂直于傳送帶平面向上。左側(cè)方框區(qū)域代表相機的視野范圍，右側(cè)外圓區(qū)域為機器人工作空間范圍，內(nèi)圓區(qū)域代表機器人工作空間與傳送帶在平面相交區(qū)域。工件從左側(cè)進(jìn)入，在計時起點處開始計時。相機對經(jīng)過計時起點的目標(biāo)進(jìn)行連續(xù)拍照，估算出目標(biāo)重心在參考坐標(biāo)系中的坐標(biāo)和速度。在進(jìn)行實驗之前通過離線測量的方法，得到參考坐標(biāo)系與機器人基座之間的相對位姿，同樣可以計算出參考坐標(biāo)系在攝像機坐標(biāo)系下的位姿由離線測量得到的位姿關(guān)系和，可以計算出機器人基座于攝像機之間的位姿矩陣。然后通過目標(biāo)定位得到目標(biāo)的位姿，再計算出目標(biāo)重心相對于參考坐標(biāo)系的位姿，由可以得到目標(biāo)重心的坐標(biāo)（），過重心點做一條平行于參考坐標(biāo)系x軸的直線，與機器人工作空間區(qū)域相交與兩點：，。這兩點便是目標(biāo)進(jìn)出工作空間的坐標(biāo)點。由這兩點結(jié)合運動速度就可以計算出目標(biāo)何時進(jìn)入和離開機器人的工作空間范圍，在這個時間段中選擇任一時刻即可對目標(biāo)進(jìn)行抓取。目標(biāo)速度V的計算，可以在攝像機視野內(nèi)，取間隔10張的兩幅圖像，計算目標(biāo)中心在運動方向的位移，除以拍攝這10張圖像所經(jīng)歷的時間，即可得到目標(biāo)的速度。1.5.6IRB120型機器人控制工業(yè)機器人的控制方法分類：分類依據(jù)類型特點根據(jù)控制量所處空間關(guān)節(jié)空間運動規(guī)劃和控制對象為各個關(guān)節(jié)角，是其他控制方法的基礎(chǔ)笛卡爾空間在關(guān)節(jié)空間控制的基礎(chǔ)上實現(xiàn)通過給定路徑上各點出的位姿，來保證運動的確定性根據(jù)控制量位置以末端執(zhí)行器的位置為被控對象，在三維空間或者關(guān)節(jié)空間對機器人進(jìn)行控制速度使任務(wù)動作以指定的速度進(jìn)行，例如目標(biāo)跟蹤過程加速度考慮到機器人的慣性負(fù)載，對加速段和減速段之間的過度進(jìn)行規(guī)劃，使之運行平穩(wěn)力（力矩）考慮到目標(biāo)抓取時的握緊力或者使用工具時的力矩等因素根據(jù)控制算法PID控制由比例、積分和微分單元構(gòu)成，理論成熟自適應(yīng)控制系統(tǒng)的舒服發(fā)生變化或者收到干擾時，系統(tǒng)通過改變自身參數(shù)來自我調(diào)節(jié)，使輸出仍滿足性能要求神經(jīng)網(wǎng)絡(luò)控制屬于黑箱控制，具有較好的學(xué)習(xí)能力本研究所完成的內(nèi)容屬于較為簡單的抓取任務(wù)，所以使用位置控制方法就能滿足要求機器人抓取運動規(guī)劃機器人抓取運動規(guī)劃包括路徑規(guī)劃和手部抓取方式規(guī)劃。路徑規(guī)劃是研究按照何種路徑，將機器人手部坐標(biāo)系原點與目標(biāo)抓取坐標(biāo)系原點重合的問題；抓去店規(guī)劃是針對不同形狀的物體，如何選擇合適夾持點位置的問題路徑點動作目標(biāo)P0INIT初始位置P1MOVE到