1、機(jī)器人學(xué)概論徐 德 研究員2010年12月7日1上次課內(nèi)容提要攝像機(jī)模型視覺測量中的約束條件 單目視覺位置測量 立體視覺位置測量基于矩形目標(biāo)約束的位姿的測量 基于PnP問題的位姿測量基于消失點(diǎn)的視覺測量 基于位置的視覺控制基于圖像的視覺控制 混合視覺伺服控制 直接視覺控制2小孔模型XZf14參數(shù)模型5參數(shù)模型攝像機(jī)的內(nèi)參數(shù)模型描述的是景物點(diǎn)與圖像點(diǎn)之間的關(guān)系。 外參數(shù)模型攝像機(jī)的外參數(shù)模型，是景物坐標(biāo)系在攝像機(jī)坐標(biāo)中的描述。 3平面全局視覺平面視覺攝像機(jī)的位姿攝像機(jī)光軸中心線與景物平面平行，景物坐標(biāo)為攝像機(jī)固定不動，焦距固定。景物坐標(biāo)系原點(diǎn)可選擇光軸中心線與景物平面的交點(diǎn)，于是有R=I, p=

2、0 0 dT, d是選擇光軸中心到景物平面的距離。攝像機(jī)的標(biāo)定XcOcYcXwZcOwYwZw圖2-2-1 單目二維視覺測量的坐標(biāo)系4立體視覺位置測量 雙目視覺 結(jié)構(gòu)光視覺空間點(diǎn)P在攝像機(jī)C1的光軸中心點(diǎn)與點(diǎn)P1c1構(gòu)成的直線上，也在攝像機(jī)C2的光軸中心點(diǎn)與點(diǎn)P1c2構(gòu)成的直線上。 特征點(diǎn)在激光平面上，同時(shí)還在攝像機(jī)的光軸中心點(diǎn)與成像平面上的成像點(diǎn)之間的一條空間直線上。 X1Y1Z1O1PX2Y2Z2O2雙目立體視覺示意圖C1C2c1Mc2CCD攝像機(jī)激光器平凸柱面鏡工件結(jié)構(gòu)光線結(jié)構(gòu)光測量原理示意圖5基于位置的視覺控制位置給定型機(jī)器人視覺控制位置反饋型機(jī)器人視覺控制Eye-to-Hand位置給

3、定型機(jī)器人視覺控制，利用視覺測量的目標(biāo)位置對機(jī)器人進(jìn)行位置給定，使機(jī)器人的末端到達(dá)目標(biāo)位置。視覺位置給定由機(jī)器人位姿獲取、圖像采集、特征提取、笛卡兒空間三維坐標(biāo)求取、關(guān)節(jié)位置給定值確定等部分構(gòu)成。 Eye-in-Hand位置給定型機(jī)器人視覺控制，雖然末端位姿引入位置給定部分，但僅參與三維坐標(biāo)的計(jì)算，并未構(gòu)成機(jī)器人末端位置的閉環(huán)控制。 控制系統(tǒng)由三個(gè)閉環(huán)構(gòu)成，外環(huán)為笛卡兒空間的位置環(huán)；各個(gè)關(guān)節(jié)采用位置閉環(huán)和速度閉環(huán)控制，其內(nèi)環(huán)為速度環(huán)，外環(huán)為位置環(huán)。 6基于圖像的視覺控制 基于圖像的視覺控制基于圖像的視覺控制圖像采集特征提取目標(biāo)特征測量期望圖像特征機(jī)器人位姿調(diào)整策略關(guān)節(jié)位置控制環(huán)節(jié)+末端位姿當(dāng)前

4、圖像特征機(jī)器人本體+逆運(yùn)動學(xué)求解6路關(guān)節(jié)位置控制器計(jì)算末端位姿給定7基于圖像的視覺控制 基于圖像的視覺伺服基于圖像的視覺伺服控制圖像采集特征提取目標(biāo)特征測量期望圖像特征機(jī)器人運(yùn)動調(diào)整策略關(guān)節(jié)速度控制環(huán)節(jié)+末端位姿當(dāng)前圖像特征機(jī)器人本體+6路關(guān)節(jié)速度控制器圖像雅可比矩陣1/s8混合視覺伺服控制2.5D視覺伺服控制將單應(yīng)性矩陣進(jìn)行分解，分別得到旋轉(zhuǎn)分量和位置分量的圖像特征。位置分量的圖像特征與給定的位置分量的圖像特征相比較，作為位置控制律的輸入。旋轉(zhuǎn)分量的圖像特征與給定的姿態(tài)的圖像特征相比較，作為位置控制律和旋轉(zhuǎn)控制律的輸入。位置控制律采用基于圖像的視覺伺服方法，旋轉(zhuǎn)控制律采用基于位置的視覺伺服方

5、法。 2.5D視覺伺服的結(jié)構(gòu)框圖5位置控制律旋轉(zhuǎn)控制律關(guān)節(jié)控制器機(jī)器人對象攝像機(jī)獲得圖像特征單應(yīng)矩陣分解圖像特征位置給定姿態(tài)給定輸出圖像旋轉(zhuǎn)分量位置分量的圖像特征V9直接視覺控制直接視覺控制的結(jié)構(gòu) 直接視覺控制一般采用Eye-to-Hand型視覺系統(tǒng)，攝像機(jī)位置固定，工作空間固定。圖像特征與關(guān)節(jié)位置的映射關(guān)系被稱為visual-motor函數(shù) 直接視覺伺服控制框圖圖像采集特征提取特征關(guān)節(jié)位置映射PID控制伺服放大執(zhí)行電機(jī)1/6S機(jī)器人本體+關(guān)節(jié)位置關(guān)節(jié)位置給定末端位姿6路關(guān)節(jié)位置控制器10第十章 多機(jī)器人協(xié)調(diào)與控制本次課內(nèi)容提要多機(jī)器人系統(tǒng)簡介多機(jī)器人系統(tǒng)的特點(diǎn)多機(jī)器人系統(tǒng)的主要研究內(nèi)容典型多

6、機(jī)器人系統(tǒng)多機(jī)器人系統(tǒng)的模型多機(jī)器人搜集多機(jī)器人隊(duì)形控制多機(jī)器人圍捕11多機(jī)器人系統(tǒng)簡介多機(jī)器人系統(tǒng)的特點(diǎn)空間分布性：多個(gè)機(jī)器人可以同時(shí)工作在作業(yè)空間的不同位置，有利于任務(wù)的完成。 時(shí)間并行性：多個(gè)機(jī)器人可以同時(shí)完不同的子任務(wù)。容錯(cuò)能力強(qiáng)：當(dāng)某一機(jī)器人出現(xiàn)故障時(shí)，可以通過任務(wù)的重新分配來彌補(bǔ)由該故障引起的系統(tǒng)性能下降。 靈活性好：多機(jī)器人系統(tǒng)中各個(gè)機(jī)器人的功能可以互不相同，通過不同功能的組合，很容易使多機(jī)器人系統(tǒng)具有較強(qiáng)的靈活性和適應(yīng)性。 12多機(jī)器人系統(tǒng)簡介多機(jī)器人系統(tǒng)的主要研究內(nèi)容 尋找一套分析、設(shè)計(jì)和控制多機(jī)器人系統(tǒng)的有效方法，使其安全、高質(zhì)、高效地完成給定任務(wù)。多機(jī)器人系統(tǒng)體系結(jié)構(gòu)：實(shí)

7、現(xiàn)預(yù)定的行為如何把個(gè)體聯(lián)系到一起的一種形式?？煞譃閭€(gè)體、集中式、分層式和分布式。協(xié)調(diào)機(jī)制：多機(jī)器人系統(tǒng)與環(huán)境之間的協(xié)調(diào)：研究如何根據(jù)環(huán)境的變化調(diào)整系統(tǒng)的整體目標(biāo)和行為以及體系結(jié)構(gòu)，這是一種適應(yīng)性反饋機(jī)制；機(jī)器人之間的協(xié)調(diào)：由于完成任務(wù)的需要，機(jī)器人之間的競爭、磋商、合作和聯(lián)盟不可避免，重點(diǎn)研究合作機(jī)制與聯(lián)盟形成等機(jī)制；復(fù)雜任務(wù)的分解分配算法個(gè)體機(jī)器人行為的監(jiān)督與約束機(jī)制13多機(jī)器人系統(tǒng)簡介多機(jī)器人系統(tǒng)的主要研究內(nèi)容沖突消解：任務(wù)沖突和資源沖突(路徑?jīng)_突和工具沖突)等 。信息交互：按交互的方式來分，可分為通訊、感知和學(xué)習(xí)。發(fā)現(xiàn)沖突找出沖突類別提出沖突解決策略制定沖突消解計(jì)劃執(zhí)行沖突消解計(jì)劃沖突類

8、別庫/解決策略庫14多機(jī)器人系統(tǒng)簡介典型多機(jī)器人系統(tǒng)ACTRESS (ACTor-based Robot and Equipments Synthetic System)：由分散的計(jì)算機(jī)、機(jī)器人以及其它專用設(shè)備(Robotor)構(gòu)成，通過設(shè)計(jì)一定的協(xié)議使得彼此實(shí)現(xiàn)信息交互。15多機(jī)器人系統(tǒng)簡介典型多機(jī)器人系統(tǒng)CEBOT (Cellular roBOTic System)：將系統(tǒng)中眾多相同或不同功能的機(jī)器人視為細(xì)胞元，根據(jù)任務(wù)或環(huán)境的變化，這些細(xì)胞元機(jī)器人可以自組織成器官化機(jī)器人，多個(gè)器官化機(jī)器人可以進(jìn)一步自組織形成功能更加復(fù)雜的機(jī)器人系統(tǒng)。細(xì)胞結(jié)構(gòu)機(jī)器人系統(tǒng)強(qiáng)調(diào)單元體的組合如何根據(jù)任務(wù)和環(huán)境的

9、要求動態(tài)重構(gòu)。 16多機(jī)器人系統(tǒng)簡介典型多機(jī)器人系統(tǒng)Collective Robotics：對昆蟲社會的一種人工模擬，是將許多簡單的機(jī)器人組織成一個(gè)團(tuán)體來完成一些有意義的工作，機(jī)器人系統(tǒng)沒有全局的整體控制。是典型的群智能機(jī)器人系統(tǒng)。 17多機(jī)器人系統(tǒng)簡介典型多機(jī)器人系統(tǒng)The Nerd Herd：由20個(gè)機(jī)器人組成，機(jī)器人上裝有用于抓取、堆放物品的抓手，抓手上裝有紅外傳感器和接觸傳感器。Socially Mobile：由4個(gè)移動機(jī)器人組成。 18多機(jī)器人系統(tǒng)簡介典型多機(jī)器人系統(tǒng)CESAR：CESAR Emperor系統(tǒng)包括一個(gè)運(yùn)輸車、四個(gè)機(jī)器人，可用于戶外作業(yè)；CESAR Nomads系統(tǒng)包括

10、四個(gè)機(jī)器人。 19多機(jī)器人系統(tǒng)簡介典型多機(jī)器人系統(tǒng)足球機(jī)器人系統(tǒng)：RoboCup仿真組比賽在一個(gè)標(biāo)準(zhǔn)的計(jì)算機(jī)環(huán)境內(nèi)進(jìn)行，運(yùn)行環(huán)境軟件Soccer Server由RoboCup委員會提供，它提供了一個(gè)虛擬的場地，允許參賽者使用各種程序語言進(jìn)行仿真足球比賽。實(shí)物組每組3臺機(jī)器人。 20多機(jī)器人系統(tǒng)簡介典型多機(jī)器人系統(tǒng)機(jī)器人手術(shù)系統(tǒng)：宙斯外科機(jī)器人由外科醫(yī)生控制臺和3條安在手術(shù)臺上的機(jī)器人手臂構(gòu)成，左右兩條機(jī)器人手臂重復(fù)外科醫(yī)生的雙臂的活動，能分別操作兩件手術(shù)器械，第三條機(jī)器人手臂提供手術(shù)區(qū)域的視圖給外科醫(yī)生。第三條手臂裝有伊索內(nèi)窺鏡定位裝置，伊索裝置是世界上第一臺獲得美國食品及藥物管理局(Food

11、 and Drug Administration, FDA)批準(zhǔn)的外科機(jī)器人。 21多機(jī)器人系統(tǒng)的模型Alliance體系結(jié)構(gòu)采用動機(jī)激活行為機(jī)器人之間進(jìn)行動機(jī)抑制機(jī)器人之間利用通訊聯(lián)結(jié)輸出由傳感信息、機(jī)器人之間的通訊與相互制約關(guān)系、內(nèi)部動機(jī)等確定22多機(jī)器人系統(tǒng)的模型分層式體系結(jié)構(gòu)系統(tǒng)監(jiān)控與任務(wù)規(guī)劃機(jī)器人之間進(jìn)行協(xié)作規(guī)劃行為控制機(jī)器人之間利用通訊聯(lián)結(jié)由行為控制層綜合傳感信息、規(guī)劃結(jié)果、其他機(jī)器人狀態(tài)等給出輸出，由執(zhí)行模塊執(zhí)行 環(huán) 境其它機(jī)器人系統(tǒng)監(jiān)控層(SML)協(xié)作規(guī)劃層(CPL)行為控制層(BCL)傳感模塊執(zhí)行模塊23多機(jī)器人系統(tǒng)的模型分層式體系結(jié)構(gòu)任務(wù)隊(duì)列任務(wù)評估任務(wù)分解任務(wù)分配 行為控

12、制層任務(wù)分解模塊協(xié)作模塊任務(wù)評估模塊知識庫任務(wù)隊(duì)列模塊任務(wù)分配模塊熟人模塊通訊模塊系統(tǒng)監(jiān)控層協(xié)作規(guī)劃層(CPL)24多機(jī)器人系統(tǒng)的模型基于環(huán)境預(yù)測和行為控制函數(shù)的控制結(jié)構(gòu)根據(jù)傳感信息產(chǎn)生行為控制函數(shù)根據(jù)傳感信息進(jìn)行環(huán)境預(yù)測根據(jù)傳感信息從行為庫中選擇行為機(jī)器人之間利用通訊聯(lián)結(jié)由行為控制層綜合傳感信息、規(guī)劃結(jié)果、其他機(jī)器人狀態(tài)等給出輸出，由執(zhí)行模塊執(zhí)行25多機(jī)器人搜集目標(biāo)描述涉及問題將散落在未知(或部分未知)環(huán)境中的物體找到并運(yùn)送到指定區(qū)域搜索：機(jī)器人尋找空間中尚未被發(fā)現(xiàn)的待搜集物收集：機(jī)器人把已經(jīng)找到的物體運(yùn)送到指定區(qū)域任務(wù)分配集中式分配(Centralized allocation): 派定分

13、配，直接為各個(gè)機(jī)器人指定任務(wù)；協(xié)議分配，按照不同機(jī)器人的供需要求，中介機(jī)器人集中實(shí)現(xiàn)任務(wù)分配協(xié)調(diào)分布式分配(Distributed allocation): 機(jī)器人個(gè)體以某種方式提供或索取“服務(wù)”，如基于“熟人模型”的任務(wù)分配和基于合同網(wǎng)的分配。26多機(jī)器人搜集基于熟人模型的任務(wù)分配(1) 機(jī)器人接收一項(xiàng)任務(wù)；(2) 在內(nèi)部各機(jī)器人技能表中選擇可完成任務(wù)的機(jī)器人；(3) 向選定的機(jī)器人發(fā)出請求；(4) 在選定的機(jī)器人接受任務(wù)時(shí)，就將任務(wù)分配給它，任務(wù)分配過程結(jié)束；若選定的機(jī)器人拒絕時(shí)，返回(2)重新選擇；若無機(jī)器人可完成該任務(wù)，則進(jìn)行間接分配；(5) 向本機(jī)器人所知的機(jī)器人發(fā)出委托請求，等待可

14、完成此任務(wù)的機(jī)器人響應(yīng)；(6) 接受所收到的第一個(gè)對此進(jìn)行響應(yīng)的機(jī)器人的確認(rèn)，將任務(wù)分配給它，同時(shí)，向其它機(jī)器人確認(rèn)任務(wù)已分配，結(jié)束任務(wù)分配過程。27多機(jī)器人搜集基于合同網(wǎng)的任務(wù)分配角色：管理員和承包人。每一個(gè)機(jī)器人可以同時(shí)以管理員和承包人的身份出現(xiàn)。特點(diǎn)：任務(wù)可以進(jìn)行動態(tài)的分配過程： (1) 管理員聲明一項(xiàng)任務(wù)；(2) 承包人得到任務(wù)的說明后依據(jù)自身的能力、工作負(fù)擔(dān)等對任務(wù)進(jìn)行評估；(3) 承包人將投標(biāo)值發(fā)送給管理員；(4) 管理員對所有收到的承包人的投標(biāo)值進(jìn)行綜合評估，選出合適的承包人訂立合同，由其來完成該項(xiàng)子任務(wù)；(5) 管理員等待承包人完成任務(wù)的結(jié)果。28多機(jī)器人搜集舉例：多機(jī)器人撿物

15、品 兩種機(jī)器人：鏟型機(jī)器人，夾型機(jī)器人 鏟型機(jī)器人：帶有鏟形工具，傳感范圍較小，一次可以攜帶兩個(gè)物品， 夾型機(jī)器人：裝有夾形工具，傳感距離相對較遠(yuǎn)，一次只能拿一個(gè)物品。 對于系統(tǒng)中某個(gè)機(jī)器人來說，它并不需要了解其它機(jī)器人在任意時(shí)刻的行為，如果其它機(jī)器人出現(xiàn)在它的傳感范圍之內(nèi)，則會被當(dāng)作移動的障礙物處理。29多機(jī)器人搜集多機(jī)器人撿物品的任務(wù)分配狀 態(tài)自由避障完畢選擇搜集目標(biāo)完畢遇到障礙物發(fā)現(xiàn)待搜集物抵達(dá)搜集目標(biāo)抓住搜集物失去搜集目標(biāo)到達(dá)投遞區(qū)方案一：同構(gòu)算法，搜集任務(wù)沒有被分解，每個(gè)機(jī)器人參加整個(gè)過程。 行 為漫游避障選擇搜集目標(biāo)向搜集目標(biāo)運(yùn)動抓起搜集物向投遞區(qū)運(yùn)動投遞漫 游選搜集目標(biāo)向搜集目標(biāo)

16、運(yùn)動發(fā)現(xiàn)待搜集物選擇搜集目標(biāo)完畢失去搜集目標(biāo)避 障向投遞區(qū)運(yùn)動投 遞抓起搜集物避障完畢避障完畢遇到障礙物遇到障礙物自由抵達(dá)搜集目標(biāo)遇到障礙物避障完畢抓住搜集物到達(dá)投遞區(qū)30多機(jī)器人搜集多機(jī)器人撿物品的任務(wù)分配方案二：異構(gòu)算法，搜集任務(wù)被分解為搜索和收集，每個(gè)機(jī)器人參加一個(gè)子任務(wù)。 狀 態(tài)選擇完畢報(bào)告完畢預(yù)定失敗搜尋失敗*有待搜集物*無待搜集物行 為選擇預(yù)定報(bào)告*選擇子任務(wù)選擇子任務(wù)搜尋失敗沒有待搜集物漫 游報(bào) 告避 障發(fā)現(xiàn)待搜集物自 由避障完畢遇到障礙搜索算法有待搜集物向搜集目標(biāo)運(yùn)動向投遞區(qū)運(yùn)動抓起搜集物投 遞選擇完畢預(yù)定完畢遇到障礙遇到障礙避障完畢避障完畢自由到達(dá)投遞區(qū)抓住搜集物抵達(dá)搜集目標(biāo)

17、預(yù)定失敗收集算法選 擇預(yù) 定避障避障子任務(wù)切換算法31多機(jī)器人搜集多機(jī)器人撿物品仿真鏟型機(jī)器人待搜集物夾型機(jī)器人指定投遞區(qū)32多機(jī)器人搜集多機(jī)器人撿物品仿真鏟型機(jī)器人從事收集工作的概率 夾型機(jī)器人從事收集工作的概率 采用同構(gòu)算法的機(jī)器人效率較低。合理的分解分配任務(wù)有助于提高異構(gòu)多機(jī)器人系統(tǒng)的工作質(zhì)量。考慮機(jī)器人自身的能力，有利于提高完成工作的效率。 33多機(jī)器人隊(duì)形控制目標(biāo)描述涉及問題一組機(jī)器人按照規(guī)定的隊(duì)形從一個(gè)位置運(yùn)動到另一個(gè)位置?？捎糜跈C(jī)器人協(xié)作搬運(yùn)。 Leader：主機(jī)器人，運(yùn)動路徑依其為參考進(jìn)行規(guī)劃 Follower：從機(jī)器人，跟隨Leader按照隊(duì)形約束進(jìn)行規(guī)劃運(yùn)動規(guī)劃問題避障問題

18、通過狹窄空間問題協(xié)調(diào)問題34多機(jī)器人隊(duì)形控制基于行為的隊(duì)形保持采用奔向目標(biāo)、保持隊(duì)形、切線避碰、隨機(jī)擾動 4種行為實(shí)現(xiàn)隊(duì)形保持，使一組機(jī)器人按照規(guī)定的隊(duì)形從一個(gè)位置運(yùn)動到另一個(gè)位置。 奔向目標(biāo)：該行為使Leader奔向目標(biāo) 保持隊(duì)形：Follower跟隨Leader按照隊(duì)形約束進(jìn)行規(guī)劃曹志強(qiáng)，未知環(huán)境下多機(jī)器人協(xié)調(diào)與控制的隊(duì)形問題研究，博士論文35多機(jī)器人隊(duì)形控制基于行為的隊(duì)形保持 切線避碰：沿與障礙物的內(nèi)切線方向運(yùn)動，以便避障。 隨機(jī)擾動：當(dāng)機(jī)器人連續(xù)幾步不能運(yùn)動時(shí)，加入隨機(jī)擾動以克服死鎖?？蛇x運(yùn)動方向36多機(jī)器人隊(duì)形控制基于行為的隊(duì)形保持 行為決策：C1: 發(fā)生死鎖C2: 無障礙C3: 與障礙物間距離偏小C4: 已繞過靜態(tài)障礙37多機(jī)器人隊(duì)形控制基于行為的隊(duì)形保持 協(xié)調(diào)策略：當(dāng)Leader沒有遇到障礙，但Follo