《ROS原理與技術(shù)應(yīng)用》能力模塊六掌握視覺(jué)傳感器的應(yīng)用方法

任務(wù)三實(shí)現(xiàn)車(chē)道線識(shí)別與巡線功能導(dǎo)入在智能網(wǎng)聯(lián)汽車(chē)研發(fā)生產(chǎn)過(guò)程中，車(chē)道線的識(shí)別為汽車(chē)自動(dòng)駕駛提供了關(guān)鍵的輔助功能。假設(shè)你是一位自動(dòng)駕駛的調(diào)試人員，你需要完成車(chē)道檢測(cè)。目錄

CONTENTS0102車(chē)道檢測(cè)技術(shù)智慧貓車(chē)道識(shí)別新授一、車(chē)道檢測(cè)技術(shù)在自動(dòng)駕駛的環(huán)境感知中，汽車(chē)需要感知不同顏色、不同光線下的車(chē)道線，通過(guò)車(chē)道檢測(cè)技術(shù)指導(dǎo)汽車(chē)在正確的區(qū)域內(nèi)行駛（如圖6-3-1所示）。車(chē)道檢測(cè)技術(shù)為自動(dòng)駕駛汽車(chē)實(shí)現(xiàn)自動(dòng)巡航、自動(dòng)保持車(chē)速與車(chē)道位置等行為提供了參考依據(jù)，同時(shí)也能在汽車(chē)即將偏離車(chē)道時(shí)為駕駛員提供預(yù)警，提升汽車(chē)安全駕駛性能。一、車(chē)道檢測(cè)技術(shù)車(chē)道檢測(cè)的目標(biāo)主要是檢測(cè)車(chē)道線的形狀，車(chē)道的形狀包括寬度和曲率等幾何參數(shù)。在正式的車(chē)道檢測(cè)之前，需要完成攝像頭校準(zhǔn)，用于一處鏡頭畸變帶來(lái)的影響，該步驟通過(guò)任務(wù)二的攝像頭標(biāo)定操作即可實(shí)現(xiàn)。利用攝像頭進(jìn)行車(chē)道識(shí)別的算法步驟主要包括圖像預(yù)處理、車(chē)道線檢測(cè)、計(jì)算車(chē)道中線完成車(chē)輛定位，實(shí)現(xiàn)效果過(guò)程如圖所示。（a)原圖（b)灰度變換（c)高斯平滑（d)邊緣檢測(cè)（e)邊緣過(guò)濾（f)車(chē)道識(shí)別一、車(chē)道檢測(cè)技術(shù)在機(jī)器視覺(jué)領(lǐng)域中，圖像預(yù)處理是在進(jìn)行內(nèi)容識(shí)別前的關(guān)鍵一步，目的是在圖像中排除一下干擾因素，提取需要檢測(cè)對(duì)象的關(guān)鍵信息，其主要是通過(guò)顏色變化和梯度來(lái)生成一個(gè)具有過(guò)濾閾值的二值化圖像，讓檢測(cè)目標(biāo)更加突出，提高檢測(cè)的精準(zhǔn)度智慧貓的車(chē)道線識(shí)別的主要流程如下：1234通過(guò)調(diào)用OpenCV庫(kù)中的函數(shù)capture.open()，來(lái)打開(kāi)攝像頭，并獲取車(chē)道線的圖像通過(guò)函數(shù)capture.set（）來(lái)設(shè)定獲取圖像窗口的大小、圖像的幀率、圖像的格式對(duì)獲取的圖像灰度處理，和二值化處理，找出圖像中最左側(cè)的車(chē)道線和最右側(cè)的車(chē)道線，并計(jì)算出車(chē)道線的中線根據(jù)車(chē)道線中線數(shù)據(jù)，計(jì)算出前方車(chē)道線中線的斜率，進(jìn)而判斷智慧貓應(yīng)該往哪個(gè)方向行走二、智慧貓車(chē)道識(shí)別在智慧貓中啟動(dòng)車(chē)道線識(shí)別的功能，主要是利用track_detection.launch文件調(diào)用相關(guān)節(jié)點(diǎn)實(shí)現(xiàn)。track_detection.launch文件的控制過(guò)程是通過(guò)調(diào)用arduino.launch啟動(dòng)了底盤(pán)通信節(jié)點(diǎn)，同時(shí)啟動(dòng)車(chē)道線檢測(cè)節(jié)點(diǎn)Track_Detection_node。直接調(diào)用車(chē)道線檢測(cè)節(jié)點(diǎn)Track_Detection_node時(shí)將攝像頭拍攝圖像中的道路轉(zhuǎn)化成一條線引導(dǎo)小車(chē)前行。車(chē)道線經(jīng)過(guò)二值化處理，與周邊路面的顏色對(duì)比鮮明（避免攝像頭捕獲的圖像中沒(méi)有與車(chē)道線相同的顏色，否則容易對(duì)車(chē)道線的識(shí)別產(chǎn)生干擾）。正常情況下，識(shí)別的車(chē)道線為黑色，地面為白色，處理后的圖像會(huì)在車(chē)道線的中間顯示一條中線（如圖所示）。二、智慧貓車(chē)道識(shí)別轉(zhuǎn)彎的時(shí)候，按照設(shè)置的PID參數(shù)限制速度，盡量鋪設(shè)的車(chē)道線在轉(zhuǎn)彎處為直角。下面將介紹如何利用該功能包來(lái)實(shí)現(xiàn)車(chē)道識(shí)別及車(chē)道保持的功能。深度攝像頭跟隨主要使用的是track_detection.launch文件，該文件的主要內(nèi)容如下：該節(jié)點(diǎn)的主要參數(shù)如表所示任務(wù)實(shí)施一、任務(wù)準(zhǔn)備（一）軟件、硬件準(zhǔn)備（二）安全要求及注意事項(xiàng)1.安裝好ROS系統(tǒng)電腦一臺(tái)；

2.行云橋智慧貓一臺(tái)；3.車(chē)道線場(chǎng)景一套；

智慧貓電量是否充足01智慧貓的單目攝像頭是否被遮擋02車(chē)道場(chǎng)景是否按要求布置完善03實(shí)施步驟有：二、實(shí)施步驟

1

2

3

4

5

6

打開(kāi)新的終端，遠(yuǎn)程登錄到智慧貓主機(jī)啟動(dòng)底盤(pán)通信節(jié)點(diǎn)啟動(dòng)跟隨節(jié)點(diǎn)啟動(dòng)可視化工具啟動(dòng)底盤(pán)功能包問(wèn)題調(diào)試方法二、實(shí)施步驟（一）創(chuàng)建工作空間并初始化

步驟1：首先打開(kāi)新的終端，遠(yuǎn)程登錄到智慧貓主機(jī)

首先打開(kāi)新的終端，遠(yuǎn)程登錄到智慧貓主機(jī)二、實(shí)施步驟（一）創(chuàng)建工作空間并初始化

步驟2：?jiǎn)?dòng)底盤(pán)通信節(jié)點(diǎn)

啟動(dòng)底盤(pán)通信節(jié)點(diǎn)底盤(pán)通信節(jié)點(diǎn)正確啟動(dòng)后，顯示如圖所示二、實(shí)施步驟（一）創(chuàng)建工作空間并初始化

步驟3：?jiǎn)?dòng)跟隨節(jié)點(diǎn)

啟動(dòng)跟隨節(jié)點(diǎn)正確啟動(dòng)節(jié)點(diǎn)后如圖所示：二、實(shí)施步驟（一）創(chuàng)建工作空間并初始化

步驟4：?jiǎn)?dòng)可視化工具

啟動(dòng)可視化工具指令：?jiǎn)?dòng)可視化節(jié)點(diǎn)后，如圖所示，可以看到彩色圖像和二值化圖像。車(chē)道線檢測(cè)是通過(guò)圖像二值化來(lái)實(shí)現(xiàn)的，因此需要車(chē)道線與周邊路面的顏色對(duì)比鮮明。二、實(shí)施步驟（一）創(chuàng)建工作空間并初始化

步驟5：?jiǎn)?dòng)底盤(pán)

查詢底盤(pán)移動(dòng)控制參數(shù)：返回值可能為“true”或“false”，如果為“false”，如圖所示，則設(shè)置底盤(pán)移動(dòng)參數(shù)為“true”，設(shè)置命令如下:當(dāng)StartMove設(shè)置為true時(shí)，機(jī)器人開(kāi)始沿著車(chē)道線防線行駛。在行進(jìn)過(guò)程中，可以調(diào)節(jié)轉(zhuǎn)彎的參數(shù)MaxKP，MixKP來(lái)使小車(chē)更好的通過(guò)彎道。參數(shù)越大，轉(zhuǎn)彎半徑也會(huì)增大。二、實(shí)施步驟（一）創(chuàng)建工作空間并初始化

步驟6：功能包問(wèn)題調(diào)試方法

當(dāng)遇到功能包無(wú)法正常運(yùn)行的情況，可以按照如下方法進(jìn)行問(wèn)題的排查：查看所有節(jié)點(diǎn)是否正常運(yùn)行：當(dāng)前運(yùn)行節(jié)點(diǎn)顯示圖命令執(zhí)行后，將會(huì)顯示當(dāng)前運(yùn)行的所有節(jié)點(diǎn)，如圖所示二、實(shí)施步驟（一）創(chuàng)建工作空間并初始化

步驟6：功能包問(wèn)題調(diào)試方法

在節(jié)點(diǎn)圖中，具體指令含義：“/Track_Detection_node”是攝像頭跟隨節(jié)點(diǎn)，“/arduino”是底盤(pán)節(jié)點(diǎn)，“/joint_state_publisher”節(jié)點(diǎn)是小車(chē)關(guān)節(jié)狀態(tài)發(fā)布節(jié)點(diǎn)，“/robot_state_publisher”節(jié)點(diǎn)是小車(chē)內(nèi)部各組成部分的坐標(biāo)轉(zhuǎn)換發(fā)布節(jié)點(diǎn)，“/rosout”是接收所有節(jié)點(diǎn)信息輸出的節(jié)點(diǎn)，“/rviz”是rviz可視化工具節(jié)點(diǎn)。二、實(shí)施步驟（一）創(chuàng)建工作空間并初始化

步驟6：功能包問(wèn)題調(diào)試方法

確認(rèn)節(jié)點(diǎn)都正常啟動(dòng)后，能夠在可視化節(jié)點(diǎn)中可以看到有兩副圖像。圖的上半部分是彩色圖像，訂閱的話題是“/camera/rgb”，下半部分是黑白圖像，訂閱的話題是“/camera/image”。如果圖像沒(méi)有顯示，則表明攝像頭沒(méi)有正確驅(qū)動(dòng)，需要核對(duì)下攝像頭是否正確連接。

如果圖像顯示節(jié)點(diǎn)正常，將小車(chē)放置到車(chē)道線上，然后設(shè)置底盤(pán)運(yùn)動(dòng)控制參數(shù)“/Tr