汽車智能傳感器技術(shù)與應(yīng)用微課教學(xué)設(shè)計(jì),,,,,

微課名稱,項(xiàng)目七任務(wù)2：激光雷達(dá)與視覺傳感器的聯(lián)合標(biāo)定,,,,

視頻長度,10min,,,,

知識點(diǎn)描述,視覺傳感器與激光雷達(dá)標(biāo)定的目的、視覺傳感器與Robosense-16線激光雷達(dá)聯(lián)合標(biāo)定外參,,,,

重難點(diǎn),視覺傳感器與Robosense-16線激光雷達(dá)聯(lián)合標(biāo)定外參,,,,

教學(xué)類型,知識原理類、操作技能類,,,,

設(shè)計(jì)思路,配合ppt的講解分成四部分知識講解，視覺傳感器與激光雷達(dá)標(biāo)定的目的、視覺傳感器與Robosense-16線激光雷達(dá)聯(lián)合標(biāo)定外參。明確工作任務(wù)，引導(dǎo)學(xué)生學(xué)習(xí)，并在任務(wù)完成后掌握視覺傳感器與Robosense-16線激光雷達(dá)聯(lián)合標(biāo)定外參,,,,

,,,,,,

課程結(jié)構(gòu),畫面內(nèi)容,字幕,景別鏡頭,教學(xué)目的,備注

課程導(dǎo)入,教師出鏡+PPT2,現(xiàn)階段，大多數(shù)無人駕駛平臺都使用“激光雷達(dá)+視覺傳感器”的方案解決對環(huán)境的感知。某公司自動駕駛團(tuán)隊(duì)在無人車對環(huán)境感知領(lǐng)域不夠全面且不夠靈敏，經(jīng)常出現(xiàn)偏差，工程師提供了激光雷達(dá)與視覺傳感器配合感知的方案，你的領(lǐng)導(dǎo)安排你對激光雷達(dá)與視覺傳感器進(jìn)行聯(lián)合標(biāo)定，你應(yīng)該如何完成這個任務(wù)呢?,教師出鏡+PPT2,明確工作任務(wù)，導(dǎo)入本節(jié)課內(nèi)容,

學(xué)習(xí)目標(biāo),教師出鏡+PPT3,"首先，我們需要知道，我們今天這個任務(wù)的知識目標(biāo)是：

1.了解視覺傳感器標(biāo)定概念與方法；

2.了解激光雷達(dá)與視覺傳感器聯(lián)合的意義及方法。而我們所要能夠掌握的技能目標(biāo)是：

1.能掌握激光雷達(dá)與視覺傳感器聯(lián)合標(biāo)定外部參數(shù)（外參）的操作技能。",教師出鏡+PPT3,明確學(xué)習(xí)目的，調(diào)動學(xué)生學(xué)習(xí)的積極性,

視覺傳感器與激光雷達(dá)標(biāo)定的目的,教師出鏡+PPT4,在圖像測量過程以及機(jī)器視覺應(yīng)用中，為確定空間物體表面某點(diǎn)的三維幾何位置與其在圖像中對應(yīng)點(diǎn)之間的相互關(guān)系，必須建立相機(jī)成像的幾何模型，這些幾何模型參數(shù)就是相機(jī)參數(shù)。在大多數(shù)條件下這些參數(shù)必須通過實(shí)驗(yàn)與計(jì)算才能得到，這個求解參數(shù)的過程就稱之為相機(jī)標(biāo)定（或攝像機(jī)標(biāo)定）。,教師出鏡+PPT4,,

,教師出鏡+PPT6,激光雷達(dá)外部安裝參數(shù)的標(biāo)定，通常采用等腰直角三角標(biāo)定板和正方形標(biāo)定板來完成。需要標(biāo)定的激光雷達(dá)的安裝參數(shù)包括激光雷達(dá)的俯仰角與側(cè)傾角等。其他較好的標(biāo)定方法還包括交互信息最大化外部自動標(biāo)定法。,教師出鏡+PPT6,講解激光雷達(dá)標(biāo)定的意義,

,教師出鏡+PPT7,單一傳感器即便功能再強(qiáng)大，但仍然存在局限性，為了提高系統(tǒng)的穩(wěn)健性，因此，采取多傳感器融合的方案，融合又包含不同傳感器的時間同步（統(tǒng)一時間基準(zhǔn)）和空間同步（統(tǒng)一空間坐標(biāo)）。,教師出鏡+PPT7,,

視覺傳感器與Robosense-16線激光雷達(dá)聯(lián)合標(biāo)定外參,顯示全部設(shè)備,設(shè)備工具包括防護(hù)用品：工作服、安全帽、工作手套；實(shí)訓(xùn)平臺；標(biāo)定板；絕緣墊、無紡布。,中景掃過全部工具和設(shè)備,介紹設(shè)備和工具，規(guī)范學(xué)生操作，養(yǎng)成學(xué)生實(shí)操時安全防護(hù)意識,

,視覺傳感器與Robosense-16線激光雷達(dá)聯(lián)合標(biāo)定外參的具體實(shí)操內(nèi)容+教師進(jìn)行操作,聯(lián)合標(biāo)定要準(zhǔn)備標(biāo)定板和錄制Bag包，標(biāo)定板用的也是內(nèi)參標(biāo)定的棋盤格標(biāo)定板，另外，還需要在汽車傳感與感知實(shí)訓(xùn)系統(tǒng)應(yīng)用實(shí)訓(xùn)臺上錄制激光雷達(dá)和視覺傳感器的Bag數(shù)據(jù)包，用于標(biāo)定工具的話題輸入。,錄屏,規(guī)范學(xué)生操作，養(yǎng)成學(xué)生實(shí)操時安全防護(hù)意識,

,,"啟動視覺傳感器驅(qū)動

1）在虛擬機(jī)窗口上方選擇并連接攝像頭（如果在前面內(nèi)參標(biāo)定結(jié)束后斷開了攝像頭與主機(jī)的連接，則需要重新連接攝像頭；若沒有斷開連接，則無需重復(fù)操作此步驟）；

（2）在窗口空白區(qū)域內(nèi)單擊鼠標(biāo)右鍵，然后選擇“打開終端”；

（3）在終端窗口區(qū)域內(nèi)輸入并執(zhí)行以下命令，以運(yùn)行ROS主節(jié)點(diǎn)（注意運(yùn)行完畢后，勿結(jié)束此命令）;

roscore

（4）再次在窗口空白區(qū)域內(nèi)單擊鼠標(biāo)右鍵，然后選擇“打開終端”新建一個終端，輸入并執(zhí)行以下命令啟動攝像頭驅(qū)動，打開攝像頭畫面。

roslaunchusb_camusb_cam-test.launch",,通過視頻教學(xué)進(jìn)行示范性教學(xué)，學(xué)生可以學(xué)到直接用于操作的實(shí)用技能,

,,"啟動激光雷達(dá)驅(qū)動

（1）單擊“文件”→“HOME”→“ros+cam+lidar”→“l(fā)s16_ws”，進(jìn)入文件夾后，在文件夾內(nèi)空白處新建一個終端，輸入并執(zhí)行以下命令刷新一下工作空間的環(huán)境：

sourcedevel/setup.bash

（2）再輸入并執(zhí)行以下命令啟動激光雷達(dá)驅(qū)動，打開激光雷達(dá)點(diǎn)云的可視化界面。

roslaunchlslidar_c16_decoderlslidar_c16.launch",錄屏,,

,,"錄制視覺傳感器與激光雷達(dá)數(shù)據(jù)包

1）在RVIZ界面添加攝像頭話題，單擊界面左下角的“Add”按鈕，在彈出的對話框中選擇“Bytopic”→“/usb_cam”→“/image_raw”→“image”，再單擊右下角的“OK”，此時在RVIZ界面左下角窗口會出現(xiàn)攝像頭的畫面。

2）新建一個終端，輸入并執(zhí)行以下命令，錄制bag包。

rosbagrecord-Ocamera_rslidar_calibration0916.bag/usb_cam/image_raw/rslidar_points#指定包名

3）錄制時，注意以下幾點(diǎn)：

整個錄制過程，標(biāo)定板的位置需保證在激光雷達(dá)和攝像頭的視野范圍內(nèi)。且需要平穩(wěn)移動，速度不宜過快。

4）錄制完成后，在終端按下“Ctrl+C”鍵結(jié)束錄制，然后在“文件”->“Home”目錄下找出錄制的文件（文件里包含了激光雷達(dá)點(diǎn)云，攝像頭圖像信息等數(shù)據(jù)）。

5）為了避免后續(xù)播放Bag包時發(fā)生沖突，因此在回放Bag包前，需要按下“Ctrl+C”鍵結(jié)束啟動攝像頭驅(qū)動的命令，以關(guān)閉攝像頭實(shí)時窗口。另外還需斷開激光雷達(dá)電源。

（2）回放數(shù)據(jù)包

1）輸入并執(zhí)行以下命令回放Bag包，其中，命令中“--pause”含義：剛啟動時處于暫停播放狀態(tài)，按空格可以切換播放狀態(tài)（暫停播放和播放兩種狀態(tài)）。

rosbagplay--pausecamera_rslidar_calibration0916.bag",錄屏,,