第十二章案例應(yīng)用12.2無(wú)人駕駛車(chē)ApolloRT6目錄/CONTENTS01ApolloRT6進(jìn)化史02ApolloRT6無(wú)人駕駛車(chē)工作原理03ApolloRT6無(wú)人駕駛車(chē)整車(chē)全冗余系統(tǒng)技術(shù)04Apollo星河平臺(tái)技術(shù)05案例--采用YOLO算法檢測(cè)小轎車(chē)ApolloRT6進(jìn)化史01項(xiàng)目啟動(dòng)2013年，百度公司啟動(dòng)無(wú)人駕駛汽車(chē)項(xiàng)目，開(kāi)啟智能交通探索之旅。阿波龍落地2018年10月，首臺(tái)阿波龍無(wú)人駕駛小巴在武漢龍靈山公園投入運(yùn)營(yíng)，邁出商業(yè)化第一步。技術(shù)迭代2019年8月，第二代阿波龍亮相重慶智博會(huì)，2021年2月，廣州黃埔區(qū)推出自動(dòng)駕駛MaaS平臺(tái)，技術(shù)不斷升級(jí)。RT6發(fā)布2022年7月，第六代無(wú)人車(chē)ApolloRT6(如右圖所示)發(fā)布，成本僅25萬(wàn)元，刷新量產(chǎn)無(wú)人車(chē)成本紀(jì)錄，開(kāi)啟大規(guī)模商用新階段。從阿波龍到RT6的六年躍遷ApolloRT6無(wú)人駕駛車(chē)工作原理02和國(guó)外的自動(dòng)駕駛車(chē)相比，ApolloRT6無(wú)人駕駛車(chē)最大的特點(diǎn)在于自身可以智能感知周?chē)h(huán)境并做出相應(yīng)的精確反應(yīng)，最終完成自動(dòng)到達(dá)目的地的使命。ApolloRT6無(wú)人駕駛車(chē)完成無(wú)人駕駛行為，需要經(jīng)過(guò)高精定位、智能感知、決策規(guī)劃、執(zhí)行控制四個(gè)步驟，如圖1所示。ApolloRT6無(wú)人駕駛車(chē)工作原理圖1百度ApolloRT6無(wú)人駕駛汽車(chē)工作原理示意圖ApolloRT6無(wú)人駕駛車(chē)整車(chē)全冗余系統(tǒng)技術(shù)03ApolloRT6無(wú)人駕駛車(chē)整車(chē)全冗余系統(tǒng)技術(shù)作為Apollo最新一代無(wú)人駕駛系統(tǒng)，ApolloRT6具備更強(qiáng)的4級(jí)——高級(jí)自動(dòng)駕駛能力，全車(chē)配備了38個(gè)車(chē)外傳感器，包含8個(gè)激光雷達(dá)、6個(gè)毫米波雷達(dá)、12個(gè)超聲波雷達(dá)、12個(gè)攝像頭等設(shè)備。百度ApolloRT6無(wú)人駕駛汽車(chē)如圖2所示。圖2百度ApolloRT6無(wú)人駕駛汽車(chē)ApolloRT6無(wú)人駕駛車(chē)整車(chē)全冗余系統(tǒng)技術(shù)為了支撐這些傳感器設(shè)備，百度ApolloRT6提升了算力水平，匹配算力達(dá)到1

200tops(TeraOperationsPerSecond，處理器運(yùn)算能力單位)。在多傳感器融合、高計(jì)算力的背后，百度的核心目標(biāo)是真正實(shí)現(xiàn)無(wú)人駕駛車(chē)量產(chǎn)。為了保證整車(chē)安全，ApolloRT6主要從硬件和軟件兩個(gè)層面來(lái)實(shí)現(xiàn)整車(chē)全冗余。①硬件方面有七重全冗余整車(chē)系統(tǒng)，包括架構(gòu)冗余、傳感器冗余、計(jì)算單元冗余、制動(dòng)系統(tǒng)冗余、轉(zhuǎn)向系統(tǒng)冗余、電源冗余及行業(yè)首創(chuàng)的雙5G通信冗余。②軟件方面搭載了整車(chē)+自動(dòng)駕駛系統(tǒng)一體的故障診斷及風(fēng)險(xiǎn)降級(jí)體系。Apollo星河平臺(tái)架構(gòu)04平臺(tái)理念星河平臺(tái)將人工智能、自動(dòng)駕駛技術(shù)與車(chē)輛工程深度融合，涵蓋線(xiàn)控底盤(pán)、域控制器、傳感器套件及軟件棧?？焖傺邪l(fā)支持快速衍生不同場(chǎng)景車(chē)型，通過(guò)模塊化設(shè)計(jì)縮短研發(fā)周期、降低邊際成本，推動(dòng)無(wú)人駕駛商業(yè)化。Apollo星河平臺(tái)架構(gòu)圖3星河平臺(tái)整體框架圖YOLO算法檢測(cè)案例05YOLO算法原理簡(jiǎn)介YOLO(YouOnlyLookOnce)是目標(biāo)檢測(cè)的主流算法，即只需要看一次圖像就可以識(shí)別出圖像中的物體類(lèi)別和位置信息。經(jīng)過(guò)美國(guó)UItralytics公司的深入研究和不斷更新，YOLO算法已升級(jí)到Y(jié)OLOv8版本，并于2023年1月10日發(fā)布，它可以完成圖像分類(lèi)、物體檢測(cè)、實(shí)例分割等任務(wù)。YOLO算法也是基于監(jiān)督學(xué)習(xí)算法，每張圖像的監(jiān)督信息是它所包含的每個(gè)物體的5個(gè)特征值，包括物體的中心位置(x,y)、高(h)、寬(w)及物體類(lèi)別信息。YOLO算法的檢測(cè)是基于整張圖像的，并且會(huì)一次性輸出所有檢測(cè)到的目標(biāo)類(lèi)別、目標(biāo)位置等信息。而在YOLO之前，常用的算法是先通過(guò)不同尺寸大小的窗口在圖像上進(jìn)行滑動(dòng)，對(duì)每個(gè)物體進(jìn)行檢測(cè)和識(shí)別，通過(guò)設(shè)計(jì)不同大小的窗口，讓這些窗口按照最小的步長(zhǎng)滑動(dòng)，把窗口里所有的圖像放到分類(lèi)器中一一進(jìn)行檢測(cè)。YOLO算法工作原理第1步：分割圖像。將圖像分割為aa個(gè)格子(grid)，每個(gè)格子的大小尺寸都是相等的。第2步：每個(gè)格子生成一個(gè)邊界框(boundingbox)。讓aa個(gè)格子都檢測(cè)出B個(gè)邊界框，每個(gè)邊界框都有5個(gè)特征值，分別為物體的中心位置x坐標(biāo)值、y坐標(biāo)值、高(h)、寬(w)及這次預(yù)測(cè)的置信度。每個(gè)格子有多個(gè)邊界框，但只能識(shí)別出一個(gè)物體，因此每個(gè)格子需要預(yù)測(cè)物體的類(lèi)別，而邊界框不需要。詳細(xì)地說(shuō)，我們現(xiàn)有aa個(gè)格子，每個(gè)格子有B個(gè)邊界框，如果分類(lèi)器可以識(shí)別出A種不同物體，那么整個(gè)圖像的真實(shí)數(shù)據(jù)(groundtruth)為aa(B5+A)個(gè)。圖4和圖5是一張720像素1280像素的圖像，把其分成66的格子，每個(gè)小方格尺寸為120213，小車(chē)的尺寸為121142，展示了計(jì)算x,y,w,h的真實(shí)數(shù)據(jù)的過(guò)程。YOLO算法工作原理圖4YOLO劃分格子、檢測(cè)小車(chē)圖(1)圖5YOLO劃分格子、檢測(cè)小車(chē)圖(2)YOLO算法工作原理圖6YOLO算法檢測(cè)小轎車(chē)原理圖YOLO算法檢測(cè)小轎車(chē)的工作原理如圖6所示。BDD100K數(shù)據(jù)集簡(jiǎn)介2018年，美國(guó)加州大學(xué)伯克利分校AI實(shí)驗(yàn)室發(fā)布了計(jì)算機(jī)視覺(jué)領(lǐng)域到目前為止規(guī)模最大、最多樣化的開(kāi)源視頻數(shù)據(jù)集——BDD100K數(shù)據(jù)集。該數(shù)據(jù)集由10萬(wàn)個(gè)視頻組成，每個(gè)視頻大約長(zhǎng)40s，分辨率為720P，幀速率為30fps，總時(shí)長(zhǎng)超過(guò)1100小時(shí)。視頻序列還包括GPS位置、IMU數(shù)據(jù)和時(shí)間戳，視頻帶有由手機(jī)記錄的GPS/IMU信息，以顯示粗略的駕駛軌跡。這些視頻來(lái)自美國(guó)不同地區(qū)、不同的天氣狀況、不同時(shí)間段的場(chǎng)景。該實(shí)驗(yàn)室還對(duì)每個(gè)視頻第10s的關(guān)鍵視頻幀進(jìn)行采樣，得到10萬(wàn)張圖片(圖片尺寸為1280像素720像素)，并對(duì)每張圖片標(biāo)注被檢測(cè)對(duì)象中心x坐標(biāo)、y坐標(biāo)、高度、寬度和置信度特征值。BDD100K數(shù)據(jù)集中的12張數(shù)據(jù)圖如圖7所示，數(shù)據(jù)集與當(dāng)前主流數(shù)據(jù)集的對(duì)比詳見(jiàn)表1。BDD100K數(shù)據(jù)集簡(jiǎn)介圖7BDD100K數(shù)據(jù)集中的12張數(shù)據(jù)圖表1顯示了BDD100K數(shù)據(jù)集和當(dāng)前主流數(shù)據(jù)集的對(duì)比結(jié)果YOLO算法檢測(cè)小車(chē)案例考慮到該數(shù)據(jù)集數(shù)據(jù)量巨大、需要較高的計(jì)算機(jī)配置等因素，特從該數(shù)據(jù)集中選取1000張圖像數(shù)據(jù)，按照7∶2∶1的比例進(jìn)行訓(xùn)練、驗(yàn)證和測(cè)試實(shí)驗(yàn)。其中，700張圖像數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)集，200張圖像數(shù)據(jù)作為驗(yàn)證數(shù)據(jù)集，100張圖像數(shù)據(jù)作為測(cè)試樣本集。YOLO夜晚場(chǎng)景小車(chē)檢測(cè)實(shí)景如圖8所示。

圖8YOLO夜晚場(chǎng)景小車(chē)檢測(cè)實(shí)景圖YOLO算法檢測(cè)小車(chē)案例小車(chē)檢測(cè)詳細(xì)步驟如下:第1步：隨機(jī)選取1

000張圖像數(shù)據(jù)，分配700張圖像作為訓(xùn)練數(shù)據(jù)集，選取200張圖像作為驗(yàn)證數(shù)據(jù)集，剩下100張圖像作為測(cè)試樣本集。第2步：對(duì)700張圖像數(shù)據(jù)進(jìn)行訓(xùn)練，訓(xùn)練