單元6-1自動駕駛仿真系統(tǒng)構(gòu)成與仿真軟件介紹CATALOGUE目錄6.1.1自動駕駛仿真系統(tǒng)構(gòu)成6.1.2自動駕駛仿真軟件介紹016.1.1自動駕駛仿真系統(tǒng)構(gòu)成隨著汽車智能化提升，傳統(tǒng)研發(fā)受外界環(huán)境影響和試驗(yàn)安全制約，難以有效地開展，需要大規(guī)?？蓴U(kuò)展的模擬測試服務(wù)，自動駕駛仿真測試應(yīng)運(yùn)而生。自動駕駛仿真測試?yán)脗鞲衅?、車輛動力學(xué)、交通流等模擬技術(shù)，構(gòu)建真實(shí)駕駛場景，通過算法添加實(shí)現(xiàn)智能網(wǎng)聯(lián)汽車測試，提高測試效率，節(jié)約成本，無安全風(fēng)險。自動駕駛仿真1.自動駕駛仿真定義2.自動駕駛仿真系統(tǒng)構(gòu)成模型在環(huán)測試仿真模型在環(huán)測試仿真是指采用模擬駕駛場景、車輛動力學(xué)模型、傳感器模型、決策規(guī)劃算法進(jìn)行虛擬環(huán)境下的自動駕駛測試，主要應(yīng)用于系統(tǒng)開發(fā)的最初階段，沒有硬件參與系統(tǒng)測試，主要用于驗(yàn)證算法的正確性。硬件在環(huán)測試仿真硬件在環(huán)測試包括環(huán)境感知、決策規(guī)劃、控制執(zhí)行系統(tǒng)測試，要求持續(xù)測試、組合測試和擴(kuò)展性，確保不同標(biāo)準(zhǔn)下的駕駛場景評價及功能結(jié)果的廣泛應(yīng)用。車輛在環(huán)測試仿真車輛在環(huán)測試仿真是將整車嵌入到虛擬測試環(huán)境中進(jìn)行測試，通過模擬駕駛場景測試整車的性能，主要包括封閉場地車輛在環(huán)和轉(zhuǎn)轂平臺車輛在環(huán)，其關(guān)鍵在于將車輛信息傳遞給模擬環(huán)境以及將模擬環(huán)境中產(chǎn)生的傳感器信息傳遞給車輛控制器。自動駕駛仿真平臺自動駕駛仿真平臺需集成駕駛場景、傳感器、V2X、定位、車輛動力學(xué)仿真等功能，并與自動駕駛感知、決策控制系統(tǒng)無縫對接，形成閉環(huán)，實(shí)現(xiàn)持續(xù)迭代優(yōu)化。仿真技術(shù)核心地位在智能網(wǎng)聯(lián)汽車研發(fā)中，仿真技術(shù)貫穿傳感器開發(fā)、場景構(gòu)建、算法訓(xùn)練、控制系統(tǒng)開發(fā)、執(zhí)行機(jī)構(gòu)開發(fā)、制動轉(zhuǎn)向設(shè)計及自動駕駛系統(tǒng)開發(fā)等關(guān)鍵環(huán)節(jié)，成為開發(fā)的核心內(nèi)容。2.自動駕駛仿真系統(tǒng)構(gòu)成026.1.2自動駕駛仿真軟件介紹MS公司仿真技術(shù)領(lǐng)先：MS公司開發(fā)VehicleSim，以LISP編寫，支持多領(lǐng)域建模，衍生出CarSim、TruckSim、BikeSim，廣泛用于汽車、機(jī)器人和衛(wèi)星領(lǐng)域，享有高聲譽(yù)。CarSim主要功能與特性：分析車輛性能，支持MATLAB/Excel繪圖，圖形動畫展示結(jié)果，實(shí)時高速運(yùn)行，支持硬件在環(huán)仿真，事件處理技術(shù)，20余種車型數(shù)據(jù)庫，與simulink互調(diào)。CarSim軟件功能強(qiáng)大：CarSim針對四輪車及輕型卡車，集成圖形化數(shù)據(jù)庫、車輛數(shù)學(xué)模型、求解器、繪圖器及動畫顯示器，用于仿真分析車輛駕駛控制反應(yīng)，確保高度準(zhǔn)確性。CarSim簡化建模與控制：自帶車輛模型庫，支持參數(shù)修改，簡化建模，支持預(yù)測模型控制器與聯(lián)合仿真，分析車輛性能，驗(yàn)證控制規(guī)律，簡單、快速、精確、擴(kuò)展性好，用于控制系統(tǒng)開發(fā)。1.CarSim軟件PreScan場景搭建PreScan場景搭建包含道路、交通參與者及天氣光源編輯，支持OpenDrive高精地圖導(dǎo)入，實(shí)現(xiàn)豐富真實(shí)仿真環(huán)境構(gòu)建。PreScan多功能仿真西門子PreScan為汽車駕駛仿真平臺，基于物理模型，支持ADAS和智能汽車系統(tǒng)開發(fā)，涵蓋攝像頭、雷達(dá)等多樣功能。PreScan開放靈活PreScan集成于MATLAB，支持智能駕駛應(yīng)用模擬，靈活開放，可連接第三方汽車動力學(xué)及硬件在環(huán)模擬器，滿足ADAS及無人駕駛系統(tǒng)開發(fā)需求。2.PreScan軟件PreScan支持多種傳感器及控制系統(tǒng)集成，用戶可自定義添加，結(jié)合3D可視化查看器分析結(jié)果，支持圖片動畫生成及硬件在環(huán)仿真。傳感器與控制系統(tǒng)添加利用MATLAB和Prescan，建立智能網(wǎng)聯(lián)汽車交叉口通行聯(lián)合仿真模型，對交叉口交通進(jìn)行仿真，實(shí)現(xiàn)軟件內(nèi)部接口與控制算法的聯(lián)合仿真。Prescan與MATLAB聯(lián)合2.PreScan軟件Carmaker集成全面模型Carmaker為動力學(xué)、ADAS及自動駕駛仿真軟件，集成完整車輛動力學(xué)、新能源汽車、駕駛員、復(fù)雜交通及傳感器模型，支持自動測試。3.CarMaker軟件CarMaker聯(lián)合仿真測試作為平臺軟件，可與ADAMS、AVLCruise等第三方軟件集成，進(jìn)行聯(lián)合仿真，同時配套硬件支持ECU/傳感器，實(shí)現(xiàn)硬件在環(huán)測試。CarMaker功能強(qiáng)大Carmaker軟件支持車輛動力學(xué)、ADAS控制系統(tǒng)開發(fā)測試，涵蓋整車性能、電控單元及多種ADAS系統(tǒng)，支持國際標(biāo)準(zhǔn)測試及客戶自定義開發(fā)。仿真軟件爆發(fā)式增長智能網(wǎng)聯(lián)汽車快速發(fā)展，無人駕駛汽車成方向，自動駕駛仿真軟件爆發(fā)式增長，涵蓋傳統(tǒng)汽車動力學(xué)仿真與初創(chuàng)公司新品。仿真軟件特點(diǎn)與優(yōu)勢自動駕駛仿真軟件各具特色，優(yōu)勢互補(bǔ)，搭建完整仿真系統(tǒng)需多個軟件協(xié)同工作，涵蓋駕駛場景構(gòu)建、傳感器仿真、車輛動力學(xué)模型等。3.CarMaker軟件VTD為ADAS、主動安全和自動駕駛提供完整模塊化仿真，覆蓋道路環(huán)境、交通場景、天氣模擬、傳感器仿真等，支持全周期開發(fā)流程，可與第三方工具聯(lián)合仿真。VTD仿真工具鏈介紹VTD仿真流程包括路網(wǎng)搭建、動態(tài)場景配置和仿真運(yùn)行，支持圖形化交互式編輯器，可生成高精地圖，添加用戶自定義行為控制的交通體或連續(xù)運(yùn)行的交通流。VTD仿真流程概述VTD提供實(shí)時高質(zhì)量渲染解決方案，涵蓋光影、天氣、傳感器成像等，支持軟件、硬件及實(shí)時非實(shí)時仿真，適用于單機(jī)與高性能計算環(huán)境，滿足復(fù)雜仿真需求。VTD仿真技術(shù)特點(diǎn)4.VTD軟件010203自動駕駛仿真平臺51Sim-One是51VR公司自主研發(fā)的自動駕駛仿真與測試平臺，集多傳感器、交通流與智能體、感知決策仿真于一體，基于物理機(jī)理建模，實(shí)現(xiàn)高精度實(shí)時仿真。場景構(gòu)建與還原傳感器仿真能力5.51Sim-One軟件51Sim-One支持OpenDrive導(dǎo)入與二次編輯，可快速創(chuàng)建或還原路網(wǎng)，內(nèi)置場景庫和測試案例庫，涵蓋真實(shí)場景、城市及鄉(xiāng)村道路等，加速自動駕駛測試。支持多路通用及定制傳感器仿真，包括攝像頭、雷達(dá)等，提供語義分割圖、深度圖等帶注釋圖像數(shù)據(jù)，滿足感知系統(tǒng)算法測試與訓(xùn)練及硬件在環(huán)測試需求。動力學(xué)仿真與開放接入內(nèi)置動力學(xué)系統(tǒng)支持車輛參數(shù)自定義，包括尺寸、動力總成等，同時提供第三方動力學(xué)模塊接入能力，實(shí)現(xiàn)復(fù)雜車輛動力學(xué)仿真。測試框架與加速架構(gòu)提供批量測試管理、連續(xù)自動測試及可視化監(jiān)控，支持分布式計算集群架構(gòu)，實(shí)現(xiàn)高達(dá)10倍速的仿真加速，提升測試效率。數(shù)據(jù)分析與行業(yè)軟件整合支持可自定義數(shù)據(jù)輸出，靈活集成行業(yè)軟件，如Matlab、ROS、CarSim/CarMaker等，實(shí)現(xiàn)數(shù)據(jù)共享與功能擴(kuò)展?？刂葡到y(tǒng)解耦對接提供多種接口對接控制系統(tǒng)，支持感知、決策單獨(dú)或整體接入，滿足不同測試需求，包括Matlab、ROS、Protobuf等，實(shí)現(xiàn)人工駕駛模擬。5.51Sim-One軟件6.Vissim軟件Vissim微觀交通流仿真01Vissim是德國PTV公司的微觀交通流仿真軟件，可構(gòu)建復(fù)雜交通環(huán)境，模擬多類交通交互行為，用于城市和郊區(qū)交通設(shè)施規(guī)劃與評價。Vissim仿真精度與分析02Vissim能模擬個體及群體交通行為的高精度仿真，內(nèi)置多種分析手段，獲取具體數(shù)據(jù)結(jié)果及三維可視化引擎，支持無人駕駛算法高動態(tài)交通環(huán)境仿真測試。仿真軟件爆發(fā)式增長03智能網(wǎng)聯(lián)汽車快速發(fā)展，無人駕駛汽車成趨勢，自動駕駛仿真軟件爆發(fā)式增長，涵蓋傳統(tǒng)汽車動力學(xué)到初創(chuàng)公司新品。仿真軟件互相配合04自動駕駛仿真軟件各有特點(diǎn)和優(yōu)勢，搭建完整仿真系統(tǒng)需多個軟件互相配合，以應(yīng)對汽車研發(fā)的復(fù)雜需求。Pro-SiVIC仿真分析法國ESI集團(tuán)的Pro-SiVIC助力交通運(yùn)輸制造商虛擬測試車載感知系統(tǒng)性能，準(zhǔn)確再現(xiàn)照明、天氣及道路使用者等影響因素。7.Pro-SiVIC3D場景實(shí)時交互Pro-SiVIC能建高逼真3D場景，實(shí)現(xiàn)實(shí)時交互仿真分析，削減物理樣機(jī)需求，支持視覺傳感器、毫米波雷達(dá)等多類型傳感器模型。Pro-SiVIC應(yīng)用Pro-SiVIC廣泛應(yīng)用于道路、汽車、自適應(yīng)巡航控制、自動緊急制動、車道偏離預(yù)警、盲區(qū)監(jiān)測、照明系統(tǒng)、車燈切換及交通標(biāo)志識別。仿真操作流程PanoSim仿真操作簡捷，創(chuàng)建仿真需選道路場景設(shè)天氣；設(shè)置仿真參數(shù)需添車輛設(shè)駕駛參數(shù)，裝傳感器配交通元素；分析仿真結(jié)果。PanoSim模擬仿真平臺PanoSim集車輛動力學(xué)、環(huán)境、交通、傳感、無線通信等模型于一體，支持Matlab/Simulink與后處理，精準(zhǔn)模擬汽車駕駛環(huán)境。轎車建模與編輯PanoSim支持典型驅(qū)動型式和懸架形式的大、中、小型轎車建模，提供三維數(shù)字虛擬試驗(yàn)場景建模與編輯，支持道路及天氣等環(huán)境建模。8.PanoSim軟件9.百度Apollo仿真平臺Apollo仿真平臺百度Apollo仿真平臺支撐內(nèi)部系統(tǒng)開發(fā)迭代，為生態(tài)開發(fā)者提供云端決策系統(tǒng)仿真服務(wù)，基于百度云和Azure，支持用戶指定Apollo版本云端仿真測試。Apollo虛擬環(huán)境仿真Apollo與Unity合作，開發(fā)了基于Unity的真實(shí)感虛擬環(huán)境仿真，可提供3D的虛擬環(huán)境、道路和天氣的變化，用于自動駕駛系統(tǒng)的開發(fā)和測試。Apollo仿真場景Apollo仿真場景分Worldsim和Logsim，前者人為預(yù)設(shè)道路和障礙物，后者基于路測數(shù)據(jù)提取，反映實(shí)際交通環(huán)境，支持較完善的場景通過判別系統(tǒng)。9.百度Apollo仿真平臺Apollo仿真平臺內(nèi)容Apollo仿真平臺提供約200個場景，包括不同路型、障礙物類型、道路規(guī)劃及紅綠燈信號，全面模擬實(shí)際交通環(huán)境，支持自動駕駛算法測試。仿真軟件爆發(fā)式增長隨著智能網(wǎng)聯(lián)汽車的快速發(fā)展，無人駕駛汽車成為發(fā)展方向，汽車自動駕駛仿真軟件也出現(xiàn)爆發(fā)式地增長，這些仿真軟件有從傳統(tǒng)汽車動力學(xué)仿真軟件演化而來，也有國內(nèi)外初創(chuàng)公司推出的仿真新產(chǎn)品。仿真軟件特點(diǎn)自動駕駛仿真軟件都有各自的特點(diǎn)和優(yōu)勢，搭建一個完整的仿真系統(tǒng)也越來越需要多個軟件互相之間的配合，典型的自動駕駛仿真軟件或平臺應(yīng)包括能夠構(gòu)建各種駕駛場景，而且這種駕駛場景越來越逼真。仿真軟件需要具備仿真各種傳感器的能力，包括攝像頭、激光雷達(dá)、毫米波雷達(dá)、超聲波雷達(dá)等，以確保能夠模擬出真實(shí)的車輛感知環(huán)境，從而提升仿真的真實(shí)性和有效性。傳感器仿真9.百度Apollo仿真平臺仿真軟件需要具備車輛動力學(xué)模型，能夠?qū)DAS或自動駕駛功能進(jìn)行精準(zhǔn)的仿真，通過模擬車輛在不同路況和環(huán)境下的行為，確保自動駕駛系統(tǒng)在不同場景下的性能和安全性。車輛動力學(xué)模型仿真軟件需要支持傳感器融合、跟蹤、路徑規(guī)劃和車輛控制算法等，以滿足復(fù)雜駕駛場景下的仿真需求，同時，能夠支持C/C++代碼生成，實(shí)現(xiàn)快速原型和硬件在環(huán)測試。算法與仿真支持10.MATLAB自動駕駛工具箱構(gòu)建駕駛場景模擬使用構(gòu)建的場景和來自雷達(dá)、視覺傳感器模型的綜合檢測，測試自動駕駛算法；支持編程、圖形化界面、場景庫構(gòu)建；模擬雷達(dá)、視覺傳感器的檢測。開發(fā)自動駕駛控制系統(tǒng)支持設(shè)計縱向與橫向模型預(yù)測控制器，基于強(qiáng)化學(xué)習(xí)的控制器，車輛動力學(xué)建模；實(shí)時硬件快速原型；生成產(chǎn)品級C/C++代碼；生成AUTOSAR代碼。支持可視化能夠顯示攝像機(jī)視頻、雷達(dá)和視覺鳥瞰圖、車道線標(biāo)記、激光雷達(dá)點(diǎn)云、道路地圖數(shù)據(jù)等；支持多個坐標(biāo)系之間的變換；實(shí)時連接ROS、CAN、激光雷達(dá)并回放數(shù)據(jù)。030201開發(fā)自動駕駛感知系統(tǒng)支持傳感器數(shù)據(jù)標(biāo)注、深度學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練、雷達(dá)算法、視覺傳感器算法、激光雷達(dá)算法設(shè)計；傳感器融合與跟蹤、C/C++及GPU代碼生成。10.MATLAB自動駕駛工具箱開發(fā)自動駕駛規(guī)劃系統(tǒng)支持地圖可視化、高精度地圖訪問、占據(jù)柵格地圖處理、定位和SLAM算法設(shè)計、運(yùn)動規(guī)劃算法設(shè)計以及C/C++代碼的生成。集成仿真任務(wù)MATLAB自動駕駛工具箱支持多樣化的集成仿真任務(wù)，調(diào)用C/C++、Python代碼，通過FMI/FMU、CAN、ROS、Unreal引擎協(xié)同仿真，支持150多種第三方建模與仿真接口。THANKS感謝觀看單元6-2環(huán)境感知與識別仿真舉例CATALOGUE目錄6.2.1傳感器標(biāo)定仿真實(shí)例6.2.2道路識別仿真實(shí)例6.2.3車輛識別仿真實(shí)例6.2.4行人識別仿真實(shí)例6.2.5交通標(biāo)志識別仿真實(shí)例6.2.6交通信號燈識別仿真實(shí)例016.2.1傳感器標(biāo)定仿真實(shí)例攝像機(jī)參數(shù)求解通過棋盤格圖像，求解單目攝像機(jī)的外部參數(shù)，包括俯仰角、偏航角和橫滾角。鳥瞰圖驗(yàn)證與配置利用鳥瞰圖驗(yàn)證單目攝像機(jī)配置的準(zhǔn)確性，并顯示無失真圖像和鳥瞰圖?！纠?-1】使用棋盤格標(biāo)定單目攝像機(jī)，求外部參數(shù)，并利用鳥瞰圖驗(yàn)證配置單目攝像機(jī)的正確性。026.2.2道路識別仿真實(shí)例檢測車道線設(shè)置了車道標(biāo)記的寬度為0.25，然后對灰度圖像進(jìn)行了車道標(biāo)記的檢測，最后顯示了檢測結(jié)果。讀取圖像在MATLAB中，首先加載了名為'birdsEyeConfig'的配置文件，隨后讀取了一張名為'road.png'的道路圖像。轉(zhuǎn)換與顯示將讀取的道路圖像轉(zhuǎn)換為鳥瞰圖，以便更好地識別車道線，接著將鳥瞰圖轉(zhuǎn)換為灰度圖像，并進(jìn)行了顯示?！纠?-2】利用MATLAB檢測圖6-5中的車道線。讀取圖像與配置我們讀取了道路圖像，并加載了鳥瞰圖配置文件'birdsEyeConfig'，然后將道路圖像轉(zhuǎn)換為鳥瞰圖?！纠?-3】使用拋物線車道邊界模型查找圖6-5中車道；將檢測出的車道標(biāo)在鳥瞰圖和原始圖上。車道檢測我們設(shè)定了車道的近似寬度，利用'segmentLaneMarkerRidge'函數(shù)在鳥瞰圖像中檢測車道標(biāo)記，并獲取了邊界點(diǎn)。邊界轉(zhuǎn)換與插入我們將圖像坐標(biāo)轉(zhuǎn)換為車輛坐標(biāo)，使用'findParabolicLaneBoundaries'函數(shù)找到車道邊界，并插入到鳥瞰圖和原始圖中。036.2.3車輛識別仿真實(shí)例讀取圖像在MATLAB中，使用`imread`函數(shù)讀取兩張原始圖像，這些圖像分別包含車輛檢測的目標(biāo)。初始化檢測器我們利用`vehicleDetectorACF`函數(shù)，并指定為前后視圖，以創(chuàng)建一個車輛檢測器實(shí)例。執(zhí)行檢測通過調(diào)用檢測器的`detect`方法，我們對讀取的圖像進(jìn)行車輛檢測，并獲取檢測結(jié)果。標(biāo)注與顯示利用`insertObjectAnnotation`函數(shù)將檢測結(jié)果標(biāo)注在圖像上，并通過`imshow`函數(shù)顯示。結(jié)果展示通過ACF車輛檢測器，我們成功地在兩張圖像中檢測出了車輛，并通過圖框顯示了檢測置信度?！纠?-4】利用ACF車輛檢測器檢測圖6-8中的車輛。0102030405讀取圖像在MATLAB中，使用`imread`函數(shù)讀取原始圖像，用于后續(xù)的RCNN車輛檢測。初始化檢測器我們利用`vehicleDetectorFasterRCNN`函數(shù)創(chuàng)建一個全視圖車輛檢測器實(shí)例。執(zhí)行檢測通過調(diào)用檢測器的`detect`方法，我們對讀取的圖像進(jìn)行車輛檢測，并獲取檢測結(jié)果。標(biāo)注與顯示利用`insertObjectAnnotation`函數(shù)將檢測結(jié)果標(biāo)注在圖像上，并通過`imshow`函數(shù)顯示。結(jié)果展示通過RCNN車輛檢測器，我們準(zhǔn)確地在兩張圖像中檢測出了車輛，并通過圖框顯示了檢測置信度?！纠?-5】利用RCNN車輛檢測器檢測圖6-10中的車輛。0102030405【例6-6】使用視覺傳感器檢測視頻中的車輛。相機(jī)配置設(shè)置相機(jī)的焦距、光學(xué)中心、圖像尺寸、安裝高度和俯仰角，創(chuàng)建內(nèi)部參數(shù)，并配置單目攝像機(jī)。車輛檢測定義車輛寬度，初始化ACF車輛檢測器，并配置為使用單目攝像機(jī)；從視頻中讀取幀并檢測車輛。視頻處理使用視頻閱讀器加載視頻文件，并通過循環(huán)讀取幀、檢測車輛、插入檢測結(jié)果和播放視頻。靈活調(diào)整改變視覺傳感器的安裝角度，如設(shè)置俯仰角為-5°，以觀察對車輛檢測的不同影響。046.2.4行人識別仿真實(shí)例標(biāo)注并顯示使用insertObjectAnnotation函數(shù)在原始圖像上標(biāo)注檢測到的行人，并通過imshow函數(shù)顯示標(biāo)注后的圖像。讀取圖像在MATLAB中，使用imread函數(shù)讀取包含行人的圖像文件xr1.jpg，并存儲到變量I中。檢測行人調(diào)用detectPeopleACF函數(shù)對圖像I進(jìn)行行人檢測，得到行人的邊界框（bboxes）和置信度（scores）?！纠?-7】利用ACF行人檢測器檢測圖6-14中的行人。初始化檢測器使用MATLAB的vision.PeopleDetector函數(shù)創(chuàng)建一個基于HOG特征的行人檢測器，并存儲在變量peopleDetector中。通過imread函數(shù)加載包含行人的圖像xr2.jpg，并存儲在變量I中，為行人檢測提供原始圖像數(shù)據(jù)。調(diào)用peopleDetector(I)函數(shù)對圖像I進(jìn)行行人檢測，得到行人的邊界框（bboxes）和置信度（scores）。使用insertObjectAnnotation函數(shù)在原始圖像上標(biāo)注檢測到的行人，并通過imshow函數(shù)顯示標(biāo)注后的圖像。讀取圖像檢測行人標(biāo)注并顯示【例6-8】基于HOG特征檢測圖6-16中的行人。01020304056.2.5交通標(biāo)志識別仿真實(shí)例定義文件路徑在MATLAB中，使用fullfile函數(shù)構(gòu)建了包含停車標(biāo)志圖像的文件夾路徑，并通過addpath函數(shù)將其添加到MATLAB的路徑中，以便后續(xù)訪問?！纠?-9】訓(xùn)練ACF目標(biāo)檢測器檢測圖6-18中的停車標(biāo)志。加載停車標(biāo)志訓(xùn)練數(shù)據(jù)利用load函數(shù)加載了包含停車標(biāo)志和汽車圖像的MATLAB文件，并提取出停車標(biāo)志的數(shù)據(jù)，同時修正了圖像文件的名稱，以確保路徑的有效性。訓(xùn)練ACF停車標(biāo)志檢測器使用trainACFObjectDetector函數(shù)，以停車標(biāo)志數(shù)據(jù)為訓(xùn)練樣本，訓(xùn)練了一個ACF（ActiveAppearanceModel）對象檢測器，用于識別停車標(biāo)志?！纠?-9】訓(xùn)練ACF目標(biāo)檢測器檢測圖6-18中的停車標(biāo)志。讀取圖像使用imread函數(shù)讀取一張包含交通場景的圖像，該圖像用于測試訓(xùn)練好的ACF停車標(biāo)志檢測器，以驗(yàn)證其在實(shí)際交通場景中的檢測性能。檢測標(biāo)志通過detect函數(shù)，將訓(xùn)練好的ACF檢測器應(yīng)用于讀取的圖像，以檢測其中的停車標(biāo)志；檢測到的停車標(biāo)志位置由bboxes變量存儲，scores存儲對應(yīng)的置信度。標(biāo)志檢測結(jié)果使用insertObjectAnnotation函數(shù)，將檢測結(jié)果以矩形框的形式標(biāo)注在原始圖像上，并通過imshow函數(shù)顯示標(biāo)注后的圖像，以便直觀地查看檢測效果?！纠?-10】訓(xùn)練快速RCNN目標(biāo)檢測器檢測圖6-20中的停車標(biāo)志。提取RCNN數(shù)據(jù)為了訓(xùn)練R-CNN檢測器，需要將圖像文件名和對應(yīng)的邊界框標(biāo)簽整合到一起，并創(chuàng)建一個圖像數(shù)據(jù)集（imds）和盒式標(biāo)簽數(shù)據(jù)集（blds）。提取停車圖像數(shù)據(jù)在訓(xùn)練數(shù)據(jù)集中，stopSigns變量包含停車標(biāo)志的圖像文件名、邊界框坐標(biāo)等信息；而fastRCNNLayers則定義了用于R-CNN的卷積神經(jīng)網(wǎng)絡(luò)層結(jié)構(gòu)。加載訓(xùn)練數(shù)據(jù)利用load函數(shù)加載了RCNN訓(xùn)練數(shù)據(jù)，包括stopSigns和fastRCNNLayers，這些數(shù)據(jù)用于訓(xùn)練一個R-CNN（RegionswithConvolutionalNeuralNetworks）對象檢測器。合并數(shù)據(jù)集通過combine函數(shù)將圖像數(shù)據(jù)集（imds）和盒式標(biāo)簽數(shù)據(jù)集（blds）合并為一個完整的數(shù)據(jù)集，這個數(shù)據(jù)集將用于訓(xùn)練R-CNN檢測器。對圖像預(yù)處理設(shè)置網(wǎng)絡(luò)訓(xùn)練選項(xiàng)【例6-10】訓(xùn)練快速RCNN目標(biāo)檢測器檢測圖6-20中的停車標(biāo)志。在訓(xùn)練R-CNN之前，需要對圖像數(shù)據(jù)進(jìn)行預(yù)處理，以適應(yīng)網(wǎng)絡(luò)的輸入要求；這包括調(diào)整圖像大小、歸一化像素值等步驟。使用trainingOptions函數(shù)設(shè)置了R-CNN的訓(xùn)練選項(xiàng)，包括優(yōu)化方法、批量大小、學(xué)習(xí)率、最大迭代次數(shù)以及模型保存路徑等。訓(xùn)練R-CNN檢測器通過trainFastRCNNObjectDetector函數(shù)，以預(yù)處理后的數(shù)據(jù)集和訓(xùn)練選項(xiàng)為輸入，開始訓(xùn)練R-CNN對象檢測器。讀取測試圖像使用imread函數(shù)讀取一張測試圖像，該圖像將用于測試訓(xùn)練好的R-CNN檢測器，以評估其性能；圖像命名為'tc2.jpg'。運(yùn)行圖像檢測通過detect函數(shù)，將訓(xùn)練好的R-CNN檢測器應(yīng)用于測試圖像，以檢測其中的停車標(biāo)志；檢測結(jié)果包括邊界框、置信度和標(biāo)簽?！纠?-10】訓(xùn)練快速RCNN目標(biāo)檢測器檢測圖6-20中的停車標(biāo)志。插入標(biāo)注使用insertObjectAnnotation函數(shù)，將檢測結(jié)果以矩形框的形式標(biāo)注在原始圖像上，并通過imshow函數(shù)顯示標(biāo)注后的圖像，以便直觀地查看檢測效果?！纠?-10】訓(xùn)練快速RCNN目標(biāo)檢測器檢測圖6-20中的停車標(biāo)志。066.2.6交通信號燈識別仿真實(shí)例交通燈檢測步驟交通信號燈檢測步驟包括讀取原始圖像、顏色空間轉(zhuǎn)換、繪制直方圖、統(tǒng)計紅、綠、黃像素點(diǎn)，并輸出各自數(shù)量，最后根據(jù)數(shù)量確定檢測結(jié)果?！纠?-11】利用MATLAB圖像處理對對圖6-22中的紅燈、黃燈和綠燈進(jìn)行檢測。MATLAB程序通過uigetfile選擇JPEG圖像文件，讀取后轉(zhuǎn)換為HSV顏色空間，分別提取H、S、V分量；繪制直方圖，統(tǒng)計紅、綠、黃像素點(diǎn)數(shù)量，根據(jù)數(shù)量判斷并顯示檢測結(jié)果。檢測結(jié)果輸出程序能夠正確識別并輸出紅燈、黃燈和綠燈的檢測結(jié)果，包括紅燈、黃燈和綠燈各自的最大像素數(shù)量，以及最終檢測結(jié)果（紅燈、綠燈或黃燈）。綠色信號燈檢測當(dāng)圖6-26作為輸入圖像時，程序成功檢測到綠色信號燈，并輸出相應(yīng)的檢測結(jié)果。檢測結(jié)果展示程序準(zhǔn)確識別出綠色信號燈，并顯示其H分量直方圖；同時輸出紅、綠、黃像素點(diǎn)的最大數(shù)量，清晰表明綠色信號燈的數(shù)量優(yōu)勢?！纠?-12】利用例6-11的程序，檢測圖6-26所示的綠燈。THANKS感謝觀看單元6-3環(huán)境感知模型訓(xùn)練與測試CATALOGUE目錄6.3.1道路交通圖像數(shù)據(jù)采集實(shí)例6.3.2道路交通圖像數(shù)據(jù)清洗和標(biāo)注實(shí)例6.3.3行人、交通燈和限速標(biāo)志識別模型訓(xùn)練實(shí)例6.3.4行人、交通燈和限速標(biāo)志識別模型測試實(shí)例016.3.1道路交通圖像數(shù)據(jù)采集實(shí)例攝像頭圖像錄制腳本利用Python腳本從視頻流中提取圖像，通過空格鍵控制錄制時長，程序?qū)⒆詣愉浿频囊曨l和圖像保存到本地文件夾中。錄制視頻與圖像保存錄制交通視頻，通過Python腳本和USB攝像頭實(shí)現(xiàn)。利用cv2庫讀取視頻并顯示，通過空格鍵開始/停止錄制，保存到本地。6.3.1道路交通圖像數(shù)據(jù)采集實(shí)例026.3.2道路交通圖像數(shù)據(jù)清洗和標(biāo)注實(shí)例清洗數(shù)據(jù)時，需排除缺失、噪聲（如模糊、難以辨識的圖片）及重復(fù)數(shù)據(jù)，確保數(shù)據(jù)質(zhì)量。保留多目標(biāo)圖片，均衡數(shù)據(jù)集目標(biāo)數(shù)量；標(biāo)注時，從左至右、從近至遠(yuǎn)，確保方框大小合適。若目標(biāo)被遮擋超過85%，則不標(biāo)注；小于85%需標(biāo)注遮擋部分，小目標(biāo)也需標(biāo)注，確保標(biāo)注完整性。若目標(biāo)被圖片邊緣截斷，則僅標(biāo)注可見部分；遇框間重合包含的圖片，篩除重合，邊緣微切可保留。1.數(shù)據(jù)清洗注意事項(xiàng)質(zhì)量問題標(biāo)注原則遮擋處理邊緣處理標(biāo)注工具簡介標(biāo)注流程便捷設(shè)置快捷鍵操作標(biāo)注格式選擇安裝與使用LabelImg是目標(biāo)檢測數(shù)據(jù)標(biāo)注工具，支持PascalVOC和YOLO標(biāo)簽格式，便于圖像數(shù)據(jù)集的標(biāo)注。無需安裝，下載后直接運(yùn)行l(wèi)abelImg-master中的labelImg.exe，在Windows下即可打開標(biāo)注軟件。labelImg支持兩種標(biāo)簽格式，PascalVOC標(biāo)簽格式，標(biāo)注的標(biāo)簽存儲在.xml文件中；YOLO標(biāo)簽格式。打開labelImg后，設(shè)置OpenDir為圖片文件夾，ChangeSaveDir為保存類別標(biāo)簽的文件夾，選擇PascalVOC或YOLO格式保存。View菜單中有自動保存、顯示標(biāo)簽、高級模式等便捷設(shè)置，可優(yōu)化標(biāo)注體驗(yàn)，提高標(biāo)注效率。LabelImg提供了一系列快捷鍵操作，如W鍵調(diào)出標(biāo)注十字架，A、D鍵切換圖片，Ctrl+S保存標(biāo)簽等。2.標(biāo)注工具LabelImg介紹圖像標(biāo)注使用labelling軟件的CreatRectBox工具，標(biāo)注限速標(biāo)志、行人和交通燈，確保標(biāo)注準(zhǔn)確且符合原則。所需資源準(zhǔn)備原始數(shù)據(jù)圖片數(shù)據(jù)集，如dataset125.zip，并安裝labelling-master數(shù)據(jù)標(biāo)注軟件。設(shè)置labelling軟件在labelling標(biāo)注軟件的主界面View下，啟用AutoSavemode和Displacelabel功能。3.道路圖像數(shù)據(jù)清洗和標(biāo)注036.3.3行人、交通燈和限速標(biāo)志識別模型訓(xùn)練實(shí)例百度智能云平臺登錄百度智能云平臺，點(diǎn)擊立即使用，手機(jī)注冊百度智能云平臺賬號，打開并使用百度智能云平臺（如圖6-36）。BML開發(fā)平臺配置Notebook建模打開Notebook建模頁面，創(chuàng)建任務(wù)，完善個人信息，提交項(xiàng)目信息，配置Python3.7，PaddlePaddle2.3.0，GPUV100。BMLCodeLba應(yīng)用界面文件夾存儲數(shù)據(jù)集與模型，git管理版本，代碼片段庫復(fù)用公共代碼，環(huán)境信息查看配置，包管理安裝paddlepaddle。數(shù)據(jù)可視化可生成并保存模型版本，進(jìn)行版本管理；正在運(yùn)行終端和內(nèi)核；資源監(jiān)控：用于查看資源和配置；Pipleline。生成模型版本基本指令學(xué)習(xí)pwd顯示當(dāng)前路徑，ls列出文件文件夾，cd..返回上一級，cd/home/work/data跳到絕對路徑的數(shù)據(jù)文件夾。用于查看資源和配置；數(shù)據(jù)集：用于導(dǎo)入用戶已在EasyDL專業(yè)版中已創(chuàng)建的數(shù)據(jù)集；生成代碼