智能座艙硬件認(rèn)知主講教師：課程導(dǎo)入01智能座艙的整體架構(gòu)02智能座艙技術(shù)架構(gòu)及算法分析03信息輸入部件認(rèn)知04信息處理部件認(rèn)知05信息輸出部件認(rèn)知PART01智能座艙的整體架構(gòu)一、智能座艙的整體架構(gòu)技術(shù)架構(gòu)的發(fā)展傳統(tǒng)座艙由單一芯片驅(qū)動(dòng)單個(gè)功能或系統(tǒng)，通信開銷大。智能座艙軟硬件一體化聚合，實(shí)現(xiàn)車輛感知精細(xì)化，車輛在整個(gè)用車周期中，為駕乘人員主動(dòng)提供場景化的服務(wù)，實(shí)現(xiàn)機(jī)器自主或半自主決策。一、智能座艙的整體架構(gòu)典型智能座艙整體框架應(yīng)用算法軟件應(yīng)用軟件算法軟件中間件中間件組件（AutoSARRTE\ROS\分布式通信\管理平面\數(shù)據(jù)平面）系統(tǒng)軟件操作系統(tǒng)內(nèi)核HypervisorBSP驅(qū)動(dòng)軟件多核異構(gòu)分布架構(gòu)（DCU等域控制器）AI單元GPU\FPGA\ASIC計(jì)算單元CPU控制單元MCU芯片攝像頭、雷達(dá)、GPSV2X（云控、地圖等）動(dòng)力、線控底盤等外圍硬件GMSL/CSI、ETH、CANGMSL/CSI、ETH、CAN4G/5G/LTECAN\FlexRay車輛平臺(tái)硬件平臺(tái)一、智能座艙的整體架構(gòu)硬件平臺(tái)硬件平臺(tái)包含了AI單元、通信計(jì)算以及網(wǎng)關(guān)3個(gè)單元。AI單元：接觸最多的單元，主要用于處理各類傳感器的感知結(jié)果（音、頻或其他信號(hào)），并且將處理后的結(jié)果傳入處理器進(jìn)行推理計(jì)算。通信單元：實(shí)現(xiàn)互通互聯(lián)，包含GSM（全球移動(dòng)通信系統(tǒng)）/GPRS（通用分組無線服務(wù)技術(shù)）/C-V2X（基于蜂窩網(wǎng)的車載通信技術(shù)）、GPS、WiFi以及藍(lán)牙等的無線連接。網(wǎng)關(guān)單元：用于保障座艙域內(nèi)安全可靠的數(shù)據(jù)傳輸、內(nèi)置存儲(chǔ)和常用網(wǎng)關(guān)接口，包括車載以太網(wǎng)(ETH)、控制器局域網(wǎng)(CAN.CANFD)、本地聯(lián)網(wǎng)(LIN)和車內(nèi)聯(lián)網(wǎng)(FlexRay)等接口。一、智能座艙的整體架構(gòu)系統(tǒng)層系統(tǒng)層直接運(yùn)行在硬件之上，用于提供底層算法、通信、狀態(tài)管理等服務(wù)。系統(tǒng)層先是通過虛擬機(jī)監(jiān)視器(Hypervisor)+板級(jí)支持包(BoardSupportPackage，BSP)的方式實(shí)現(xiàn)硬件平臺(tái)的虛擬化，使得系統(tǒng)軟件可以更方便地與不同硬件平臺(tái)對(duì)接。由于底層操作系統(tǒng)開發(fā)周期長，投入資金大，因此當(dāng)前汽車座艙底層操作系統(tǒng)均在QNX、Linux和Android的基礎(chǔ)上定制開發(fā)，因此當(dāng)前座艙底層操作系統(tǒng)以QNX和Linux為主。一、智能座艙的整體架構(gòu)中間件在智能基礎(chǔ)平臺(tái)里，多個(gè)分布的信息源與多個(gè)接收這些源的分布網(wǎng)絡(luò)節(jié)點(diǎn)構(gòu)成了異構(gòu)分布式網(wǎng)絡(luò)。目前解決異構(gòu)分布式系統(tǒng)之間的互聯(lián)和操作問題通常采用中間件技術(shù)。數(shù)據(jù)分布服務(wù)DDS(DataDistributionService)滿足多種分布式實(shí)時(shí)通信要求。車載操作系統(tǒng)需要建立跨多單元、高速、高效的DDS機(jī)制，DDS可采用發(fā)布/訂閱架構(gòu)。基于系統(tǒng)層提供的感知、通信及管理等基礎(chǔ)服務(wù)，中間件技術(shù)主要是實(shí)現(xiàn)座艙不同功能的模塊化，用于上層座艙場景的開發(fā)。一、智能座艙的整體架構(gòu)應(yīng)用層應(yīng)用層就是座艙用戶直接體驗(yàn)到的各類場景及功能。包含感知模塊，如情緒感知、行為動(dòng)作感知、疲勞感知等。場景開發(fā)平臺(tái)可以根據(jù)這些感知結(jié)果進(jìn)行具體的場景開發(fā)，例如，檢測到駕駛員打電話時(shí)會(huì)進(jìn)行語音提醒，檢測到疲勞時(shí)，會(huì)播放音樂等。PART02智能座艙技術(shù)架構(gòu)及算法分析二、智能座艙技術(shù)架構(gòu)及算法分析技術(shù)架構(gòu)交互應(yīng)用車聲控制系統(tǒng)控制第三方APP語音管理用戶界面交互控制車機(jī)服務(wù)數(shù)據(jù)服務(wù)車身數(shù)據(jù)系統(tǒng)控制車身狀態(tài)車身控制OTA決策中心標(biāo)準(zhǔn)接口封裝場景/感知SDK內(nèi)置/制定化場景圖像/語音控制決策三方應(yīng)用地圖天氣音樂底層芯片設(shè)備管理狀態(tài)管理系統(tǒng)平臺(tái)（硬件+驅(qū)動(dòng)）SDIO、Camera、Power、CAN、Audio、Display、其他硬件適配層車機(jī)硬件DMS攝像頭麥克風(fēng)陣列IC顯示屏車載音響其他底層芯片人臉識(shí)別多模語音性別年齡危險(xiǎn)行為手勢識(shí)別情緒識(shí)別AI模型其他圖像語音車身數(shù)據(jù)數(shù)據(jù)個(gè)性化場景指令在現(xiàn)場景算法模型訓(xùn)練平臺(tái)語音識(shí)別數(shù)據(jù)安全（過濾、脫敏）數(shù)據(jù)倉庫賬號(hào)鑒權(quán)OTA云端服務(wù)二、智能座艙技術(shù)架構(gòu)及算法分析算法分析目前，智能座艙算法模塊大致分為以下四大類：駕駛員面部識(shí)別類：包含人頭識(shí)別、人眼識(shí)別、眼睛識(shí)別等；駕駛員動(dòng)作識(shí)別類：手勢動(dòng)作識(shí)別、身體動(dòng)作識(shí)別、嘴唇識(shí)別等；座艙聲音識(shí)別類：前排雙音區(qū)檢測、聲紋識(shí)別、語音性別識(shí)別/年齡識(shí)別等；座艙光線識(shí)別類：座艙氛圍燈、座艙主體背景、座艙內(nèi)飾等。PART03信息輸入部件認(rèn)知三、信息輸入部件認(rèn)知車載攝像頭車載攝像頭被稱為“自動(dòng)駕駛的眼睛”，通過鏡頭和圖像傳感器實(shí)現(xiàn)圖像信息采集，超過80%的自動(dòng)駕駛技術(shù)都會(huì)運(yùn)用到攝像頭，或?qū)z像頭作為一種解決方案。座艙內(nèi)的攝像頭有多種類型，根據(jù)安裝位置不同，車載攝像頭可分為前視攝像頭、側(cè)視攝像頭、環(huán)視攝像頭、后視攝像頭及艙內(nèi)攝像頭。三、信息輸入部件認(rèn)知車載傳聲器傳聲器是將聲音信號(hào)轉(zhuǎn)換為電信號(hào)的信號(hào)轉(zhuǎn)換器件或者模組，俗稱“麥克風(fēng)”。汽車傳聲器是車載音頻信號(hào)的接收模塊，由外殼、電路板、傳感組件、信號(hào)轉(zhuǎn)換器和密封組件等部分組成。基于語音的車載人機(jī)交互系統(tǒng)在智能座艙領(lǐng)域占據(jù)重要地位，車載傳聲器陣列已成為智能汽車的標(biāo)配。PART04信息處理部件認(rèn)知四、信息處理部件認(rèn)知車規(guī)級(jí)芯片四、信息處理部件認(rèn)知CPUCPU叫做中央處理器（CentralProcessingUnit）作為計(jì)算機(jī)系統(tǒng)的運(yùn)算和控制核心，是信息處理、程序運(yùn)行的最終執(zhí)行單元。CPU由數(shù)百萬個(gè)晶體管組成，可以有多個(gè)處理內(nèi)核，通常被稱為計(jì)算機(jī)的大腦。CoreControlL1CacheCoreControlL1CacheCoreControlL1CacheCoreControlL1CacheL2CacheL2CacheL3CacheDRAMCPU四、信息處理部件認(rèn)知GPUGPU叫做圖形處理器（GraphicsProcessingUnit），又稱顯示核心、視覺處理器、顯示芯片，是一種專門在個(gè)人電腦、工作站、游戲機(jī)和一些移動(dòng)設(shè)備上做圖像和圖形相關(guān)運(yùn)算工作的微處理器。L2CacheDRAMGPU四、信息處理部件認(rèn)知片上系統(tǒng)片上系統(tǒng)（SoC）是一種將系統(tǒng)所需的全部組件壓縮到同一個(gè)芯片上的集成電路。片上系統(tǒng)無需獨(dú)立的大型系統(tǒng)組件，有助于簡化電路板設(shè)計(jì)，從而在不影響系統(tǒng)功能的情況下改善功耗和運(yùn)行速度。PART05信息輸出部件認(rèn)知五、信息輸出部件認(rèn)知屏幕現(xiàn)在智能座艙的一大特征是基本標(biāo)配全