證券研究報告

|行業(yè)深度汽車整車2023年11月7日特斯拉FSD自動駕駛方案深度解析目

錄CONTENTS01020304概要特斯拉FSD架構(gòu)詳解FSD

V12展望投資建議1。01概要2。ABSTRACT概要FSD為一套包含感知/規(guī)控/執(zhí)行的全鏈路自動駕駛軟硬件架構(gòu)Planning規(guī)劃感知數(shù)據(jù)—我該怎么走Occupancy——我周圍有什么？如何分布NeuralNetworks——為什么要這么走Lanes

&Objects——周圍的物體下一步去哪里TrainingData——這么走是正確的嗎Auto

Labeling——數(shù)據(jù)標(biāo)注Simulation——仿真模擬DataEngine——數(shù)據(jù)引擎TrainingInfra——拿什么運(yùn)算AICompiler

&Inference——如何在計算機(jī)上運(yùn)行神經(jīng)網(wǎng)絡(luò)硬件平臺軟硬耦合資料：TESLA

2022

AIday，

youtube

，德邦研究所3。02特斯拉FSD架構(gòu)詳解4。FSD為一套包含感知/規(guī)控/執(zhí)行的全鏈路自動駕駛軟硬件架構(gòu)

FSD架構(gòu)：在數(shù)據(jù)、算法、算力等各個層面打造了一套包含感知、規(guī)控、執(zhí)行在內(nèi)的全鏈路自動駕駛軟硬件架構(gòu)

規(guī)劃（Planning）:本質(zhì)是解決多物體關(guān)聯(lián)路徑規(guī)劃問題，處理自我和所有對象的行進(jìn)軌跡，指導(dǎo)汽車完成相應(yīng)的執(zhí)行動作

神經(jīng)網(wǎng)絡(luò)（Neural

Networks）：通過分析視頻流等信息，輸出完整的運(yùn)動學(xué)狀態(tài)（位置/速度/加速度/顛簸）控制車輛

訓(xùn)練數(shù)據(jù)（Training

Data）：通過最新的4D自動標(biāo)注技術(shù)、升級模擬仿真及云端計算資源，形成數(shù)據(jù)閉環(huán)

訓(xùn)練基礎(chǔ)設(shè)施

（Training

Infra）：包括CPU、GPU、神經(jīng)網(wǎng)絡(luò)單元（Neural

Network

Accelerator）、AI編譯器等，其中AI編譯器能夠支持神經(jīng)網(wǎng)絡(luò)所需的新操作，將它們映射到最佳的底層硬件資源上

AI編譯與推理（AI

Compiler

&

Inference）：即如何在計算機(jī)上運(yùn)行神經(jīng)網(wǎng)絡(luò)。當(dāng)前的推理引擎能夠?qū)蝹€神經(jīng)網(wǎng)絡(luò)的執(zhí)行分配到兩個獨立的芯片系統(tǒng)上執(zhí)行，可以理解為有兩立的計算機(jī)在同一臺自動駕駛計算機(jī)內(nèi)相互連接圖表：特斯拉FSD架構(gòu)資料：TESLA

2022

AI

day，youtube，德邦研究所5。2.1自動駕駛規(guī)劃（Planning）——我該怎么走？6。采用混合規(guī)劃系統(tǒng)，提供最優(yōu)規(guī)控解決方案圖表：十字路口三種不同方案的選擇×

方案二：在行人和右面來車之間通過√方案三：找到合適的間隙，在不干擾其他車輛的情況下通過×

方案一：搶在行人前面通過自動駕駛規(guī)控的目標(biāo)：基于感知網(wǎng)絡(luò)輸出的結(jié)果，通過規(guī)劃汽車行為和行車路徑使得汽車達(dá)到指定目的地，同時盡可能確保行車安全性、效率性和舒適性資料：TESLA

2022

AIday，youtube，德邦研究所

特斯拉FSD解決方案：將傳統(tǒng)規(guī)劃控制與神經(jīng)網(wǎng)絡(luò)算法相結(jié)合，構(gòu)建一套【混合規(guī)劃系統(tǒng)】，依靠“互動搜索（InteractionSearch）”的框架，以任務(wù)分解的方式對一堆可能的運(yùn)動軌跡進(jìn)行并行研究圖表：FSD最終規(guī)劃路線選擇圖表：特斯拉視覺規(guī)控解決方案三維向量空間基于既定目標(biāo)進(jìn)行初步搜索凸優(yōu)化全局最優(yōu)解持續(xù)微調(diào)優(yōu)化資料：TESLA

2022

AIday，youtube，德邦研究所資料：TESLA

2021AI

day，youtube，德邦研究所7?；赩ector

Space的FSD路徑規(guī)劃，能夠快速產(chǎn)生最優(yōu)解

具體解決路徑：從一組視覺測量開始，包括車道、占用率、移動物體等（這些都表現(xiàn)為稀疏的抽象和潛在特征），感知得到的Vector

Space，

通過Vector

Space規(guī)劃出后續(xù)潛在目標(biāo)狀態(tài)，進(jìn)一步考慮細(xì)分互動，得到?jīng)Q策規(guī)劃的路徑?jīng)Q策樹生成

?最初用經(jīng)典的優(yōu)化方法來創(chuàng)建規(guī)劃路徑，隨著約束條件增加，每個動作都需要1-5ms的時間圖表：FSD互動搜索框架?最終建立了輕量級可查詢網(wǎng)絡(luò)。【Tesla車隊中人類駕駛員駕駛數(shù)據(jù)】VS【寬松時間約束的離線條件下系統(tǒng)規(guī)劃的全局最優(yōu)路徑】，兩者不斷進(jìn)行對比訓(xùn)練。能夠在100us內(nèi)生成一個候選規(guī)劃路徑

決策樹剪枝/評分?采用混合規(guī)劃系統(tǒng)，將傳統(tǒng)方法與數(shù)據(jù)驅(qū)動相結(jié)合，通過四個方法進(jìn)行候選路徑評估完成剪枝資料：TESLA

2022

AIday，youtube，德邦研究所整理8?；赩ector

Space的FSD路徑規(guī)劃，能夠快速產(chǎn)生最優(yōu)解

對于未知及不確定性（corner

case）的決策——通過Occupancy

Network對可視區(qū)域進(jìn)行建模用來處理未知不可見場景需要根據(jù)這些假想的參與者做相應(yīng)的保護(hù)性駕駛，將控制反應(yīng)與存在可能性函數(shù)相協(xié)調(diào)，得到非常類似人的行為

至此，特斯拉FSD最終架構(gòu)浮出水面：?首先，通過視覺感知網(wǎng)絡(luò)生成三維向量空間，對于僅有唯一解的問題，可直接生成明確的規(guī)控方案，而對于有多個可選方案的復(fù)雜問題，使用向量空間和感知網(wǎng)絡(luò)提取的中間層特征，訓(xùn)練神經(jīng)網(wǎng)絡(luò)規(guī)劃器，得到軌跡分布其次，融入成本函數(shù)、人工干預(yù)數(shù)據(jù)或其他仿真模擬數(shù)據(jù)，獲得最優(yōu)的規(guī)控方案最終生成轉(zhuǎn)向、加速等控制指令，由執(zhí)行模塊接受控制指令實現(xiàn)自動駕駛???圖表：通過Occupancy

Network對可視區(qū)域進(jìn)行建模用來處理未知不可見場景圖表：特斯拉FSD感知-規(guī)劃-控制整體架構(gòu)資料：TESLA

2022AI

day，youtube，德邦研究所整理資料：TESLA

2021

AI

day，youtube，德邦研究所9。2.2神經(jīng)網(wǎng)絡(luò)（Neural

Networks）——為什么要這么走？10。算法經(jīng)歷多次迭代，BEV+Transformer+Occupancy為當(dāng)前架構(gòu)圖表：特斯拉FSD算法迭代歷程資料：汽車之心微信公眾號，德邦研究所。112.2.1占用網(wǎng)絡(luò)（OccupancyNetwork）——我周圍有什么？如何分布12。升級至Occupancy能夠有效優(yōu)化障礙物識別問題圖表：Occupancy有效解決了一般障礙物識別問題資料：THINKAUTONOMOUS官網(wǎng)，德邦研究所13。HydraNets（九頭蛇網(wǎng)絡(luò)）為視覺感知網(wǎng)絡(luò)的基礎(chǔ)結(jié)構(gòu)圖表：特斯拉HydraNets（九頭蛇網(wǎng)絡(luò)）架構(gòu)示意圖網(wǎng)絡(luò)基礎(chǔ)結(jié)構(gòu)—九頭蛇網(wǎng)絡(luò)（HydraNets）由主干（Backbone）、頸部(Neck)）

與多個分支頭部(Head）共同組成。主干層將原始視頻數(shù)據(jù)通過殘差神經(jīng)網(wǎng)絡(luò)(RegNet)及多尺度特征融合結(jié)構(gòu)(BiFPN)完成端到端訓(xùn)練，提取出頸部層的多尺度視覺特征空間

(multi-scalefeatures

），最后在頭部層根據(jù)不同任務(wù)類型完成子網(wǎng)絡(luò)訓(xùn)練并輸出感知結(jié)果

進(jìn)行多任務(wù)訓(xùn)練并輸出感知結(jié)果HeadHeadHead???優(yōu)勢一：特征共享(Feature

Sharing)。使用同一主干網(wǎng)絡(luò)提取特征并共享給頭部使用，可以在測試階段分?jǐn)傇谲嚿线\(yùn)行的前向判斷，避免不同任務(wù)之間重復(fù)計算現(xiàn)象，提升網(wǎng)絡(luò)運(yùn)行效率優(yōu)勢二：任務(wù)解耦（De-Couples

Tasks）。不同類型子任務(wù)之間可以進(jìn)行解耦，這樣可以單獨處理每一項任務(wù)，對單項任務(wù)的升級不必驗證其他任務(wù)是否正常，升級成本更低在BEV空間內(nèi)進(jìn)行特征層融合，并融入時序信息Neckcache輸入原始數(shù)據(jù)，通過backbone進(jìn)行特征提取Backbone優(yōu)勢三：特征緩存（Representation

Bottleneck）。因為這里存在頸部，可以將特征緩存到硬盤，具有較強(qiáng)的擴(kuò)展性資料：TESLA

2021

AI

day，youtube，德邦研究所整理14。通過端到端的感知訓(xùn)練模型，從數(shù)據(jù)輸入到空間向量輸出

Step

1

圖像輸入（Image

Input）：校準(zhǔn)每個相機(jī)的圖片，將原始12位RGB圖像（而非典型的8位）輸送給網(wǎng)絡(luò)。多了4位信息能夠使得動態(tài)范圍提升16倍，同時減少延遲（無需在循環(huán)中運(yùn)行圖像信號處理ISP）Step

2

圖像校準(zhǔn)（Rectify）：通過不同的汽車采集到的數(shù)據(jù)共同構(gòu)建一個通用感知網(wǎng)絡(luò)架構(gòu)，不同汽車由于攝像頭安裝外參的差異，可能導(dǎo)致采集的數(shù)據(jù)存在微小偏差，為此特斯拉在感知框架中加入了一層“虛擬標(biāo)準(zhǔn)相機(jī)(virtual

camera)”，引入攝像頭標(biāo)定外參將每輛車采集到的圖像數(shù)據(jù)通過去畸變、旋轉(zhuǎn)等方式處理后，統(tǒng)一映射到同一套虛擬標(biāo)準(zhǔn)攝像頭坐標(biāo)中，從而實現(xiàn)各攝像頭原始數(shù)據(jù)校準(zhǔn)，消除外參誤差，確保數(shù)據(jù)一致性，將校準(zhǔn)后的數(shù)據(jù)傳輸給主干神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練

Step

3

特征提?。↖mage

Featurizers）：用一組RegNet（特定殘差網(wǎng)絡(luò)，specific

class

of

resnets）和BiFPN（加權(quán)雙向特征金字塔網(wǎng)絡(luò)）作為提取圖像空間特征的主干圖表：加入virtualcamera校準(zhǔn)圖像數(shù)據(jù)偏差資料：TESLA

2021AI

day，youtube，德邦研究所15。通過端到端的感知訓(xùn)練模型，從數(shù)據(jù)輸入到空間向量輸出

Step

4

構(gòu)造空間位置（Spacial

Attention）：將攝像頭采集到的數(shù)據(jù)通過【BEV空間轉(zhuǎn)換層】構(gòu)造一組3D位置，同時將圖像信息作為鍵(key)值(value)，輸入給一個注意力模型（核心模塊是【Transformer神經(jīng)網(wǎng)絡(luò)】）。注意力模型的輸出是高維空間特征，這些高維空間特征與車輛上的里程數(shù)據(jù)進(jìn)行暫時協(xié)調(diào)，來推導(dǎo)出運(yùn)動。該方案厲害之處在于可以將地面坡度、曲率等幾何形狀的變化情況內(nèi)化進(jìn)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練參數(shù)中

Step

5

時間對齊（Temporal

Alignment）：上述高維空間暫時特征經(jīng)過一組反卷積，產(chǎn)生最終的占用率和占用率流輸出。它們生成的是固定尺寸塊的網(wǎng)格，為了提高精度，模型還生成了per

volex

feature

MAP輸入到MLP中，借助3D空間點查詢（query）來獲取任意點的位置和語義信息圖表：通過輸入視頻片段為自動駕駛增添短時記憶能力圖表：BEV+Transformer實現(xiàn)二維圖像空間向三維向量空間的轉(zhuǎn)變資料：TESLA

2021AI

day，youtube，德邦研究所資料：TESLA

2021AI

day，youtube，德邦研究所16。2.2.2車道線及障礙物感知(Lanes&Objects)——周圍的物體下一步去往哪里？17。基于3DOccupancy迭代車道線及障礙物感知模型

早期，將車道檢測問題建模為一個圖像空間內(nèi)實時分割的任務(wù)，只能從幾種不同的幾何形狀中辨別車道。具體而言，可以分別出當(dāng)前車道、相鄰車道，能特別處理一些交叉和合并的情況，然后用粗略的地圖數(shù)據(jù)對其進(jìn)行增強(qiáng)。這種簡化模型對高速這種高度結(jié)構(gòu)化的路是有效的當(dāng)前，引入Map

Component，使用了低精度地圖中關(guān)于車道線幾何/拓?fù)潢P(guān)系的信息（車道線數(shù)量/寬度、特殊車道屬性等），并將這些信息整合起來進(jìn)行編碼，與視覺感知到的特征信息一起生成車道線（Dense

WorldTensor）給到后續(xù)Vector

Lane模塊圖表：車道線及障礙物感知模型基于2D

BEV基于3D

Occupancy，是具有高低起伏變化的車道線感知資料：TESLA

2022AI

day，youtube，德邦研究所18。問題一：如何預(yù)測車道？圖表：特斯拉車道預(yù)測方案先對現(xiàn)實世界做粗略處理，做一個可能的位然后不斷重復(fù)該過程，直到枚舉了車道中所有的點√置熱點圖，鎖定在可能性最大的位置上。以此為條件對預(yù)測進(jìn)行改進(jìn)，獲得準(zhǔn)確的點車道圖—也即希望從網(wǎng)絡(luò)上獲得最終結(jié)果從某一點（綠點）開始進(jìn)行預(yù)測描繪最有可能的位置×該位置被編碼到一個離散化的3D粗略網(wǎng)絡(luò)中,但并不直接在3D網(wǎng)格中做預(yù)測描繪（計算成本較高）資料：TESLA

2022AI

day，youtube，德邦研究所19。問題二：如何預(yù)測道路上其他對象的未來行為圖表：障礙物感知是一個兩階段的感知

預(yù)測所有物體的屬性，在實時系統(tǒng)上造成了一些具體實施問題。需要讓對象堆棧部分實現(xiàn)幀率最大化，自動駕駛才能對變化的環(huán)境做出快速反應(yīng)。為了盡量減少延遲，神經(jīng)網(wǎng)絡(luò)被分為兩個階段：??第一階段，確定對象在3D空間中的位置第二階段，在這些3D位置取得張量，附加車輛上的額外數(shù)據(jù)和一些其他處理

這個規(guī)范步驟使得神經(jīng)網(wǎng)絡(luò)專注于計算最關(guān)鍵的區(qū)域，能夠付出很小的延遲成本獲得優(yōu)異性能資料：TESLA

2022AI

day，youtube，德邦研究所20。2.3訓(xùn)練數(shù)據(jù)（TrainingData）——為什么這么走是正確的？21。2.3.1自動數(shù)據(jù)標(biāo)注（AutoLabeling）22。由2D手工標(biāo)注逐步升級為4D自動標(biāo)注，數(shù)據(jù)閉環(huán)趨于完善外包第三方進(jìn)行數(shù)據(jù)標(biāo)注組建超1000人團(tuán)隊進(jìn)行手工標(biāo)注自動標(biāo)注圖表：特斯拉數(shù)據(jù)標(biāo)注由2D手工標(biāo)注逐步升級為4D自動標(biāo)注基于2D圖像進(jìn)行標(biāo)注在BEV空間下進(jìn)行4D自動標(biāo)注資料：TESLA

2021

AI

day，youtube，德邦研究所

含義：在三維或四維空間中，為不同的時間點和空間位置賦予獨特的標(biāo)簽或標(biāo)識符做法：直接在向量空間中進(jìn)行標(biāo)注，將其投影到相機(jī)圖像中優(yōu)點：能夠支持大量數(shù)據(jù)標(biāo)注；由于只需要在空間中標(biāo)注一次，然后自動投影，標(biāo)注效率大幅提升

做法：在2D圖像上標(biāo)注出各種物體，具體表現(xiàn)為在單個物體上繪制出一些多邊形和折線，用以描繪出邊界框（BoundingBoxes）缺點：數(shù)據(jù)量很大的情況下，工作量極大，標(biāo)注效率低

23。為什么要采用4D自動標(biāo)注？——大幅提升標(biāo)注效率圖表：特斯拉數(shù)據(jù)標(biāo)注發(fā)展歷程先場景重建，再4D建圖基于BEV感知，采用衛(wèi)星使用3D特征進(jìn)行多趟采集軌跡的聚合重建全人工標(biāo)注標(biāo)注地圖標(biāo)注

可以取代500萬小時的人工操作標(biāo)記，只需在集群中運(yùn)行12小時，就可以完成10000次行駛軌跡的標(biāo)記資料：TESLA

2022AI

day，youtube，德邦研究所24。如何進(jìn)行4D自動標(biāo)注？—采集Clips通過機(jī)器算法生成Labels圖表：4D自動標(biāo)注過程

自動標(biāo)注步驟：?通過汽車在一段時間內(nèi)采集到的視頻、IMU、GPS、

里程表等數(shù)據(jù)構(gòu)成最小標(biāo)注單元

（Clip，約45-60秒）將最小標(biāo)注單元上傳至服務(wù)器，由離線神經(jīng)網(wǎng)絡(luò)系統(tǒng)訓(xùn)練得到中間層結(jié)果，如分割、深度等??通過大量機(jī)器算法生成最終用以訓(xùn)練的標(biāo)簽集（Labels）資料：TESLA

2021AI

day，youtube，德邦研究所25。4D自動標(biāo)注的幾個關(guān)鍵步驟圖表：4D自動標(biāo)注的3個關(guān)鍵步驟資料：TESLA

2022

AI

day，youtube，德邦研究所26。2.3.2仿真模擬（Simulation）27。為什么要做仿真模擬？—泛化Corner

Case，賦能模型迭代

仿真模擬可以提供現(xiàn)實世界中難以獲得或是難以標(biāo)記的數(shù)據(jù)，從而加速FSD能力的訓(xùn)練，賦能模型迭代圖表：仿真模擬示意圖基于數(shù)據(jù)標(biāo)記，疊加一些全新工具，可以在5Min內(nèi)生成這類場景資料：TESLA

2022

AI

day，youtube，德邦研究所28。如何進(jìn)行仿真模擬？——五大步驟圖表：實現(xiàn)仿真模擬的五大步驟

Step

1準(zhǔn)確的傳感器仿真（Accurate

Sensor

Simulation）:由于FSD的感知系統(tǒng)是基于純攝像頭，因此需要對攝像頭的各種屬性進(jìn)行軟硬件建模，如傳感器噪聲、曝光時間、光圈大小、運(yùn)動模糊、光學(xué)畸變等Step

2逼真的視覺渲染（Photorealistic

Rendering）：為了更真實的模擬現(xiàn)實世界場景，需要仿真渲染盡可能做到逼真。特斯拉利用神經(jīng)網(wǎng)絡(luò)視覺技術(shù)提升視覺渲染效果，同時用光線追蹤的方法模擬逼真的光照效果Step

3多元化的交通參與者與地理位置（Diverse

Actors

&Locations）：為了避免仿真環(huán)境過于單一，導(dǎo)致感知系統(tǒng)過擬合的問題，特斯拉對仿真環(huán)境參與物進(jìn)行了充分建模，包括多元化的交通參與者和靜態(tài)物體資料：TESLA

2021

AI

day，youtube，德邦研究所圖表：實現(xiàn)仿真模擬的五大步驟資料：TESLA

2021

AI

day，youtube，德邦研究所29。如何進(jìn)行仿真模擬？——五大步驟

Step4大規(guī)模場景生成（Scalable

Sensor

Generation）：由計算機(jī)通過調(diào)整參數(shù)生成不同的場景形態(tài)。同時由于大量的仿真場景可能是的無用的，為了避免浪費計算資源，引入MLB等神經(jīng)網(wǎng)絡(luò)尋找故障點，重點圍繞故障點進(jìn)行仿真數(shù)據(jù)創(chuàng)建，反哺實際規(guī)劃網(wǎng)絡(luò)，形成閉環(huán)

Step5場景重現(xiàn)（Sensor

Recontruction）:在完成真實世界片段的自動標(biāo)注重建后，疊加視覺圖像信息，生成與真實世界“孿生”的虛擬世界，復(fù)現(xiàn)真實世界中FSD失敗的場景，實現(xiàn)在仿真環(huán)境下的優(yōu)化迭代后再反哺汽車算法模型，實現(xiàn)“數(shù)據(jù)閉環(huán)”圖表：實現(xiàn)仿真模擬的五大步驟資料：TESLA

2021

AI

day，youtube，德邦研究所30。2.3.3數(shù)據(jù)引擎（DataEngine）31。自成閉環(huán)的數(shù)據(jù)引擎能夠更好地優(yōu)化神經(jīng)網(wǎng)絡(luò)圖表：特斯拉數(shù)據(jù)引擎示意圖最終通過影子模式部署回車端進(jìn)行新的測試比較不同版本指標(biāo)，直到最后經(jīng)過驗證的新模型部署車端利用這些有效數(shù)據(jù)訓(xùn)練車端在線模型和云端離線模型由標(biāo)配自動駕駛硬件的車隊數(shù)據(jù)采集通過各種規(guī)則及影子模式下人腦與AI差異，篩選有語義信息的數(shù)據(jù)回傳云端云端通過工具對錯誤的AI輸出進(jìn)行糾正，放入數(shù)據(jù)集群資料：TESLA

2022

AI

day，youtube，德邦研究所32。自成閉環(huán)的數(shù)據(jù)引擎能夠更好地優(yōu)化神經(jīng)網(wǎng)絡(luò)圖表：數(shù)據(jù)引擎優(yōu)化神經(jīng)網(wǎng)絡(luò)的案例資料：TESLA

2022

AI

day，youtube，德邦研究所33。2.4訓(xùn)練基礎(chǔ)設(shè)施（Training

Infra）——用什么進(jìn)行訓(xùn)練34。Dojo何以為道？——化繁為簡，以少為多的集群架構(gòu)圖表：Dojo算力迭代情況

?架構(gòu)方式：近乎對稱的分布式計算架構(gòu)優(yōu)勢：D1芯片擴(kuò)展性好；算力的編程靈活性高拓展性高：通用CPU芯片?加速迭代：2d

Mesh連接，大幅提升集群性能的線性度輕裝上陣：削減對計算非必須功能，簡化結(jié)構(gòu)，減少功耗和面積使用，極大程度釋放性能?圖表：D1芯片資料：Tesla公告，德邦研究所圖表：Dojo架構(gòu)資料：Tesla

2021

AI

day，youtube，德邦研究所資料：Tesla

2021

AI

day，youtube，德邦研究所35。Dojo助力加速自動標(biāo)注、Occupancy

Networks圖表：DojoCompiler

性能對比：?在4D自動標(biāo)注任務(wù)和使用OccupancyNetworks完成環(huán)境感知任務(wù)時，相比英偉達(dá)A100，Dojo能實現(xiàn)性能的倍增資料：Tesla

2021

AIday，youtube，德邦研究所36。不止于此，Dojo的更大野心

不斷擴(kuò)大的集群規(guī)模、Dojo超算中心的投產(chǎn)，意味著特斯拉有望再次加速FSD的迭代速度；在擁有如此大規(guī)模的算力后，特斯拉擁有的海量數(shù)據(jù)有望釋放出巨大價值圖表：Dojo不但將釋放擺脫英偉達(dá)之后的潛力，還有望帶來人形機(jī)器人Optimus

的不斷突破資料：TESLA：《Dojo:The

Microarchitecture

ofTesla’s

Exa-Scale

Computer》

，德邦研究所37。2.5AI編譯與推理（AI

compiler&inference）——如何在計算機(jī)上運(yùn)行神經(jīng)網(wǎng)絡(luò)38。對端到端延遲進(jìn)行嚴(yán)格控制+部署更先進(jìn)的調(diào)度代碼圖表：AI編譯與推理原理

所有的模型、架構(gòu)運(yùn)算加起來大約有10億個參數(shù)，產(chǎn)生了大約1000個神經(jīng)網(wǎng)絡(luò)信號。因此，需要確保共同優(yōu)化它們，才能最大限度優(yōu)化吞吐量，并盡量減少延遲編譯：建立了一個專門針對神經(jīng)網(wǎng)絡(luò)的編譯器(CombileToolchain)，與傳統(tǒng)編譯器共享架構(gòu)

運(yùn)行：設(shè)計了混合調(diào)度系統(tǒng)（Hybrid

Parallelism），基本上可以在單SOC上執(zhí)行異構(gòu)調(diào)度，在兩個SOC上進(jìn)行分布式調(diào)度，以模型并行的方式運(yùn)行這些網(wǎng)絡(luò)資料：TESLA

2022

AI

day，youtube，德邦研究所39。目標(biāo)：將所有操作在計算機(jī)上運(yùn)行圖表：如何在計算機(jī)上運(yùn)行神經(jīng)網(wǎng)絡(luò)Goals：compile

alloperations

to

nativelyrun

on

TRIP

engine

目標(biāo)：快速運(yùn)行密集點積（DenseDotProduct）難點：但是Lanes

Network架構(gòu)是自回歸和迭代的，它在內(nèi)循環(huán)中緊縮多個注意力塊，在每一步都直接產(chǎn)生稀疏點（sparse

point），那么最大的挑戰(zhàn)是如何在密集點積引擎上做稀疏點預(yù)測資料：TESLA

2022

AI

day，youtube，德邦研究所40。如何做？——將得到的One-Hot編碼通過矩陣乘法運(yùn)算實現(xiàn)在網(wǎng)絡(luò)預(yù)測出最有可能的空間位置熱圖后，通過算法得到空間位置索引的One-Hot編碼選擇與這個索引相關(guān)的嵌入。為了在芯片上實現(xiàn)它，在SRAM中建立了一個查詢表，并且設(shè)計了這個嵌入的尺寸，以便可以用矩陣乘法實現(xiàn)所有將這個嵌入存儲到一個標(biāo)記緩存中，這樣就可以無需在每次迭代時都重新計算，而是能夠在未來的預(yù)測中重新使用圖表：AI編譯與推理步驟資料：TESLA

2022

AI

day，youtube，德邦研究所41。效果如何？—運(yùn)行7500萬個參數(shù)的模型延遲不到10ms，消耗功率8W圖表：運(yùn)行7500萬參數(shù)的模型只有不到10ms延遲，消耗8W功率7500萬參數(shù)9.6ms延遲消耗8W功率資料：TESLA

2022

AI

day，youtube，德邦研究所42。03FSDV12展望43。FSD

V12或?qū)⑼耆D(zhuǎn)向端到端自動駕駛技術(shù)方案

23年8月26日，特斯拉CEO馬斯克開啟了一場路測特斯拉FSD

V12的直播。直播全程45分鐘，馬斯克只有一次駕駛干預(yù)，這發(fā)生在一個繁忙的十字路口，馬斯克所駕駛的特斯拉試圖闖紅燈，他立即控制了車輛。直播中儀表盤中的實時道路場景可以看出，V12保留了當(dāng)前FSD輸出的感知結(jié)果

以UniAD為例，利用多組query實現(xiàn)了全棧

Transformer

的端到端模型。圖中UniAD

由2個感知模塊，2個預(yù)測模塊以及一個規(guī)劃模塊組成。其中感知和預(yù)測模塊是通過Transformer架構(gòu)進(jìn)行預(yù)測，每個模塊輸出的特征會傳遞到之后的模塊來輔助下游任務(wù)，這樣的模型結(jié)構(gòu)實現(xiàn)了端到端可導(dǎo)，顯著提升了模型的可解釋性圖表：自動駕駛大模型UniADPipeline資料：《Planning-oriented

Autonomous

Driving》（Yihan

Hu,JiazhiYang等），德邦研究所44。端到端方案中神經(jīng)網(wǎng)絡(luò)是關(guān)鍵，有望實現(xiàn)全局最優(yōu)解圖表：多模塊化方案VS端到端方案

原理：與模塊化方案相比，端到端自動駕駛方案將感知、規(guī)劃、控制各環(huán)節(jié)一體化，去除了各模塊基于規(guī)則的代碼，將傳感器收集到的信息直接輸入神經(jīng)網(wǎng)絡(luò)，經(jīng)過處理后能夠直接輸出自動駕駛指令，使得整個系統(tǒng)端到端可導(dǎo)模塊化方案

優(yōu)點：能夠降低對激光模型上限高，可以得到近似全局最優(yōu)解缺點：模型能力起步較慢，解釋簡單場景不如模塊化架構(gòu)，模型下限低；中間“黑盒”解釋性差、高精地圖、人工的依賴，減少中間環(huán)節(jié)的成本；圖表：

模塊化與端到端的性能增長曲線VS端到端方案資料：《Recent

Advancements

in

End-to-End

AutonomousDriving

using

Deep

Learning:

ASurvey》（PranavSinghChib

,Pravendra

Singh），德邦研究所資料：賽博汽車微信公眾號，德邦研究所。45感知端率先落地，BEV本質(zhì)上是一種端到端感知解決方案圖表：Transformer

4DEncoder

Structure

傳統(tǒng)感知模型：2D