Z自動駕駛行業(yè)研究報告“端到端”漸行漸近*智庫分析師胡博文對本次報告JAZZ

Y

E

A

R目

錄CON下ENTSJA

Z.Z

Y

E

A

RPart

02

趨勢辨析：端到端自動駕駛的價值

P09Part

03

廠商實踐：技術路線的選擇與踐行

P18Part01發(fā)展背景：汽車智能化正加速普及

P02Part04未來展望：端到端的挑戰(zhàn)與未來式

P26JAZZ

Y

E

A

R口

國內汽車工業(yè)在電動化和智能化領域的迅猛發(fā)展，正在重塑消費者的購車偏好，消費者對于自動駕駛技術、智能座艙等高端智能化功能的興趣日益濃厚?？?/p>

超半數的汽車消費者將智能化水平作為購車時的關鍵考量因素，他們追求更先進的自動駕駛體驗、更智能的座艙環(huán)境以及更個性化的駕駛樂趣口

智能化在購車決策中的重要性日益凸顯，這也促使眾多汽車制造商加快了智能化技術的研發(fā)和工程投入；繼續(xù)航里程和用車成本之后，智能化已

成為新能源汽車競爭的主要領域，未能跟上智能化步伐的汽車品牌可能會逐漸失去市場競爭力。圖1:購車時“智能化”考量因素高居第二

圖2:自動駕駛、智能座艙、OTA

能力受廣泛關注51%48%47%47%43%31%30%59%

更先進的自動駕駛功能54%

智能座艙體驗更好造型設計美觀

原生新能源汽車平臺乘坐更舒適

售后體驗更好

OTA能力更強

續(xù)航里程表現

駕駛樂趣更高51%51%47%43%42%40%39%智能化水平已經成為國內汽車消費者最核心的購買因素之一。用車成本低智能化程度高

保養(yǎng)成本低外觀時尚

環(huán)保噪音小

獲取牌照

動力性能

配置表精煉Source:麥肯錫《2024麥肯錫中國汽車消JAZ

zY

E

A

R65%62%□

NOA

技術的滲透率正迅速提升：自2022年“量產元年”起，高速NOA和城區(qū)NOA

的普及率顯著增長。目前，高速NOA的滲透率已超10%,城市NOA

也超過了3%?？谠诒姸鄰S商的推動下，重視“智能化”的汽車越來越受消費者青睞，尤其是那些配備自動泊車和L2.5以上級別NOA

功能的車型；這些車型已成為車企競爭的焦點，預示著未來缺乏NOA功能的車輛可能失去競爭力?？?/p>

自動駕駛功能的普及，得益于車企的持續(xù)投入和消費者對這些技術的接受度，這已成為汽車市場競爭力的關鍵。圖1:高速NOA

滲透率持續(xù)增長(%)

圖2:城市NOA

滲透率持續(xù)增長(%)智能駕駛滲透提速，“智能化”競爭進入白熱化。Source:

高工智能汽車，國聯證券，甲子ov-23Dec-22Oct-23Sep-23Aug-23Apr-23Mar-24Dec-23禾賽科技美股2023年2月上市激光雷達傳感器海創(chuàng)光電科創(chuàng)板2023年5月提交申請激光雷達傳感器黑芝麻智能港交所2023年6月提交申請自動駕駛計算芯片圖達通美股2023年8月完成IPO備案激光雷達傳感器如祺出行港交所2023年8月提交申請Robotaxi、網約車運營文遠知行美股2023年8月完成IPO備案自動駕駛解決方案、Robotaxi賽目科技港交所2023年10月提交申請ICV仿真測試、驗證知行科技港交所2023年12月已上市自動駕駛解決方案速騰聚創(chuàng)港交所2024年1月已上市激光雷達傳感器小馬智行美股2024年4月完成IPO備案Robotaxi、Robotruck、智能駕駛解決方案縱目科技港交所2024年3月提交申請智能駕駛解決方案地平線港交所2024年3月提交申請自動駕駛計算芯片、智能駕駛解決方案佑駕創(chuàng)新港交所2024年5月提交申請智能駕駛解決方案Momenta美股2024年6月完成IPO備案自動駕駛解決方案口盡管一級市場融資受到整體投融資環(huán)境的影響，但自動駕駛公司通過不斷優(yōu)化核心軟硬件產品，向更務實的L2輔助駕駛轉型，加速了智能駕駛的

商業(yè)化進程，眾多企業(yè)開始準備IPO?？?/p>

同時，隨著智能駕駛功能的普及，消費者對其正面認知逐漸增強，乘用車自動駕駛市場穩(wěn)步增長，這促使主機廣與智能駕駛解決方案供應商之間

的合作更加緊密，進一步推動了智能駕駛技術的商業(yè)化應用。表：2023年起，自動駕駛廠商扎堆IPO訂單需求擴張業(yè)績快速上漲產品性能提升一級市場融資難造血能力待提升需要研發(fā)投入自動駕駛科技公司排隊沖擊IPO,

智駕加速普及，行業(yè)正在蘇醒。Source:公開資料光智庫整理。www.jazzyea5口

自

BEV

(鳥瞰視圖)結合Transformer

架構成為自動駕駛感知領域的主要發(fā)展方向以來，數據驅動在其中扮演的角色愈發(fā)關鍵；眾多汽車制造商

和自動駕駛解決方案提供商都已構建數據閉環(huán)系統，以支持自動駕駛系統的模型訓練和持續(xù)迭代?？?/p>

目前，配備高級智能駕駛功能的汽車已實現規(guī)模化部署，這為自動駕駛算法的持續(xù)創(chuàng)新和優(yōu)化提供了堅實的數據支撐。圖：打造數據閉環(huán)，量產時代下的自動駕駛應用部署為數據驅動提供條件量產項目提供海量車端大數據：·人工智能技術加持，數據篩選、標注、訓練、驗證形成

全鏈路閉環(huán)，持續(xù)迭代智能駕駛產品·

相比過去工程師制定的規(guī)則算法，能夠實現低成本、高

效率的系統迭代·由此實現閉環(huán)自動化，數據驅動自動駕駛，在為現有車

輛進行OTA

功能升級的同時，為后續(xù)更高級別的自動駕

駛車輛做準備OTA部署算法升級算法

部署Source:智庫，《2023智能駕駛自動駕駛智算中心

數據積累

訓練高階自動駕駛算法智能駕駛汽車規(guī)?；疉l

驅動的數據閉環(huán)數據

采集影子模式觸發(fā)數據回傳L3/L4

量產上車www.jazzyear.com智駕量產車上路，數據飛輪已經轉了起來。數據分析打造數據閉環(huán)

升級現有智能車模型

訓練模型

驗證數據

標注口

AI技術的應用場景眾多，自動駕駛無疑是其中的核心議題；它不僅代表了技術應用的前沿，也是產學兩界Al專家不懈追求、共同攻克的領域。口

自動駕駛行業(yè)的發(fā)展與A技術的每次飛躍緊密相連：從卷積神經網絡(CNN)、循環(huán)神經網絡(RNN)、生成對抗網絡(GAN)到

Transformer,每一次技術革新背后，都伴隨著深度學習等基礎Al技術的突破性進展。正是Al技術的持續(xù)進步，構成了自動駕駛技術不斷演進和成熟的基礎動力。圖：自動駕駛技術的主要迭代路徑那么,下一步?20112016201820202022

至

今Source:

浙商證券茫公開資料，智

www.jazzyear.com更擅長處理時間序列數據+生成高質量合成數據·

預測車輛未來軌跡能力·

長期時序建模能力弱；數據質量難把控；實時性要求無法滿足RNN(LSTM)+GANBEV+Transformer·

結

合Transformer

更強的處理序列數據和復雜上下文關系方面的能力，實現更精確的環(huán)境感知、更長遠的運動規(guī)劃和更全局化的決策CNN

(卷積神經網絡)·

圖像識別處理表現優(yōu)秀；有效處理傳感器數據融合·

需要大量數據標注；時序任務處理能力偏弱自動駕駛技術發(fā)展與普及的背后，是底層AI技術的進步。BEV

(鳥瞰視角)·

直觀且豐富的車身周邊環(huán)境表示·

需要復雜的傳感器數據融合與校準，計算量龐大oCC+Transformer·Occupancy

Network基于學習進行三維重建，是BEV

的3D

迭

代Transformer

大模型基于大規(guī)模數據川練，具備更強的魯棒性與泛化能力在自動駕駛行業(yè)大方異彩CNN

提出后，深度學習進入爆

發(fā)期，自主學習能力被釋放J

A

Z

Z

Y

E

A

R口Transformer

大模型技術在自動駕駛領域并非新近出現，其實早在ChatGPT之前，這一技術就已被應用于自動駕駛的感知任務。口特斯拉在2021年就展示了其基于BEV

視角結合Transformer

的感知方案，此后，國內廠商紛紛跟進并進行創(chuàng)新，這間接加速了2022年之后高階智能駕駛方案的快速落地。口

從云端的模型訓練到車端的模型部署，大模型技術已被廣泛應用于數據處理、模型融合與優(yōu)化等多個環(huán)節(jié)，顯著提高了模型訓練的效率和系統的

整體性能。圖：從云端到車端，大模型已經在自動駕駛感知模塊開始規(guī)?；瘧脭祿诰虼竽Ｐ偷姆夯阅苡糜谕诰蜷L尾數據，如使用CLIP模型進行

基于文本描述的圖像數據檢索。數據生成>

使

用NeRF技術隱式存儲場景，通過渲染圖片的監(jiān)督學習學出

場景的隱式參數，實現場景重建和高真實感數據生成。數據自動標注利用大模型通過自監(jiān)督學習預訓練，配合極少量人工標注微

調，實現自動標注視頻clip數據。知識蒸餾大模型通過學習海量數據中的特征，然后用來配合中、小模

型的訓練，提高中、小模型的性能。車道拓撲預測>使用自回歸編解碼網絡將BEV特征解

碼為結構化的拓撲點序列，實現車道

拓撲預測。www.jazzye合并不同小模型>將處理不同子任務的小模型合并成一

個大模型，在車端進行聯合推理計算，提高感知算法的準確性和實時性。AI

大模型技術已經在自動駕駛領域得到廣泛應用。物體檢測利用大模型檢測真值固定的物體，如車道線、交通燈等，這些物體的位置

下受天氣、時間等因素的影響?？刂栖嚩烁兄A測決策Source:

九章智駕光網絡公開資料，甲子光JAZ

zY

E

A

R云端目

錄CON下ENTSJA

Z.Z

Y

E

A

RPart01發(fā)展背景：汽車智能化正加速普及

P02

光Part

03

廠商實踐：技術路線的選擇與踐行

P18Part04未來展望：端到端的挑戰(zhàn)與未來式

P26Part

02

創(chuàng)新思路：端到端自動駕駛的價值

P09JAZZ

Y

E

A

R口傳統自動駕駛系統已經發(fā)展得相當成熟，通常采用模塊化串聯的部署方式：其核心模塊涵蓋感知、定位、預測、決策和控制等，每個主要模塊及

其子模塊都承擔著特定的職責，且每個模塊的輸入通常來源于前一模塊的輸出?？谀K化設計的優(yōu)勢在于能夠將復雜的自動駕駛任務分解為更小、更易于管理的子任務，同時便于問題的追蹤和定位；然而，隨著自動駕駛技術向

數據驅動的方向發(fā)展，模塊化設計的某些局限性也逐漸顯現，例如信息傳遞過程中可能出現的損耗、計算延遲以及累積誤差等問題。圖：傳統自動駕駛的模塊化部署信息的損耗與丟失任務多且散導致低效誤差累積影響安全性復合誤差難以修正系統構建與維護成本高傳統模塊化自動駕駛存在信息傳遞損耗、計算效率低下等問題。感知模塊傳感器融合目標跟蹤車道線識別紅綠燈識別障礙物識別車輛定位定位模塊傳感器攝像頭激光雷達毫米波雷達輪速IMU高精地圖預測模塊車輛行為預測行人行為預測規(guī)劃模塊全局路徑規(guī)劃車輛行為決策控制模塊轉向油

門

/

電

門剎車PID/MPCSource:

公開資料光智庫整理。www.jazzyeJ

A

Z

z

Y

E

A

R底盤通信10口模塊化自動駕駛的核心在于不同子模型在各個模塊中的嵌套與協同工作。然而，隨著Transformer架構等先進Al技術的發(fā)展，模型間的界限正逐漸變得模糊。原本獨立的子任務模型正逐步被更大規(guī)模的神經網絡模型所取代，特別是在感知模塊，BEV

結合Transformer方案的廣泛應用預示

著數據驅動的深度學習神經網絡正日趨成熟。口

從架構的角度來看，隨著模型融合的趨勢，自動駕駛系統的終極形態(tài)很可能是OneModel,即一個狹義上的端到端神經網絡模型。圖：自動駕駛系統模塊的融合趨勢從系統架構的變化趨勢上看，自動駕駛系統模塊是在不斷融合的。預測、決策模塊也正在神經網絡化的進程預測規(guī)劃網絡控制

wwwjazzyear.com

11預測地圖

定位Learning-Based更少的工程更多的數據BEV+Transformer

極大推動自動駕駛通用感知網絡的發(fā)展速度多傳感器融合決策Source:元戎啟行光網絡公開資料，甲子光目標跟蹤規(guī)劃目標檢測決策端到端全棧神經網絡后融合控制更多的工程適量的數據預測規(guī)劃地圖控制Rule-Based通用感知網絡定位端到端路線為自動駕駛進一步突破提供了一種可能性。

口隨著感知、預測和決策等關鍵模塊逐漸實現神經網絡化，端到端自動駕駛的路徑已經清晰可見，為自動駕駛技術向L4級別無人駕駛的邁進提供了廣闊的想象空間?？?/p>

端到端自動駕駛神經網絡的實現將帶來一系列優(yōu)勢：它將完全基于數據驅動進行全局任務優(yōu)化，擁有更簡潔的系統架構，更高的計算效率以及更

強的泛化能力。然而，它也面臨著對算力和數據的巨大需求，以及尚未解決的黑盒問題和幻覺問題，這些問題需要隨著技術的進步而逐步克服。傳感器獲取的原始數據End-to-End端到端自動駕駛模型直接輸出車輛駕駛動作感

知預測滲透決策控制·

模型集成統一，減少模塊間的信息延遲和冗余，

提升計算效率·由數據驅動的方式來解決自動駕駛長尾問題

·

更好、更快的糾錯能力大模型的幻覺問題參數過大，算力不足不可解釋與安全性完全由數據驅動更強的泛化性避免累計誤差更好的計算效率具備零樣本學習能力，在未知場景仍可正確決策Source:公開資料光智庫整理?！け苊馍嫌文K錯誤的過度傳導www.jazzyear.comJAZ

zY

E

A

R12基于統一的神經網絡，端到端的核心是信息的無損傳遞?？?/p>

自動駕駛領域尚未就“端到端”概念達成統一認識。一般而言，端到端自動駕駛指的是從原始傳感器數據輸入直接到控制指令輸出的連續(xù)學習與

決策過程，過程中不涉及任何顯式的中間表示或人為設計的模塊?？?/p>

盡管端到端自動駕駛的具體定義仍存在一定的模糊性，但其核心理念是避免信息在傳遞過程中的損耗。端到端自動駕駛：統一的神經網絡架構，一步到位輸出車輛指令模塊化架構周邊環(huán)境傳感器

感知/定位預測規(guī)劃控制執(zhí)行器

車輛狀態(tài)信息的無損傳遞Source:

公開資料光智庫整理。

wwwjazzyear.com

13端到端架構周邊環(huán)境端到端大模型車輛狀態(tài)執(zhí)行器傳感器口

特斯拉FSD

V12的卓越性能令業(yè)界觀察家印象深刻，它確實摒棄了之前FSD方案中多年積累的代碼，但其端到端方案的成功也離不開其在過去十年在人工智能和智能駕駛領域的深厚積累?？?/p>

端到端自動駕駛技術的發(fā)展遵循著漸進的路徑：目前，BEV+OCC+Transformer

已經實現了感知模塊的端到端架構，決策模塊也在逐步從依賴手寫規(guī)則向基于深度學習的模式轉變，最終目標是實現模塊化聯合與單一模型的端到端自動駕駛。人為定義接口BEV感

知人為定義接口BEV感

知Rule-BasedPlannerAI

Planner“端到端”感

知(現有主流架構)決策規(guī)劃模型化·BEV+Transformer

推動感知方案性能提升

決策規(guī)劃模塊仍然基于規(guī)則仍然保留兩個模塊獨立訓練，而預測與決策

規(guī)劃模塊神經網絡化通過人工定義的方式制定接口模塊間以特征向量為輸出與輸出兩個模塊通過梯度傳導的方式同時訓練沒有模塊間的明確劃分，是單一模型基

于RL或IL

等深度學習方式進行模型訓練融合趨勢下，“端到端”從感知走向決策，再走向聯合一體化。端到端自動駕駛大模型One

Model端到端。(生成式Al大模型)隱式表達特征BEV

Feature圖：端到端自動駕駛系統架構演進Source:

辰韜資本《端到端自動駕駛行業(yè)研Rule-BasedLearning-Based模塊化聯合端到端JA

Z

z

Y

E

A

Rwww.jazzyear.comPlanning

Former14●口模塊化自動駕駛系統面臨信息丟失、計算效率低、累積誤差以及維護成本等問題，這些問題難以回避，需要新的思路去解決?？?/p>

端到端自動駕駛通過將傳感器收集到的全面信息作為輸入，在單一網絡中直接生成車輛的控制指令或運動規(guī)劃。這種設計使得整個系統針對最終

目標進行優(yōu)化，而非僅僅針對某個獨立的子任務，從而實現自動駕駛性能的全局最優(yōu)化?？?/p>

隨著高質量數據的不斷積累和模型的持續(xù)優(yōu)化，端到端架構有望展現出比傳統模塊化架構更優(yōu)越的自動駕駛性能。圖：端到端自動駕駛的特點與優(yōu)勢·

不僅感知模塊，決策規(guī)劃與控制模塊也由數據驅動，實現全棧數據驅動·

無需或僅需少量人工編碼、手寫規(guī)則，簡化開發(fā)流程·

提升數據規(guī)模與質量能夠顯著提升產品性能，不斷提升系統的能力上限·

端到端是一體化架構，為汽車行駛的全局任務為統一目標聯合訓練

·

避免模塊化的單獨優(yōu)化·

不需要通過頻繁的patch和參數調整修正·

—體化的模型結構能夠減少信息傳遞的延遲，加快系統反應·

消除各模塊之間信息傳遞的誤差累積，全棧神經網絡的上下層之間可以

做到全量信息傳遞PerformanceTime模塊化

端到端1

數據驅動2

全局最優(yōu)

消除誤差瞄準“全局最優(yōu)”,端到端路線的提出有望有效緩解模塊化架構的弊端。Source:

公開資料光智庫。www.jazzyeJAZ

zY

E

A

R15模仿學習(IL)行為克隆

(BC)通過監(jiān)督學習模仿

專家行為簡單直接，易于實

現實現簡單，計算效無法捕捉專家決策廣泛應用，但面臨率高

據分泛化和魯棒性挑戰(zhàn)模仿學習(IL)逆最優(yōu)控制

(IOC)通過專家演示學習

獎勵函數嘗試解釋專家行為

背后的意圖可能更好地理解任學習獎勵函數困難，主要用于研究，實務結構需要大量專家數據

際應用較少強化學習(RL)強化學習(RL)通過試錯學習最優(yōu)

策略能夠處理高維輸入

和連續(xù)動作空間

上能學習更優(yōu)需

，

others策略蒸餾(PolicyDistillation)訓練輔助網絡來指

導主網絡學習利用輔助網絡的知

識來提升主網絡性

能可以提高學習效率需要設計合適的輔研究階段，探索如和策略性能助網絡和訓練策略

何有效傳遞知識others模型預測控制

(MPC)利用模型預測未來

狀態(tài)來進行控制決

策考慮未來狀態(tài)，可

以優(yōu)化長期行為能夠考慮未來預測，計算成本高，需要

提高策略魯棒性

精確模型研究和特定應用中

使用，需要進一步

優(yōu)化戰(zhàn)進挑有用中應境實環(huán)真擬穩(wěn)計不和訓練數據資源大量定算要略論策理敏感對數布偏復雜口模仿學習

(Imitation

Learning)和強化學習(Reinforcement

Learning)是當前用于訓練端到端神經網絡的兩種主要方法。口模仿學習主要通過逆最優(yōu)控制(Inverse

Optimal

Control)和行為克隆(Behavior

Cloning)來實現，其核心理念是讓智能體通過模仿專家的行

為來學習最優(yōu)策略。而強化學習則是一種通過試錯來學習的領域，其中獎勵函數的設計是一個關鍵挑戰(zhàn)。模仿學習與強化學習是端到端自動駕駛的主要訓練方法。Data

bufierπpLeamπ圖：端到端自動駕駛背后的基本訓練方法行為克隆

逆最優(yōu)控制強化學習www.jazzyea16路徑規(guī)劃路徑預測大語言模型仿真與測試人機交互/個性化大模型之于自動駕駛汽車大視覺模型GAIA、SORA等感知決策一體化多模態(tài)大模型視覺理解與推理口大型語言模型、視覺模型(如世界模型)、以及多模態(tài)大型模型等基礎模型展現出了強大的能力，并且這些能力正在自動駕駛技術的融合應用中正在被積極開發(fā)。口這些基礎模型通過預訓練獲得了推理能力和豐富的知識，能夠升級傳統的基于規(guī)則的if-else系統。出色的泛化能力能夠應對自動駕駛技術發(fā)展中的挑戰(zhàn)，提升在感知、預測、規(guī)劃等關鍵領域的性能，升級自動駕駛仿真和測試環(huán)節(jié)的技術手段。大視覺模型

(VFM)●

目標檢測和跟蹤：VFM在3D

物體檢測和分割方面的能力，對于自動駕駛的感知系統升級至關重要；●

仿真和測試：VFM的視頻生成能力，為創(chuàng)建逼真的駕駛場景提供了支持，這對于自動駕駛系統的安全性和可靠性提

升有極大潛力。多模態(tài)大模型

(MFM)·

視覺理解與空間推理：MFM

結合了視覺和語言信息，展現出卓越的視覺理解和空間推理能力，對自動駕駛系統的決

策過程至關重要；·

綜合感知與預測：MFM通過整合視覺和語言數據，提高了對環(huán)境的感知精度和對其他交通參與者行為的預測準確性。大語言模型

(LLM)·推理和規(guī)劃：LLM

利用其在邏輯推理、代碼生成和翻譯方面的專長，為自動駕駛的路徑規(guī)劃和決策制定提供支持；

·用戶交互：通過理解自然語言并執(zhí)行用戶指令，LLM

使智能駕駛系統更加用戶友好，實現個性化體驗；·

常識性駕駛知識：

LLM

的預訓練能力使其能夠理解和應用駕駛常識，可能替代傳統的基于規(guī)則的系統。各類基礎模型有望為自動駕駛帶來新維度上的能力。Gao,et

al.,A

Survewww.jazzyear.com視頻生成/世界模型Source:HaoxiangGPT-4Vision、LLaVA等ChatGPT、LLaMA等環(huán)境感知17目

錄CON下ENTSJA

Z.Z

Y

E

A

RPart

01發(fā)展背景：汽車智能化正加速普及

P02

光Part

02

創(chuàng)新思路：端到端自動駕駛的價值

P09Part

03

廠商實踐：技術路線的選擇與踐行

P18Part04

未來展望：端到端的挑戰(zhàn)與未來式

P26JAZZ

Y

E

A

R18WAYVEDEEPROUTE.Ai元戎啟行comma.aiRoboticsapolloAlmomenTa

地

平

線Horzon

Robotlos黑芝麻智能HAOMO,AIT

EC

H

N

OLOGIE

SHUAWEI口端到端自動駕駛正迅速成為自動駕駛行業(yè)的新焦點，吸引了多種類型的參與者投身于這一路線，涵蓋了車企、人工智能企業(yè)、自動駕駛技術公司、機器人公司以及自動駕駛芯片制造商。口

隨著對“端到端”理念的共識逐步建立，預計將有更多的企業(yè)加入這一行列，各自發(fā)揮專長，共同推動端到端自動駕駛技術的繁榮發(fā)展。圖：端到端自動駕駛行業(yè)代表玩家(不完全整理)乙ERON零一汽

車T

三與L

萬小

鵬

長成汽車NIO人工智能公司/自動駕駛解決方案供應商Note:

基于網絡公并信息的不完全整理

，

www.jazzyear.com

19一體化端到端模型模塊化聯合端到端端到端自動駕駛部分廠商PhiGent鑒智機器人商湯sensetime車企/新勢力NVIDIABLACKSESAMEC口特斯拉無疑是電動汽車和自動駕駛行業(yè)的領軍者，它已于2024年1月向北美用戶正式推送FSD

V12,成為首家在量產車型上實現端到端自動駕駛落地的公司。口

FSD

V12在復雜場景下展現了卓越的泛化能力，且其駕駛風格不再局限于傳統的規(guī)則遵循，而是變得更加靈活，類似于經驗豐富的駕駛員，能夠根據實際情況做出適應性調整。口

特斯拉在端到端自動駕駛算法領域的領先地位，得益于在FSD

真實里程積累和超大規(guī)模算力投入方面的深厚基礎，這也是特斯拉最大的競爭優(yōu)勢。圖1:特斯拉算力儲備將在2024年10月達到100EFLOPS

圖2:特斯拉FSD

已經累計開了10億英里*相當于30萬塊NvidiaA100算力端自動駕駛模型訓練提供充沛算力。*該數據仍然在持續(xù)、快速上漲，賦能FSD

的迭代更新。Source:

光年智庫整理。

20TrainedOn

ExtremelyLargeComputein

Units

Of

A100

GPUs

Total

Amount

Of

Tesla

Compute1BFSD

Miles

Driven1000p00000800000.0006000000004000o0c00端到端玩家簡析-特斯拉口

成立于2017年的Wayve,

是一家位于英國倫敦的自動駕駛技術公司，以其創(chuàng)新的端到端機器學習技術而著稱，專注于開發(fā)具有高度適應性和可擴

展性的端到端自動駕駛系統。□

Wayve在端到端自動駕駛技術領域取得了顯著進展，先后推出了大型語言模型LINGO-1/2,視覺生成模型GAIA-1,以及專為高級自動駕駛仿真

訓練和測試而設計的PRISM-1。Driving

ActionWayveVision

LanguageAction

ModelWayveVideo

input

VisionModelPRISM-1·僅依靠純視覺信息，即可進行精確的4D

場景重建(空間+時間),用于自動

駕駛的模擬仿真測試·增強其自動駕駛技術的測試和訓練·

同時發(fā)布了WayveScenes101

Benchmark

基準數據集GAIA-1·能夠通過視頻、動作和文本生成真實駕駛視頻的生成式AI世界模型·

生成多個合理的未來，時長可達幾分鐘

·可通過語言、動作進行控制生成的內容·能夠賦能自動駕駛系統的訓練LINGO-2·自動駕駛領域首個視覺-語言-動作模型·

使用自然語言訓練，可解釋Al駕駛模型，顯著提升了系統的可解釋性·最新發(fā)布的LINGO-2

增加了人機交互

功能，司機可通過語言命令控制汽車圖：將世界模型融入自動駕駛，Wayve

加速端到端—體化模型的研發(fā)迭代速度端到端玩家簡析-Wayve

WAYVESource:Wayve?公開資料，智庫Imageencoderaction

etexten

der4D

場景重建模型/合成數據www.jazzyear.comLearned

queriesText視頻生成模型VLAM

模型videodecoderTa21Learning-Based

2023.8更少的工程更多的數據

通用感知網絡

預測規(guī)劃網絡

控制

元戎的DeepRoute

IO方案，無需開發(fā)、訓練多個模型，將感知、預測、規(guī)劃等2022

全打通端到端模型實現輸入圖像后，直接輸出多傳感器融合

預測

地圖

定位

控制動作決策

規(guī)劃

控制

·Mapfree

全域點到點·

更擅長處理復雜路況2017

·

信息處理無減損目標檢測目標跟蹤后融合預測Rule-Based

更多的工程適量的數據

決策

規(guī)劃

控偉

地

圖

定位

Source:

元戎啟行光公開資料，智

www.jazzyear.com

22口

元戎啟行于2024年北京車展上隆重推出了其即將量產的高端智能駕駛平臺DeepRoute

IO,該平臺采用了端到端自動駕駛模型，標志著元戎啟行成為國內首批將端到端大型模型成功應用于量產車輛的人工智能企業(yè)?！魿EO周光曾表示：“DeepRoute

IO平臺不依賴高精度地圖，應用端到端模型，具有極佳的綜合性能以及更強的長尾場景處理能力。目前，10平

臺已在城市線級不同的多個城市進行泛化測試，這些等級不同的城市人口均超千萬，道路情況極具代表性。1O

平臺推向消費者市場后，所到之處都能開，任何場景都好開。”圖：元戎啟行的端到端融合演進路線端到端玩家簡析-元戎啟行端到端模型開展道路測試·

駕駛行為更加“人性化”JAZZY

E

A

RDEEPROUTE.Ai元戎啟行口商湯科技及其聯合實驗室提出了行業(yè)內首個感知與決策一體化的自動駕駛通用模型UniAD,該模型榮獲了2023年CVPR

的最佳論文獎。進一步地

在2024年，商湯科技推出了適用于實車部署、面向量產的真正端到端自動駕駛解決方案UniAD?！?/p>

UniAD模型將感知、決策、規(guī)劃等關鍵模塊整合到一個全棧的Transformer端到端模型中，通過聯合訓練保留了各個模塊的特性。它實現了感知

與決策的一體化，同時保持了模塊化系統的優(yōu)勢，便于進行問題的回溯和分析。UniAD

包括四個基于Transformer

解碼器的感知、預測模塊和一個規(guī)劃器并不限于特定的Transformer

解碼器，可以加入其他的替代方

案進行感知與BEV特征提取查詢Q

起到連接管道的作用，方便聯合訓練與交互建模將各個任務進行層級式的結合，并對不同任務間的信息進行了

充分的交互通過端到端聯合訓練避免了多任務訓練的融合難題，實現全局

最優(yōu)，同時保留了分模塊系統的優(yōu)勢，可以拋出中間模塊的結

果進行白盒化分析www.jazzyear.com

23真

·端到端UniAD統一的感知決策規(guī)劃模型

Learning-Based,聯合訓練BackbonePerceptionSource:商湯科技

UniAD:Planning-orie兩段式端到端網絡感知模塊

Learning-Based端到端玩家簡析-商湯絕影基于規(guī)則的網絡感知模塊

Learning-Based△

O

Ego-vchicleQueryB

BEV

Feature

TrackFormer攝像頭激光雷達毫米波雷達超聲波雷達高精地圖攝像頭激光雷達毫米波雷達超聲波雷達高精地圖攝像頭激光雷達毫米波雷達超聲波雷達SD地圖UniAD

的聯合訓練實現方法MotionQPredictionUniAD

端到端解決方案演進路徑決策規(guī)劃

Learning-BasedJ

A

Z

z

Y

E

A

R決策規(guī)劃

Rule-Based···

··Multi-viewVision-onlyInputOce

QBBird'seyeview

FeatureMotionFormerAgent-levelFeatureScene-levelFeatureMapFormerPlanningOccFormerPlannerMap

QTrack

QB口在2024年的520AI

Day上，小鵬汽車發(fā)布了其端到端大模型，該模型由三個關鍵組成部分構成：XNet

感知神經網絡、XPlanner

規(guī)劃控制大模型以及XBrain大語言模型。口

小鵬計劃讓其端到端智能駕駛大模型實現“每2天迭代一次”的快速更新周期。按照這一規(guī)劃，預計在未來18個月內，小鵬的XNGP系統的能力將

實現30倍的提升(接管率指標)。圖：小鵬發(fā)布端到端大模型，面向旗下量產車型

小

朋

鵬感知規(guī)劃控制Source:

小鵬汽車光公開資料，

智

24XPlanner·

基于神經網絡的規(guī)劃大模型，是自動駕駛汽車的“小腦”擁有“老司機般的腳法”,前后頓挫減少50%、違停卡死減少

40%、安全接管減少60%·讓用戶舒適性、安全性體驗大幅提升·深度視覺感知神經網絡，是自動駕駛汽車的“眼睛”·

聚合了動態(tài)XNet、靜態(tài)XNet

和純視覺2K占用網絡·感知范圍提升2倍，面積可達1.8個足球場大小，能精準識別50+個目標物，讓用戶如同擁有鷹眼視覺·

具備理解學習能力，泛化能力提升，可處理復雜甚至未知場景系統能夠認識待轉區(qū)、潮汐車道、特殊車道、路牌文字，秒懂

各種令行禁止、快慢緩急的行為指令，進而做出兼顧安全、性

能的擬人駕駛決策端到端玩家簡析-小鵬·Al大語言模型，是自動駕駛汽車的“大腦”XNetJAZ

zY

E

A

RXPlannerXPlannerXBrainXNet十級華為歷代ADS智駕方案特性類別ADS

1.0ADS

2.0ADS

3.0發(fā)布時間2021年4月2023年4月2024年4月軟件架構BEVBEV+GOD網絡GOD網絡+PDP網絡核心功能NCA領航輔助(上海、廣州、深圳等)NCA領航輔助(全國高速、城區(qū))NCA領航輔助(全國高速、城區(qū)，實現

點到點)搭載車型極狐阿爾法S、阿維塔11問界M5/M7/M9,阿維塔11/12,智界S7享界S9(預計),后續(xù)有

更多品牌與車型加入口華為在2024年4月推出了新品牌乾崑及其新一代智能駕駛解決方案ADS3.0,該方案以GOD網絡和PDP網絡為核心，實現了端到端的智能駕駛□

GOD大網絡具備識別白名單和異形障礙物的能力，同時能夠感知道路結構和場景語義，從而更全面地理解駕駛環(huán)境。而PDP預測決策與規(guī)劃網絡

的加入，顯著提升了方案的通行效率，使得復雜路口的通過率達到96%以上。通過快速的更新迭代，ADS

3.0將能幫助車主實現“越開越好開”

和“行駛更類人”的目標。相較于ADS2.0,ADS3.0在感知部分采用GOD大感知網絡，決策規(guī)劃

部分采用PDP網絡，完成了決策規(guī)劃模塊的神經網絡化；ADS

3.0可實現車位到車位的NCA領航輔助功能，實現從公開道路到園區(qū)道路再到地下車位全場景貫通；云端訓練，快速迭代：學習訓練算力達3.5E

FLOPS,每天學習里程

3000萬+公里，5天一次模型更新速度。PDP

網絡GOD

網絡端到端玩家簡析-華為乾崑華為乾崑ADS3.0架構感知

(理解駕駛場景)

預測與決策LidarNavigationSource:

公開資料光智庫整理。www.jazzyear.com

25JAZ

zY

E

A

RVisionRadar預決策規(guī)劃一張網運動控制目

錄CON下ENTSJAZ.ZY

EA

RPart

02

創(chuàng)新思路：端到端自動駕駛的價值

P09Part

04

未來展望：端到端的挑戰(zhàn)與未來式

P26Part

03

廠商實踐：技術路線的選擇與踐行

P18發(fā)展背景：汽車智能化正加速普及JAZZY

E

A

RPart01P02光26口盡管端到端架構相較于傳統的模塊化自動駕駛展現出了諸多優(yōu)勢，并且吸引了眾多汽車制造商、科技公司以及其他自動駕駛領域的企業(yè)參與，端到端自動駕駛在落地和商業(yè)化方面仍然面臨諸多挑戰(zhàn)?？?/p>

構建所需的強大算力、獲取用于模型訓練的高質量海量數據，以及端到端大模型的“不透明性”和“解釋性不足”,都是制約產品性能提升和安全保障的關鍵問題，需要行業(yè)各方共同努力，攜手解決。·

與大語言模型剛問世時類似，端到端的訓練方式讓模型不可避免

地存在不可解釋性·

自動駕駛的“失效成本”很高，

強調安全底線，需要設置額外的

完全邊界做冗余·

大模型需要大

算

力

，需要廠商不斷提升GPU的采購規(guī)模，這意味

著端到端模型的訓練成本非常高昂·

AI

廠商均在算力層面的投入，但

國內GPU的限制仍是挑戰(zhàn)

系統的安全性保障www.jazzyea

27·

大模型需要大數據，本質上來講，端到端自動駕駛是海量駕駛視頻

片段的學習(壓縮與升華)需要極大規(guī)模的高質量數據，采

集、清洗、篩選都是難點

技術路線不確定Source:

公開資料光智庫整理。算力、數據與可解釋性，是端到端模型上車的主要挑戰(zhàn)。

優(yōu)質大規(guī)模數據

缺乏驗證方法2

弱解釋性問題1

巨額投入成本團隊組織變革車企特斯拉Dojo智算中心100000

PFLOPS長安長安智算中心1420

PFLOPS吉利星睿智算中心810

PFLOPS理