先看一篇論文

2311.18636 (arxiv.org)

這篇論文里有一個非常好的圖

比較了一下模塊化任務(wù)(級聯(lián)任務(wù))和端到端自動駕駛的區(qū)別

首先什么叫模塊化任務(wù)(級聯(lián))

如上圖所示，左邊的方塊中的子方塊，是展示了自動駕駛獲取數(shù)據(jù)的途徑，這里包括：

• LiDARs（激光雷達(dá)）：使用激光束創(chuàng)建周圍環(huán)境的高分辨率3D地圖。它們對于檢測障礙物、測量距離和提供詳細(xì)的空間信息至關(guān)重要。
• Cameras（攝像頭）：用于視覺感知，幫助系統(tǒng)識別交通信號、道路標(biāo)志、車道標(biāo)記以及其他車輛和行人。攝像頭提供的高分辨率圖像對于目標(biāo)檢測和分類非常重要。
• RADARs（雷達(dá)）：使用無線電波檢測物體并測量其距離和速度。雷達(dá)在惡劣天氣條件下（如霧或大雨）尤其有用，因?yàn)樵谶@些條件下攝像頭和激光雷達(dá)可能表現(xiàn)不佳。
• HD Maps（高精度地圖）：提供詳細(xì)的道路信息，包括車道結(jié)構(gòu)、交通標(biāo)志和地理特征，幫助車輛準(zhǔn)確定位和導(dǎo)航。
• IMU（慣性測量單元）：使用加速度計和陀螺儀測量車輛的加速度和角速度，提供精確的運(yùn)動信息，有助于定位和穩(wěn)定控制。
• GPS（全球定位系統(tǒng)）：提供車輛的地理位置信息，結(jié)合其他傳感器數(shù)據(jù)，實(shí)現(xiàn)厘米級的精確定位。

以上的各種sensor其實(shí)可以看出來大部分的自動駕駛的輸入其實(shí)天生就是多模態(tài)的，但是可以任務(wù)比如純視覺方案（特斯拉）它就不是多模態(tài)的嗎？

這是一個錯誤的理解，特斯拉的純視覺方案在訓(xùn)練時有text指令的輸入，所以它也是多模態(tài)的。

或者目前可了解到的，只有特斯拉實(shí)現(xiàn)了端到端的模型，是不是只有純視覺方案才有資格稱得上端到端？這些概念都是錯誤的。

這個也是不正確的理解，那讓我們看一下怎么定義端到端。

如圖所示，傳統(tǒng)的自動駕駛的流程是由多個模型組成的（有些模塊甚至不能嚴(yán)格成為模型），比如上面的一個概述：

1. Perception（感知）：感知模塊負(fù)責(zé)處理來自各種傳感器的數(shù)據(jù)（如攝像頭、雷達(dá)和激光雷達(dá)），識別并理解車輛周圍的環(huán)境。這包括檢測其他車輛、行人、道路標(biāo)志、交通信號燈等。
2. Localization（定位）：定位模塊通過融合GPS、高精度地圖、IMU（慣性測量單元）等數(shù)據(jù)，確定車輛在環(huán)境中的準(zhǔn)確位置。這是確保車輛能夠正確導(dǎo)航和執(zhí)行路徑規(guī)劃的基礎(chǔ)。
3. Tracking（跟蹤）：跟蹤模塊持續(xù)監(jiān)控并預(yù)測周圍移動物體的位置和速度，例如其他車輛和行人，以便系統(tǒng)能夠做出及時和準(zhǔn)確的反應(yīng)，避免碰撞。
4. Path Planning（路徑規(guī)劃）：路徑規(guī)劃模塊基于感知和定位信息，計算車輛從當(dāng)前地點(diǎn)到目的地的最優(yōu)路徑。該路徑需要考慮道路狀況、交通法規(guī)和動態(tài)障礙物等因素。
5. Decision Making（決策）：決策模塊根據(jù)感知、定位和路徑規(guī)劃的信息，決定車輛的具體行動。例如，選擇何時變道、超車或停車等待，這些決策都需要綜合考慮安全性和效率。
6. Controls（控制）：控制模塊將決策模塊的輸出轉(zhuǎn)換為具體的車輛操作指令，如轉(zhuǎn)向、加速、制動等。確保車輛按照規(guī)劃的路徑和速度安全行駛。

這些模塊協(xié)同工作，構(gòu)成了一個完整的自動駕駛系統(tǒng)，能夠感知環(huán)境、確定位置、規(guī)劃路徑、做出決策并執(zhí)行控制指令，實(shí)現(xiàn)自動駕駛的功能。

這些模塊，各自有各自的訓(xùn)練任務(wù)，而且后一個模塊，一般依賴于前一個模塊的輸出質(zhì)量。

比如如果你感知做的很垃圾，那么很不幸的是，你的跟蹤，路徑規(guī)劃，決策啥的，都會受到影響。

另外對于開發(fā)模式來講，傳統(tǒng)的自動駕駛，感知肯定是感知組，拿CV模型做一些工作。

那么決策組里面，很多根本和大模型是不沾邊的，是基于非常多人的一個team。來寫各種駕駛情況下的policy，通過tree或者其他的可解釋的算法來對感知送過來的output來進(jìn)行決策。

那么對于端到端的自動駕駛來講，這些以上的模塊絕大多數(shù)都集成在一個模型里，大概這樣

一般來講目前能做到純粹上面的那種模式，直接sensor拿到input，進(jìn)一個端到端的模型，最后直接出控制信號，讓比如方向盤剎車來覺得的這種少之又少，相當(dāng)于你直接拿encoder的各種模態(tài)的外界信息，去做一個loss function為控制信號的模型，這個多少還有點(diǎn)那個的，至少損失函數(shù)不是特別好定義（你整個車多少控制單元呢）。

相當(dāng)而言，下面的這個方式，比較好容易被接受，就是把感知，預(yù)測，決策這些模塊在一個模型了，planning和control這些不用放在模型里執(zhí)行，在模型外，可以寫一些兜底的策略，比如緊急避障，緊急剎車，限速啥的。（據(jù)傳聞，特斯拉的FSD12，現(xiàn)在主要是這個模式，應(yīng)該也沒做到第一種形態(tài)）

我剛到西安，我估計這個內(nèi)容很多人感興趣，但是確實(shí)寫著寫著有點(diǎn)累了，先寫到這吧，當(dāng)個連載來更，蘿卜快跑，fsd12啥的后面寫