當(dāng)前位置：首頁 > news >正文

長(zhǎng)沙做網(wǎng)站建設(shè)公司排名關(guān)鍵詞是怎么排名的

news 2025/7/13 0:36:23

長(zhǎng)沙做網(wǎng)站建設(shè)公司排名,關(guān)鍵詞是怎么排名的,大良營(yíng)銷網(wǎng)站建設(shè)機(jī)構(gòu),深圳中小型網(wǎng)站建設(shè)公司論文地址： VLM-AD: End-to-End Autonomous Driving through Vision-Language Model Supervision 摘要人類駕駛員依賴常識(shí)推理來應(yīng)對(duì)復(fù)雜多變的真實(shí)世界駕駛場(chǎng)景?，F(xiàn)有的端到端（E2E）自動(dòng)駕駛（AD）模型通常被優(yōu)化以模仿…

論文地址：?VLM-AD: End-to-End Autonomous Driving through Vision-Language Model Supervision

摘要

????????人類駕駛員依賴常識(shí)推理來應(yīng)對(duì)復(fù)雜多變的真實(shí)世界駕駛場(chǎng)景?，F(xiàn)有的端到端（E2E）自動(dòng)駕駛（AD）模型通常被優(yōu)化以模仿數(shù)據(jù)中觀察到的駕駛模式，但未能捕捉到背后的推理過程。這種限制使得它們?cè)谔幚砭哂刑魬?zhàn)性的駕駛場(chǎng)景時(shí)能力受限。為了彌合這一差距，我們提出了VLM-AD，一種利用視覺語言模型（VLMs）作為教師來增強(qiáng)訓(xùn)練的方法，通過提供額外的監(jiān)督信號(hào)，將非結(jié)構(gòu)化的推理信息和結(jié)構(gòu)化的動(dòng)作標(biāo)簽融入訓(xùn)練中。這種監(jiān)督能夠增強(qiáng)模型學(xué)習(xí)更豐富的特征表示的能力，從而捕捉駕駛模式背后的邏輯。重要的是，我們的方法在推理時(shí)不需要VLM，使其適合實(shí)時(shí)部署。當(dāng)與現(xiàn)有最先進(jìn)的方法結(jié)合時(shí)，VLM-AD在nuScenes數(shù)據(jù)集上顯著提高了規(guī)劃精度，并降低了碰撞率。

圖1. VLM-AD通過在訓(xùn)練期間使用輔助文本預(yù)測(cè)任務(wù)增強(qiáng)任意端到端駕駛模型。這些任務(wù)從視覺語言模型（VLM）中提煉?cǎi){駛推理知識(shí)，以鼓勵(lì)模型學(xué)習(xí)更豐富的特征表示，而無需在訓(xùn)練時(shí)對(duì)VLM進(jìn)行微調(diào)或在推理時(shí)使用VLM。

1. 引言

????????端到端自動(dòng)駕駛（AD）將感知、預(yù)測(cè)和規(guī)劃統(tǒng)一到一個(gè)框架中，旨在協(xié)調(diào)包括檢測(cè)、跟蹤、建圖、預(yù)測(cè)和規(guī)劃在內(nèi)的多個(gè)復(fù)雜任務(wù)。近期的研究方法通過使用傳感器數(shù)據(jù)生成規(guī)劃的自我軌跡，采用單一的整體模型來解決這些挑戰(zhàn)。盡管這些方法已經(jīng)顯示出一些有希望的結(jié)果，但它們?cè)谔幚砭哂刑魬?zhàn)性的長(zhǎng)尾事件時(shí)性能會(huì)下降。另一方面，人類駕駛員通常能夠通過推理駕駛環(huán)境并相應(yīng)地調(diào)整行為來有效處理這些場(chǎng)景。這突顯了當(dāng)前端到端模型在訓(xùn)練中的一個(gè)缺口，它們僅依賴于軌跡監(jiān)督作為一系列點(diǎn)，缺乏用于學(xué)習(xí)豐富且魯棒特征表示的推理信息，以實(shí)現(xiàn)更好的駕駛性能。手動(dòng)標(biāo)注推理信息通常成本高昂、耗時(shí)且容易出現(xiàn)不一致和主觀的結(jié)果，這使得獲取高質(zhì)量和可擴(kuò)展的標(biāo)注變得困難。大型基礎(chǔ)模型通過提供復(fù)雜任務(wù)（如駕駛）的推理能力提供了一種替代方案。近期的一些方法直接將大型基礎(chǔ)模型（如大型語言模型[LLMs]和視覺語言模型[VLMs]）集成到AD系統(tǒng)中，以利用它們的推理能力。然而，這些方法需要大量的特定領(lǐng)域微調(diào)，以將基于語言的輸出轉(zhuǎn)化為精確的數(shù)值結(jié)果，如規(guī)劃軌跡或控制信號(hào)。此外，這些方法在推理時(shí)依賴于大型基礎(chǔ)模型，這顯著增加了訓(xùn)練成本和推理時(shí)間，使得這些方法不適合實(shí)際應(yīng)用。

鑒于手動(dòng)標(biāo)注的局限性和直接將大型基礎(chǔ)模型集成到駕駛系統(tǒng)中的挑戰(zhàn)，我們提出了以下問題：大型基礎(chǔ)模型（如VLMs）是否可以生成基于推理的文本信息，以增強(qiáng)自動(dòng)駕駛模型，而無需在推理時(shí)進(jìn)行集成？受此問題的啟發(fā)，我們提出了VLM-AD（如圖1所示），一種利用VLMs作為教師自動(dòng)生成基于推理的文本標(biāo)注的新方法。這些標(biāo)注隨后作為補(bǔ)充監(jiān)督信號(hào)用于訓(xùn)練端到端流程，超越了標(biāo)準(zhǔn)軌跡標(biāo)簽的范圍。具體來說，給定一個(gè)多視角圖像序列和自車的未來軌跡，我們將未來軌跡投影到初始前視圖像上，以納入關(guān)鍵的時(shí)間運(yùn)動(dòng)信息。然后，我們通過針對(duì)車輛當(dāng)前狀態(tài)、預(yù)期未來行為和推理過程的針對(duì)性問題提示VLM模型，生成自由形式和結(jié)構(gòu)化的響應(yīng)，從而將關(guān)鍵的VLM知識(shí)注入訓(xùn)練流程。這種可擴(kuò)展的方法使我們能夠構(gòu)建一個(gè)富含VLM生成標(biāo)注的數(shù)據(jù)集，有效解決了現(xiàn)有駕駛數(shù)據(jù)集中缺乏推理線索的問題。我們基于這些標(biāo)注設(shè)計(jì)了輔助任務(wù)，并無縫地將其整合到現(xiàn)有的端到端模型中進(jìn)行聯(lián)合訓(xùn)練。這些任務(wù)鼓勵(lì)模型學(xué)習(xí)更豐富的特征表示，以提升駕駛性能，而無需在推理時(shí)使用VLM。我們的貢獻(xiàn)可以總結(jié)如下：

我們提出了VLM-AD，這是一種簡(jiǎn)單而有效的方法，通過精心設(shè)計(jì)的提示將VLM的駕駛推理知識(shí)提煉到端到端AD流程中，生成基于推理的行為文本標(biāo)注的高質(zhì)量數(shù)據(jù)集。
我們?cè)O(shè)計(jì)了兩個(gè)即插即用的輔助任務(wù)，通過非結(jié)構(gòu)化的自由形式文本和結(jié)構(gòu)化的動(dòng)作標(biāo)簽監(jiān)督現(xiàn)有的端到端AD流程。這些任務(wù)無需對(duì)VLM進(jìn)行微調(diào)或在推理時(shí)使用，即可有效地提煉VLM知識(shí)，指導(dǎo)模型學(xué)習(xí)更豐富的特征表示以提升規(guī)劃性能。
在nuScenes數(shù)據(jù)集上的廣泛實(shí)驗(yàn)驗(yàn)證了我們提出方法的有效性，顯示出在L2規(guī)劃誤差上分別提升了14.6%和33.3%，并將UniAD和VAD的碰撞率分別降低了38.7%和57.4%。

2. 相關(guān)工作

End-to-End Autonomous Driving.?端到端自動(dòng)駕駛系統(tǒng)將所有模塊聯(lián)合訓(xùn)練以實(shí)現(xiàn)統(tǒng)一目標(biāo)，從而減少整個(gè)流程中的信息丟失。例如，ST-P3 [17] 和 UniAD [18] 提出了基于視覺的端到端自動(dòng)駕駛系統(tǒng)，將感知、預(yù)測(cè)和規(guī)劃統(tǒng)一起來。這些模型在開放環(huán)路的nuScenes數(shù)據(jù)集 [3] 上取得了最先進(jìn)的結(jié)果。后續(xù)的研究，如VAD [26] 和VADv2 [6]，引入了矢量化編碼方法以實(shí)現(xiàn)高效的場(chǎng)景表示，并擴(kuò)展到CARLA [14] 上的閉環(huán)仿真。近期的方法，如Ego-MLP [62]、BEV-Planner [35] 和PARA-Drive [58]，進(jìn)一步探索了自我狀態(tài)和模塊化堆棧中的新設(shè)計(jì)空間，以提升駕駛性能。盡管端到端駕駛方法在開發(fā)中顯示出潛力，但它們主要被優(yōu)化以模仿數(shù)據(jù)中的駕駛模式，而未能捕捉到背后的推理過程。這種局限性主要是由于現(xiàn)有數(shù)據(jù)集中缺乏推理信息。因此，這些方法無法獲取更深層次的推理知識(shí)，這可能會(huì)限制它們?cè)趶?fù)雜場(chǎng)景中的性能。

Foundation Models for Autonomous Driving.?基礎(chǔ)模型，包括大型語言模型（LLMs）和視覺語言模型（VLMs），正越來越多地被應(yīng)用于自動(dòng)駕駛領(lǐng)域，以利用它們的高級(jí)推理能力。GPT-Driver [39] 和Driving-with-LLMs [4] 使用LLMs提供帶有解釋的動(dòng)作建議，從而增強(qiáng)決策的透明性。近期的一種方法 [11] 利用LLMs評(píng)估車道占用和安全性，實(shí)現(xiàn)更具人類直覺的場(chǎng)景理解。然而，基于LLM的方法主要依賴于語言輸入，這限制了它們整合駕駛中豐富的視覺特征的潛力。

????????VLMs通過整合語言和視覺實(shí)現(xiàn)多模態(tài)推理，支持諸如場(chǎng)景理解 [10, 21, 42, 49] 和數(shù)據(jù)生成 [24, 56, 64] 等任務(wù)。VLMs還被用于統(tǒng)一導(dǎo)航和規(guī)劃 [15, 29, 51, 53] 以及端到端自動(dòng)駕駛 [27, 40, 55, 61]。然而，現(xiàn)有的基于VLM的方法通常需要大量的特定領(lǐng)域微調(diào)，這顯著增加了計(jì)算成本和推理延遲。與我們的方法密切相關(guān)的是，VLP [40] 將軌跡和邊界框標(biāo)簽轉(zhuǎn)換為用于對(duì)比學(xué)習(xí)的文本特征，但它沒有引入超出現(xiàn)有監(jiān)督標(biāo)簽的信息。相比之下，我們的方法利用VLM提供額外的推理信息，以進(jìn)一步提升駕駛性能。

Multi-Task Learning. 多任務(wù)學(xué)習(xí)（MTL）通過共享表示聯(lián)合執(zhí)行多個(gè)相關(guān)任務(wù)，通過單獨(dú)的分支或頭部實(shí)現(xiàn)。這種方法利用共享的領(lǐng)域知識(shí)，增強(qiáng)特征的魯棒性和泛化能力，使其非常適合端到端自動(dòng)駕駛。在AD系統(tǒng)中，輔助任務(wù)如語義分割 [9, 19, 23, 33, 60]、深度估計(jì) [33, 60]、高精地圖和鳥瞰圖分割 [8, 25, 47, 48, 63] 常被采用，以提取有意義的感知表示用于后續(xù)目標(biāo)。除了視覺任務(wù)外，其他方法 [22, 59] 還預(yù)測(cè)額外的交通燈狀態(tài)或控制信號(hào)，以提升駕駛性能。受多任務(wù)學(xué)習(xí)成功的啟發(fā)，我們?cè)O(shè)計(jì)了新的輔助任務(wù)，通過從VLM獲取高質(zhì)量的推理標(biāo)注，鼓勵(lì)模型學(xué)習(xí)更豐富的特征表示，從而實(shí)現(xiàn)更可靠的規(guī)劃性能。

圖2. 我們提出的VLM-AD框架。我們利用VLM作為教師，生成自由形式的推理和結(jié)構(gòu)化的動(dòng)作標(biāo)注，這些標(biāo)注被轉(zhuǎn)化為監(jiān)督信號(hào)，通過輔助文本對(duì)齊頭和動(dòng)作分類頭，使模型能夠?qū)W習(xí)更豐富的特征表示。因此，我們的方法在推理時(shí)無需VLM，即可提供更好的規(guī)劃結(jié)果和可解釋的動(dòng)作預(yù)測(cè)。

3. 方法

????????圖2展示了我們提出的VLM-AD框架的概述，它由兩個(gè)主要部分組成。第一部分是注釋分支，我們利用VLM生成額外的信息，創(chuàng)建一個(gè)補(bǔ)充數(shù)據(jù)集作為監(jiān)督信號(hào)。第二部分是我們?cè)O(shè)計(jì)的輔助頭，旨在與這種額外的監(jiān)督信號(hào)對(duì)齊，并且可以有效地集成到任何端到端模型中，跟隨規(guī)劃模塊之后。

**圖3. GPT-4o生成的示例標(biāo)注。** 給定自車前視攝像頭的連續(xù)幀，我們將車輛的未來軌跡投影到第一幀上。通過使用我們?cè)O(shè)計(jì)的提示，我們獲得了關(guān)于自車當(dāng)前狀態(tài)、預(yù)期動(dòng)作和推理的三個(gè)自由形式的文本響應(yīng)，以及三個(gè)結(jié)構(gòu)化的動(dòng)作響應(yīng)。

3.1 VLM文本注釋

????????圖3展示了注釋過程，我們利用VLM作為教師，通過視覺輸入豐富數(shù)據(jù)集中的額外信息，利用其從視覺輸入中推理駕駛行為的能力，加深端到端模型對(duì)駕駛行為的理解。注釋過程可以定義為：

其中，M(·) 表示VLM模型，P 表示語言提示，V 是視覺輸入，而A 是模型的自然語言輸出，作為數(shù)據(jù)集的注釋。我們的目標(biāo)是提供來自自車攝像頭的圖像，以及精心設(shè)計(jì)的提示，以從VLM獲得詳細(xì)且信息豐富的響應(yīng)，利用其廣泛的世界知識(shí)。

????????在我們的工作中，我們使用了GPT-4o [2]，這是一個(gè)在互聯(lián)網(wǎng)規(guī)模數(shù)據(jù)上訓(xùn)練的高性能VLM，用于自動(dòng)標(biāo)注我們的數(shù)據(jù)集。GPT-4o能夠解釋場(chǎng)景，生成合適的基于推理的響應(yīng)，并在復(fù)雜場(chǎng)景中準(zhǔn)確識(shí)別自車的動(dòng)作。

Visual Input. 在確定視覺輸入時(shí)，我們面臨兩個(gè)挑戰(zhàn)。第一個(gè)挑戰(zhàn)是從多個(gè)攝像頭中選擇合適的圖像，這些攝像頭提供了圍繞自車的360度覆蓋。我們探索了兩種方法：從所有視圖創(chuàng)建一個(gè)復(fù)合大圖像，或者僅使用前視圖像，后者通常包含大多數(shù)駕駛?cè)蝿?wù)所需的相關(guān)信息。我們的注釋結(jié)果顯示，這兩種方法的輸出質(zhì)量相當(dāng)，因此我們選擇僅使用前視圖像以降低整體復(fù)雜性。

????????第二個(gè)挑戰(zhàn)是整合時(shí)間信息，這對(duì)于有效的規(guī)劃和決策至關(guān)重要。我們考慮了兩種方法。一種直接的方法是輸入多個(gè)連續(xù)幀作為序列，并在提示中指示未來的時(shí)間戳。然而，我們觀察到VLM在時(shí)間連續(xù)性方面存在困難，經(jīng)?；煜攒嚨纳矸?#xff0c;這可能是由于其在時(shí)間定位方面的限制 [28, 43]。因此，我們選擇將自車的未來軌跡投影到單個(gè)前視圖像上，利用相機(jī)的內(nèi)參和外參以及傳感器規(guī)格。我們?cè)谔崾局兄付?#xff0c;投影的軌跡反映了車輛的未來路徑。這種成本效益高的設(shè)計(jì)允許VLM比使用圖像序列更可靠地解釋時(shí)間信息。

Freeform Reasoning Annotation. 作為VLM的關(guān)鍵輸入，精心設(shè)計(jì)的問題對(duì)于增強(qiáng)推理能力和提高VLM響應(yīng)的可解釋性至關(guān)重要 [57]。在我們的方法中，我們專注于規(guī)劃任務(wù)，通過設(shè)計(jì)提示來獲得VLM的推理。我們創(chuàng)建了兩種類型的問題，首先是開放式問題，旨在生成自由形式的、非結(jié)構(gòu)化的響應(yīng)，這些響應(yīng)包含豐富且高維的語言信息。我們將這些響應(yīng)稱為非結(jié)構(gòu)化推理注釋。為了最大化VLM的推理能力，我們?cè)谔岢鼍唧w問題之前提供詳細(xì)的上下文描述作為初步指令。具體來說，上下文和問題定義如下：

$C_{1}$ ：這是自車的前視圖像。紅線表示未來軌跡，沒有線表示停止或減速。在解釋推理時(shí)，請(qǐng)專注于相機(jī)圖像及其周圍上下文，而不是引用繪制的軌跡。
$Q_{1-1}$ ：請(qǐng)描述自車的當(dāng)前行為。
$Q_{1-2}$ ：請(qǐng)預(yù)測(cè)自車的未來行為。
$Q_{1-3}$ ：請(qǐng)解釋當(dāng)前和未來行為的推理。

????????完整的輸入提示定義為 $P_{1}$ = [ $C_{1}$ , $Q_{1}$ ]，其中 $Q_{1}$ 表示問題集， $Q_{1}$ = { $Q_{1-1}$ , $Q_{1-2}$ , $Q_{1-3}$ }。這些開放式問題生成自由形式的文本注釋，描述自車的當(dāng)前狀態(tài)、預(yù)期的未來行為以及VLM知識(shí)背后的推理。

Structured Action Annotation. 為了測(cè)試我們方法的靈活性，我們定義了第二種類型的問題，采用結(jié)構(gòu)化格式。具體來說，我們創(chuàng)建了三個(gè)不同的動(dòng)作集，并提示VLM從這些預(yù)定義選項(xiàng)中選擇答案。這使我們能夠?yàn)槊總€(gè)問題獲得一個(gè)特定的動(dòng)作注釋。具體來說，上下文和問題定義如下：

$C_{2}$ ：這是自車的前視圖像。紅線表示未來軌跡，沒有線表示停止或減速。
$Q_{2-1}$ ：請(qǐng)從控制動(dòng)作列表中描述自車的動(dòng)作：{直行、慢行、停止、倒車}。
$Q_{2-2}$ ：請(qǐng)從轉(zhuǎn)彎動(dòng)作列表中描述自車的動(dòng)作：{左轉(zhuǎn)、右轉(zhuǎn)、掉頭、無}。
$Q_{2-3}$ ：請(qǐng)從車道動(dòng)作列表中描述自車的動(dòng)作：{向左變道、向右變道、并入左車道、并入右車道、無}。
完整的輸入提示定義為 $P_{2}$ = [ $C_{2}$ , $Q_{2}$ ]，其中 $Q_{2}$ 表示結(jié)構(gòu)化動(dòng)作問題集， $Q_{2}$ = { $Q_{2-1}$ , $Q_{2-2}$ , $Q_{2-3}$ }。通過這種方式，我們可以從VLM獲得三個(gè)特定的動(dòng)作。與自由形式文本注釋相比，結(jié)構(gòu)化注釋的一個(gè)主要優(yōu)勢(shì)是它們可以用來監(jiān)督端到端駕駛模型以預(yù)測(cè)人類可解釋的動(dòng)作，如實(shí)驗(yàn)結(jié)果部分（第4節(jié)）所示。

3.2 Auxiliary Heads

通常，數(shù)據(jù)驅(qū)動(dòng)的端到端自動(dòng)駕駛方法 [18, 26] 關(guān)注于總結(jié)一個(gè)可學(xué)習(xí)的自我特征 $f_{ego}$ ，以產(chǎn)生規(guī)劃結(jié)果，這對(duì)于生成可靠且準(zhǔn)確的規(guī)劃軌跡至關(guān)重要。這個(gè)可學(xué)習(xí)的自我特征聚合了來自上游模塊的所有相關(guān)信息，通過不同的網(wǎng)絡(luò)傳遞。在我們的方法中，我們開發(fā)了輔助頭，以該自我特征作為輸入，使模型能夠提煉VLM響應(yīng)中的知識(shí)。

Annotation Encoding. 使用 $Q_{1}$ 問題，我們獲得三個(gè)文本響應(yīng)，記為，分別代表當(dāng)前動(dòng)作的描述、未來動(dòng)作預(yù)測(cè)和推理。使用 $Q_{2}$ 問題，我們從預(yù)定義集合中獲得三個(gè)動(dòng)作，記為，分別對(duì)應(yīng)控制動(dòng)作、轉(zhuǎn)彎動(dòng)作和車道動(dòng)作。為了將這些注釋轉(zhuǎn)換為監(jiān)督信號(hào)，我們采用兩種不同的方法生成兩種對(duì)應(yīng)的標(biāo)簽，有效地將它們集成到端到端自動(dòng)駕駛流程中作為監(jiān)督信號(hào)。對(duì)于來自 $Q_{1}$ 的自由形式文本注釋，我們使用現(xiàn)成的語言模型（如CLIP [45]）將文本轉(zhuǎn)換為特征表示。對(duì)于結(jié)構(gòu)化答案，每個(gè)動(dòng)作被編碼為一個(gè)獨(dú)熱標(biāo)簽。形式化表示為：

其中 $y_{1}$ 和 $y_{2}$ 各有三個(gè)組成部分： $y_{1}$ = { $y_{c}$ , $y_{f}$ , $y_{r}$ } 和 $y_{2}$ = { $y_{control}$ , $y_{turn}$ , $y_{lane}$ }。這里， $y_{c}$ 、? $y_{f}$ 、和 $y_{r}$ 是大小為C的特征向量，其中C是文本嵌入的維度，而 $y_{control}$ 、 $y_{turn}$ 和 $y_{lane}$ 是三個(gè)獨(dú)熱動(dòng)作標(biāo)簽，大小分別為 $N_{control}$ = 4、 $N_{turn}$ = 4 和 $N_{lane}$ = 5。

Text Feature Alignment. 使用三個(gè)文本特征 $y_{1}$ = { $y_{c}$ , $y_{f}$ , $y_{r}$ } 作為監(jiān)督信號(hào)，我們開發(fā)了一個(gè)特征對(duì)齊頭，它以自我特征 $f_{ego}$ 作為輸入。這種設(shè)置類似于知識(shí)蒸餾 [16]，其中特征對(duì)齊頭學(xué)習(xí)與教師VLM提供的文本特征對(duì)齊。在這個(gè)頭中，我們初始化三個(gè)可學(xué)習(xí)的文本查詢， $q_{1}$ = { $q_{c}$ , $q_{f}$ $q_{r}$ }。每個(gè)查詢通過多頭交叉注意力（MHCA）塊與自我特征 $f_{ego}$ 交互，其中文本查詢作為注意力查詢q，自我特征作為鍵k 和值v，產(chǎn)生更新后的文本查詢。然后，這些更新后的查詢與自我特征連接，形成該文本頭的特征表示，隨后通過一個(gè)多層感知機(jī)（MLP）層生成最終的特征對(duì)齊輸出。這一過程可以表示為：

?其中⊕表示連接操作，而 $\widetilde{f}_{1}$ = { $\widetilde{f}_{c}$ , $\widetilde{f}_{f}$ , $\widetilde{f}_{r}$ }????????表示三個(gè)輸出特征，用于與相應(yīng)的VLM文本特征對(duì)齊。需要注意的是，我們?yōu)槊總€(gè)組成部分分別使用了三個(gè)獨(dú)立的MHCA塊，使每個(gè)文本查詢能夠?qū)Ｗ⒂谧晕姨卣髦锌梢杂梦谋拘问奖硎镜奶囟ǚ矫妗?/p>

受到DINO [1]中知識(shí)蒸餾方法的啟發(fā)，該方法通過控制特征向量的平滑度和銳度來增強(qiáng)特征對(duì)齊質(zhì)量，我們采用了類似的策略，分別對(duì)文本特征和輸出特征進(jìn)行歸一化處理，生成特征分布而非原始特征值。具體公式如下：

其中 $\tau _{t}$ 和 $\tau _{s}$ 是控制這些分布銳度的溫度參數(shù)。這種調(diào)整能夠更好地對(duì)齊輸出特征和監(jiān)督標(biāo)簽，提升知識(shí)蒸餾的對(duì)齊質(zhì)量。需要注意的是，我們沒有應(yīng)用中心化操作，因?yàn)槲覀冋J(rèn)為監(jiān)督信號(hào)是真實(shí)值。

Structured Action Classification.??我們通過問題 $Q_{2}$ 從 VLM 中獲得結(jié)構(gòu)化的動(dòng)作標(biāo)簽 $y_{2}$ = { $y_{control}$ , $y_{turn}$ , $y_{lane}$ }。我們構(gòu)建了一個(gè)動(dòng)作分類頭，它以自我特征 $f_{ego}$ 作為輸入。與前面的特征對(duì)齊階段類似，我們初始化了三個(gè)可學(xué)習(xí)的動(dòng)作查詢 $q_{control}$ 、 $q_{turn}$ 和 $q_{lane}$ ，并通過三個(gè)多頭交叉注意力（MHCA）塊與 $f_{ego}$ 進(jìn)行交互。在此設(shè)置中，每個(gè)動(dòng)作查詢作為注意力查詢 q，而自我特征作為鍵 k 和值 v，從而產(chǎn)生更新后的動(dòng)作查詢。然后，我們將這些更新后的查詢與自我特征連接，形成動(dòng)作分類頭的特征表示，并通過一個(gè)多層感知機(jī)（MLP）層，隨后使用 Softmax 函數(shù)生成動(dòng)作預(yù)測(cè)。這一過程可以表示為：

其中 $\widetilde{f}_{2}$ = { $\widetilde{f}_{control}$ , $\widetilde{f}_{turn}$ , $\widetilde{f}_{lane}$ } 分別表示預(yù)測(cè)的控制動(dòng)作、轉(zhuǎn)彎動(dòng)作和車道動(dòng)作。我們?yōu)槊總€(gè)動(dòng)作查詢使用獨(dú)立的 MHCA 塊，以生成不同的動(dòng)作標(biāo)簽。

3.3?Auxiliary Loss

我們定義了兩個(gè)平行的輔助任務(wù)，跟隨規(guī)劃模塊之后，以使模型能夠從視覺語言模型（VLM）中提煉知識(shí)。整體訓(xùn)練損失定義為這兩個(gè)輔助任務(wù)損失的加權(quán)和：

其中每個(gè)組成部分對(duì)應(yīng)一個(gè)特定的輔助文本頭，為模型提供針對(duì)性的監(jiān)督信號(hào)：

????????對(duì)于特征對(duì)齊任務(wù)，我們使用交叉熵loss來對(duì)齊監(jiān)督特征和輸出特征，確保模型能夠?qū)W習(xí)到文本中傳達(dá)的關(guān)鍵信息。對(duì)于動(dòng)作分類任務(wù)，我們同樣使用交叉熵?fù)p失，以確保動(dòng)作分類的準(zhǔn)確性。

4. 實(shí)驗(yàn)

4.1 設(shè)置

Baselines.我們提出的方法是一個(gè)通用框架，兼容多種端到端自動(dòng)駕駛方法。我們通過將其應(yīng)用于兩個(gè)廣泛認(rèn)可的開源方法——UniAD [18] 和 VAD [26]——來驗(yàn)證其有效性。此外，我們還將我們的方法與 VLP [40] 進(jìn)行比較，VLP 通過 CLIP [45] 將自車的真值標(biāo)簽投影到文本特征空間中，用于對(duì)比學(xué)習(xí)。
Dataset.?我們使用 nuScenes 數(shù)據(jù)集 [3] 進(jìn)行開放環(huán)路規(guī)劃評(píng)估。nuScenes 是一個(gè)大規(guī)模的自動(dòng)駕駛數(shù)據(jù)集，包含 1000 個(gè)場(chǎng)景，每個(gè)場(chǎng)景持續(xù)約 20 秒，標(biāo)注頻率為 2Hz。該數(shù)據(jù)集包含詳細(xì)的標(biāo)注，是端到端自動(dòng)駕駛研究中的熱門基準(zhǔn)。
Evaluation Protocol.?我們專注于規(guī)劃任務(wù)，并使用標(biāo)準(zhǔn)指標(biāo)（如 L2 位移誤差和碰撞率）來評(píng)估性能。
Implementation Details.?我們使用 UniAD [18] 和 VAD [26] 的官方代碼，并遵循其指定的超參數(shù)。對(duì)于我們的 VLM-AD 方法，我們?yōu)槊總€(gè)輔助任務(wù)頭定義了一個(gè)包含 8 個(gè)頭和 3 層交叉注意力的多頭交叉注意力（MHCA）模塊，并為每個(gè)問題 $Q_{1}$ 和 $Q_{2}$ 設(shè)置了 3 個(gè)文本查詢。在訓(xùn)練過程中，我們將溫度參數(shù) $\tau _{s}$ 設(shè)置為 0.1， $\tau _{t}$ 設(shè)置為 0.04，以控制特征的銳度，并將 $\lambda _{1}$ 設(shè)置為 1， $\lambda _{2}$ 設(shè)置為 0.1，以平衡 $L_{align}$ 和 $L_{action}$ 的權(quán)重。所有模型均在 8 塊 NVIDIA H100 GPU 上使用 PyTorch 框架 [41] 進(jìn)行訓(xùn)練。完整的實(shí)現(xiàn)細(xì)節(jié)、標(biāo)注質(zhì)量分析以及更多實(shí)驗(yàn)結(jié)果已在補(bǔ)充材料中提供。

表 1. 我們提出的 VLM-AD 方法與基線的規(guī)劃結(jié)果。最佳結(jié)果以粗體顯示，次佳結(jié)果以下劃線顯示。VLM-AD 一致優(yōu)于基線，其中以推理為重點(diǎn)的貢獻(xiàn)了最顯著的改進(jìn)。

?4.2 主要結(jié)果

表 1 展示了將我們的 VLM-AD 方法應(yīng)用于 UniAD 和 VAD 的結(jié)果，并與 VLP 進(jìn)行了比較。通過比較方法 ID 0 和 1，我們使用作者提供的官方訓(xùn)練檢查點(diǎn)，得到了幾乎相同的規(guī)劃結(jié)果。對(duì)于方法 IDs 6 和 7，以及 IDs 12 和 13，我們發(fā)現(xiàn)在作者的復(fù)現(xiàn)結(jié)果與報(bào)告值之間存在一些差異，我們認(rèn)為這是由于官方代碼庫(kù)中圖像配置的修正 [3] 所導(dǎo)致的。從表的第一部分可以看出，通過引入 $Q_{1}$ 和 $Q_{2}$ ，VLM-AD 在平均 L2 規(guī)劃誤差和平均碰撞率方面顯著優(yōu)于 UniAD，并且在兩項(xiàng)指標(biāo)上均優(yōu)于最先進(jìn)的基線 VLP。對(duì)于 VAD，我們的 VLM-AD 一致優(yōu)于 VAD-Base 和 VAD-Tiny，尤其是在 L2 規(guī)劃誤差指標(biāo)上，并且在 VAD-Base 中的性能優(yōu)于 VLP。這些結(jié)果證明了我們 VLM-AD 方法的有效性和優(yōu)勢(shì)。此外， $Q_{1}$ 的表現(xiàn)優(yōu)于 $Q_{2}$ ，驗(yàn)證了通過豐富的推理信息監(jiān)督駕駛模型的價(jià)值。

4.3 消融研究

子問題的貢獻(xiàn)。我們進(jìn)一步分析了 $Q_{1}$ 中的每個(gè)子問題（ $Q_{1-1}$ 、 $Q_{1-2}$ 和 $Q_{1-3}$ ）的貢獻(xiàn)。每個(gè)子問題提供了與自車當(dāng)前狀態(tài)、預(yù)測(cè)的未來動(dòng)作和推理相關(guān)的特定文本信息。表 2 展示了這些子問題的消融研究結(jié)果。結(jié)果表明，每個(gè)子問題都對(duì)整體性能產(chǎn)生了積極影響，證明了我們?cè)O(shè)計(jì)的問題為規(guī)劃任務(wù)提供了有價(jià)值的信息。值得注意的是，推理特征對(duì)降低 L2 規(guī)劃誤差的貢獻(xiàn)最大，突顯了推理信息在提升駕駛性能中的重要性。

特征對(duì)齊損失。我們還研究了特征對(duì)齊的其他選項(xiàng)，包括使用 CLIP [45] 中的對(duì)比學(xué)習(xí)損失、均方誤差（MSE）損失、KL 散度損失 [30] 或最大化負(fù)余弦相似度來對(duì)齊 $Q_{1}$ 的三個(gè)特征。表 3 的結(jié)果表明，MSE 損失在最小化特征之間的歐幾里得距離時(shí)表現(xiàn)略優(yōu)于 UniAD，但會(huì)導(dǎo)致訓(xùn)練過程中信息丟失。CLIP 損失、KL 散度和余弦相似度均優(yōu)于 UniAD，但不如我們提出的對(duì)齊損失。這突顯了使用不同溫度對(duì)教師-學(xué)生特征的平滑度和銳度進(jìn)行歸一化的重要性。

模型設(shè)計(jì)。我們研究了方法中的替代設(shè)計(jì)選項(xiàng)。首先，我們?cè)诮Y(jié)構(gòu)化動(dòng)作分類頭中用多層感知機(jī)（MLP）層代替 MHCA 塊。其次，我們研究了不同的語言模型，如 T5 [46] 和 MPNet [50]，除了 CLIP 之外，還用于將 $Q_{1}$ 的文本標(biāo)注編碼為監(jiān)督標(biāo)簽。從表 4 可以看出，使用 MLP 的方法在 L2 性能上略遜于 UniAD，碰撞率則相同。此外，T5 和 MPNet 的表現(xiàn)均優(yōu)于 UniAD 基線，但略遜于 CLIP。

Hyperparameter Study. 在多任務(wù)學(xué)習(xí)中，平衡不同任務(wù)的損失是一個(gè)關(guān)鍵挑戰(zhàn)。我們研究了在 UniAD 中? $\lambda _{1}$ 和 $\lambda _{2}$ 的超參數(shù)。表 5 的結(jié)果表明，所有三種變體均優(yōu)于 UniAD。在這些變體中，當(dāng) $\lambda _{1}$ = 0.1 且 $\lambda _{2}$ = 1 時(shí)，性能最差，因?yàn)? $Q_{1}$ 的標(biāo)注包含的信息比 $Q_{2}$ 的標(biāo)注更有價(jià)值。

圖4. UniAD與我們方法的定性比較。黃色箭頭突出顯示了VLM-AD優(yōu)于UniAD的區(qū)域。紅色框表示UniAD的失敗規(guī)劃命令，紫色框表示我們VLM-AD輔助文本頭預(yù)測(cè)的三個(gè)動(dòng)作輸出。?

4.4 可視化

我們從 nuScenes 數(shù)據(jù)集中提供了四個(gè)可視化示例，如圖 4 所示，以展示我們提出方法的有效性。在第一、第三和最后一行的案例中，UniAD 生成的規(guī)劃軌跡曲折且缺乏平滑性，而我們的方法生成的軌跡能夠準(zhǔn)確地沿著道路行駛。此外，在第二、第三和最后一行的案例中，基線方法錯(cuò)誤地建議了轉(zhuǎn)彎意圖，而自車實(shí)際上是在直行。我們的動(dòng)作文本頭正確地輸出了“直行”的控制動(dòng)作，不僅驗(yàn)證了 VLM 監(jiān)督的有效性，還為模型的決策提供了可解釋性。

5. 結(jié)論

在本工作中，我們提出了 VLM-AD，這是一種通過利用視覺語言模型（VLMs）作為輔助教師來增強(qiáng)端到端自動(dòng)駕駛模型的新方法。通過針對(duì) VLM 提出包含非結(jié)構(gòu)化推理文本和結(jié)構(gòu)化動(dòng)作標(biāo)簽的問題，我們將推理和動(dòng)作監(jiān)督信息整合到訓(xùn)練過程中。我們的方法在 nuScenes 數(shù)據(jù)集上顯著提升了規(guī)劃精度，并降低了碰撞率，同時(shí)通過動(dòng)作預(yù)測(cè)為輸出軌跡提供了可解釋性。重要的是，VLM-AD 在推理時(shí)不需要 VLM，使其能夠以即插即用的方式部署于實(shí)際應(yīng)用中，而不會(huì)增加額外的推理成本。

A. 實(shí)現(xiàn)細(xì)節(jié)

????????當(dāng)將我們提出的 VLM-AD 方法集成到 UniAD [18] 中時(shí)，我們遵循 UniAD 定義的聯(lián)合訓(xùn)練協(xié)議。在第一階段，我們使用 BEVFormer [34] 的權(quán)重初始化模型，并訓(xùn)練感知和建圖任務(wù)共 6 個(gè)epoch。在第二階段，我們凍結(jié)圖像主干網(wǎng)絡(luò)和鳥瞰圖編碼器（BEV encoder），并使用我們提出的 VLM-AD 方法進(jìn)行端到端訓(xùn)練，共 20 個(gè)epoch。模型使用初始學(xué)習(xí)率2 × $10^{-4}$ 、學(xué)習(xí)率衰減因子 0.1，并采用 AdamW 優(yōu)化器 [37]，權(quán)重衰減為 0.01 進(jìn)行訓(xùn)練。

????????當(dāng)將 VLM-AD 方法集成到 VAD [26] 中時(shí)，我們采用了與原始實(shí)現(xiàn)相同的超參數(shù)。模型使用 AdamW優(yōu)化器 [37] 和余弦退火調(diào)度器 [38] 進(jìn)行訓(xùn)練，權(quán)重衰減為 0.01，初始學(xué)習(xí)率為 2× $10^{-4}$ 。

????????為了將自由形式的標(biāo)注編碼為文本特征，我們使用預(yù)訓(xùn)練的 CLIP-ViT-B/32 [45] 模型，其維度為 512。此外，我們還嘗試了其他文本編碼器，例如 T5-base [46] 和 MPNet-base [50]，它們都將自由形式的標(biāo)注編碼為維度為 768 的文本特征，如第 4.3 節(jié)所述。

B. VLM Annotation

B.1. Visual Input

雖然我們?cè)诜椒ㄖ惺褂昧饲耙晥D像（如圖5所示）作為視覺輸入，我們也嘗試了其他替代方案，包括使用覆蓋自車周圍360度全景的6張圖像（如圖6所示），以及使用連續(xù)的前視圖像序列（如圖7所示）。與使用全景圖像作為輸入相比，我們的方法能夠產(chǎn)生類似的標(biāo)注結(jié)果，同時(shí)顯著降低了計(jì)算成本，因?yàn)槲覀兲幚淼妮斎雸D像更小。使用連續(xù)圖像序列的第二種替代方案，通常會(huì)導(dǎo)致錯(cuò)誤的標(biāo)注，例如錯(cuò)誤地識(shí)別當(dāng)前動(dòng)作狀態(tài)，以及未能檢測(cè)到左轉(zhuǎn)動(dòng)作。這是因?yàn)閂LM在理解自我中心視覺信號(hào)的時(shí)間動(dòng)態(tài)方面存在挑戰(zhàn)。此外，使用連續(xù)圖像會(huì)將標(biāo)注時(shí)間增加約80%，相比我們的方法。

B.2. Annotation Statistics

我們對(duì)nuScenes數(shù)據(jù)集的訓(xùn)練集進(jìn)行了標(biāo)注，該數(shù)據(jù)集包含700個(gè)場(chǎng)景和28,130幀圖像。按照第3節(jié)中描述的方法，我們將自車的未來軌跡投影到前視圖像上，并將時(shí)間步長(zhǎng)T設(shè)置為6。與UniAD [18]一致，我們排除了缺乏足夠輸入數(shù)據(jù)的樣本，最終得到28,032個(gè)標(biāo)注樣本。對(duì)于使用 $Q_{1}$ 的自由形式推理標(biāo)注，我們計(jì)算了每個(gè)子問題（ $Q_{1-1}$ 、 $Q_{1-2}$ 和 $Q_{1-3}$ ）的響應(yīng)文本長(zhǎng)度。統(tǒng)計(jì)結(jié)果如表6所示，其中推理標(biāo)注Ar的平均響應(yīng)長(zhǎng)度最長(zhǎng)，因?yàn)樵撟訂栴}專注于詳細(xì)的推理信息。對(duì)于使用 $Q_{2}$ 的結(jié)構(gòu)化動(dòng)作標(biāo)注，我們分析了三種類型動(dòng)作的分布，結(jié)果如圖8、圖9和圖10所示。大約62%的幀被標(biāo)注為“直行”，89.4%為“無轉(zhuǎn)彎動(dòng)作”，97.3%為“無變道動(dòng)作”。值得注意的是，沒有幀被標(biāo)注為“倒車”或“掉頭”，只有極少數(shù)幀被標(biāo)注為“并入左車道”或“并入右車道”。這些統(tǒng)計(jì)結(jié)果表明nuScenes數(shù)據(jù)集在駕駛動(dòng)作的多樣性方面存在一定局限性。一個(gè)有趣的觀察是，VLM偶爾會(huì)輸出不在我們預(yù)定義動(dòng)作列表中的動(dòng)作，例如“輕微左轉(zhuǎn)”、“輕微右轉(zhuǎn)”、“稍微向左移動(dòng)”和“稍微向右移動(dòng)”。在我們的工作中，我們將這些輸出合并到預(yù)定義的獨(dú)熱類別中：“輕微左轉(zhuǎn)”合并到“左轉(zhuǎn)”，“輕微右轉(zhuǎn)”合并到“右轉(zhuǎn)”，“稍微向左移動(dòng)”合并到“向左變道”，“稍微向右移動(dòng)”合并到“向右變道”。這突顯了使用結(jié)構(gòu)化標(biāo)注的優(yōu)勢(shì)，因?yàn)樗鼈兛梢酝ㄟ^將VLM的輸出限制在預(yù)定義的類別中來減少幻覺（hallucinations）。

B.3. Annotation Quality

為了驗(yàn)證VLM生成的標(biāo)注質(zhì)量，我們制作了一個(gè)包含50個(gè)隨機(jī)樣本的問卷進(jìn)行評(píng)估。對(duì)于每個(gè)樣本，參與者被提供了自車的前視圖像（帶有未來軌跡的投影），以及相應(yīng)的VLM標(biāo)注（ $Q_{1}$ 和 $Q_{2}$ ）。然后，我們要求參與者對(duì)每個(gè)響應(yīng)進(jìn)行打分。對(duì)于自由形式的推理標(biāo)注，我們?cè)O(shè)定了一個(gè)1到5分的評(píng)分標(biāo)準(zhǔn)，如下所示：

5分：高度一致
- 文本描述與圖像完美匹配。
- 圖像的關(guān)鍵元素（例如車輛狀態(tài)、動(dòng)作、推理）被準(zhǔn)確描述。
- 文本清晰、簡(jiǎn)潔且完整，沒有不必要的細(xì)節(jié)或矛盾之處。
4分：大多一致
- 文本描述與圖像大部分一致，但存在少量不準(zhǔn)確或遺漏之處。
- 關(guān)鍵元素被描述，但可能缺少一些次要細(xì)節(jié)。
- 或者，文本可能包含少量冗余或略微不相關(guān)的細(xì)節(jié)，但不影響整體匹配。
3分：部分一致
- 文本描述與圖像部分匹配，但存在明顯的不準(zhǔn)確或缺失細(xì)節(jié)。
- 圖像的重要方面（例如車輛速度、道路狀況）可能被低估或錯(cuò)誤描述。
- 可能存在一些沖突或模糊的陳述。
2分：大多不一致
- 文本描述與圖像大部分不一致，但包含少量相關(guān)信息。
- 描述未能捕捉到圖像的關(guān)鍵細(xì)節(jié)或包含明顯的錯(cuò)誤。
- 文本中存在邏輯錯(cuò)誤或矛盾。
1分：完全不一致
- 文本描述與圖像完全不匹配。
- 文本完全不相關(guān)或在重要方面與圖像相矛盾。
- 包含誤導(dǎo)性信息，嚴(yán)重影響可解釋性。

對(duì)于結(jié)構(gòu)化動(dòng)作標(biāo)注，我們要求參與者對(duì)每個(gè)動(dòng)作標(biāo)注進(jìn)行“正確”或“錯(cuò)誤”的判斷。

我們對(duì)5名參與者的評(píng)估結(jié)果進(jìn)行了匯總，如表7所示。評(píng)分結(jié)果驗(yàn)證了標(biāo)注的整體質(zhì)量。具體來說，預(yù)測(cè)未來動(dòng)作的標(biāo)注 Af 得分最高，而描述推理的標(biāo)注 Ar 得分最低。此外，對(duì)于動(dòng)作標(biāo)注，所有三種動(dòng)作類型的準(zhǔn)確率均在90%以上，其中車道動(dòng)作的準(zhǔn)確率最高，達(dá)到96%。

B.4. Successful Annotation Examples

我們提供了三個(gè)示例來展示VLM標(biāo)注的質(zhì)量，如圖11、圖12和圖13所示。在圖11中，VLM準(zhǔn)確識(shí)別了紅燈，并建議在路口停車。它還合理地預(yù)測(cè)了未來的動(dòng)作，并清晰地解釋了決策背后的邏輯。在圖12中，前方有一輛白色貨車，但位于對(duì)面車道。VLM正確評(píng)估了這輛貨車不會(huì)影響自車的行駛，并輸出了適當(dāng)?shù)鸟{駛動(dòng)作。在圖13中，自車在雨天的路口停下。盡管能見度較低，VLM仍然成功識(shí)別了紅燈，并根據(jù)交通燈的狀態(tài)預(yù)測(cè)了未來的動(dòng)作。

B.5. Imperfect Annotation Examples

我們也提供了三個(gè)標(biāo)注失敗的案例，如圖14、圖15和圖16所示。在圖14中，VLM準(zhǔn)確識(shí)別了綠燈，并根據(jù)推理標(biāo)注預(yù)測(cè)了未來右轉(zhuǎn)的動(dòng)作。然而，它錯(cuò)誤地從動(dòng)作標(biāo)注中輸出了左轉(zhuǎn)動(dòng)作。由于我們分別查詢Q1和Q2，因此Q1的響應(yīng)不會(huì)影響Q2。一個(gè)可能的解決方案是引入額外的提示，以建立一個(gè)逐步提問的過程，從而獲得更準(zhǔn)確的動(dòng)作標(biāo)注。

在圖15中，VLM輸出“停車”或“慢行”作為自車的當(dāng)前狀態(tài)。盡管這些輸出是合理的，但它們與真實(shí)情況不一致，因?yàn)橥队暗奈磥碥壽E表明自車正在右轉(zhuǎn)。另一方面，動(dòng)作標(biāo)注成功預(yù)測(cè)了正確的未來動(dòng)作。在圖16中，VLM錯(cuò)誤地將行人交通燈誤認(rèn)為是交通燈，并提供了錯(cuò)誤的響應(yīng)?？傮w而言，盡管偶爾會(huì)出現(xiàn)錯(cuò)誤，但VLM能夠生成有意義的標(biāo)注，揭示駕駛決策背后的邏輯，這也驗(yàn)證了我們的實(shí)驗(yàn)結(jié)果。通過分別查詢兩個(gè)獨(dú)立的標(biāo)注問題，我們的方法對(duì)VLM的錯(cuò)誤具有一定的魯棒性，因?yàn)殄e(cuò)誤通常只出現(xiàn)在其中一個(gè)響應(yīng)中，如圖14和圖15所示。我們將獲取更準(zhǔn)確的VLM響應(yīng)作為未來的工作，以進(jìn)一步提升端到端規(guī)劃模型的性能。

C. Additional Qualitative Examples

我們提供了圖4的增強(qiáng)版本，通過一系列單獨(dú)的圖像展示：圖17、圖18、圖19和圖20。每幅圖像都包含了數(shù)據(jù)集中的全部6個(gè)攝像頭的圖像，盡管我們的VLM標(biāo)注流程僅關(guān)注前視圖像，如第3.1節(jié)所述。除了圖4之外，我們還額外提供了4個(gè)定性比較示例，以展示我們提出的方法與UniAD之間的規(guī)劃結(jié)果差異，如圖21、圖22、圖23和圖24所示。在圖21和圖22中，UniAD生成的規(guī)劃軌跡曲折且缺乏平滑性，未能保持在車道中心。相比之下，我們的方法生成的軌跡明顯更加平滑，并且能夠保持在車道邊界內(nèi)。同樣，在圖23和圖24中，UniAD生成的命令是錯(cuò)誤的，因?yàn)樽攒噷?shí)際上是在直行。然而，我們的動(dòng)作頭成功預(yù)測(cè)了這些場(chǎng)景中的正確動(dòng)作。這些定性示例突顯了VLM-AD在復(fù)雜駕駛場(chǎng)景中生成更平滑、更準(zhǔn)確的規(guī)劃軌跡的能力，同時(shí)提供了更強(qiáng)的可解釋性。