LMDrive，一種新穎的語言引導(dǎo)的端到端閉環(huán)自動(dòng)駕駛框架。LMDrive獨(dú)特地處理和整合多模態(tài)傳感器數(shù)據(jù)與自然語言指令，使車輛能夠在現(xiàn)實(shí)的指令設(shè)置中與人類和導(dǎo)航軟件進(jìn)行交互。

LMDrive由兩個(gè)主要部分組成：

1）一個(gè)視覺編碼器，用于處理多視圖多模態(tài)傳感器數(shù)據(jù)（相機(jī)和激光雷達(dá)），進(jìn)行場景理解并生成視覺標(biāo)記；

2）一個(gè)大型語言模型及其相關(guān)組件（分詞器、Q-Former和適配器），它們接收視覺標(biāo)記和語言指令，以預(yù)測控制信號(hào)以及判斷給定指令是否完成。?