2024-11-20， 由武漢大學(xué)、中國科學(xué)院自動化研究所、悉尼科技大學(xué)、牛津大學(xué)等合創(chuàng)建了DriveMLLM數(shù)據(jù)集，該數(shù)據(jù)集是自動駕駛領(lǐng)域首個專為評估多模態(tài)大型語言模型（MLLMs）空間理解能力而設(shè)計的基準(zhǔn)，對于推動自動駕駛技術(shù)的發(fā)展具有重要意義。

數(shù)據(jù)集地址：DriveMLLM|自動駕駛數(shù)據(jù)集|空間理解數(shù)據(jù)集

一、研究背景：

自動駕駛技術(shù)的發(fā)展需要對3D環(huán)境有全面的理解，以支持運(yùn)動預(yù)測、規(guī)劃和地圖構(gòu)建等高級任務(wù)。盡管在對象中心識別任務(wù)上取得了巨大進(jìn)展，但在自動駕駛中對象間空間關(guān)系的推理卻被忽視了，這對于實(shí)現(xiàn)全面的3D場景理解至關(guān)重要。

目前遇到困難和挑戰(zhàn)：

1、現(xiàn)有的多模態(tài)大型語言模型（MLLMs）在理解駕駛環(huán)境中復(fù)雜的空間關(guān)系方面存在局限性。

2、缺乏專門針對自動駕駛空間理解任務(wù)的基準(zhǔn)數(shù)據(jù)集，難以評估和提升MLLMs的空間推理能力。

3、需要更先進(jìn)的MLLMs基礎(chǔ)空間推理方法，以支持自動駕駛領(lǐng)域的進(jìn)一步研究。

數(shù)據(jù)集地址：DriveMLLM|自動駕駛數(shù)據(jù)集|空間理解數(shù)據(jù)集

二、讓我們一起來看一下DriveMLLM數(shù)據(jù)集

DriveMLLM是一個專為自動駕駛空間理解任務(wù)設(shè)計的大規(guī)?；鶞?zhǔn)數(shù)據(jù)集，包含2734張前置攝像頭圖像，并引入了絕對和相對空間推理任務(wù)。

DriveMLLM數(shù)據(jù)集基于nuScenes數(shù)據(jù)集構(gòu)建，包含了880張經(jīng)過精心篩選的圖像，這些圖像涵蓋了豐富的交通情況、天氣場景和一天中不同時間，確保了模型在多樣化的真實(shí)駕駛情境下進(jìn)行測試。

數(shù)據(jù)集的構(gòu)建：

包括從nuScenes數(shù)據(jù)集中提取圖像、應(yīng)用過濾標(biāo)準(zhǔn)以確保圖像質(zhì)量、手動審查以進(jìn)一步優(yōu)化數(shù)據(jù)集，以及為每個對象生成標(biāo)準(zhǔn)化的自然語言描述。

數(shù)據(jù)集特點(diǎn)：

DriveMLLM數(shù)據(jù)集的特點(diǎn)在于其多模態(tài)性，結(jié)合了視覺圖像和自然語言問題，以及其專注于空間理解的任務(wù)設(shè)計，包括對象定位、邊界框確定、相機(jī)到對象的距離估計等。

研究人員可以使用DriveMLLM數(shù)據(jù)集來評估和訓(xùn)練MLLMs，通過提供圖像和相應(yīng)的自然語言問題，模型需要輸出符合指定格式的答案。

基準(zhǔn)測試 ：

基準(zhǔn)測試包括多種評估MLLMs空間理解能力的指標(biāo)，如二分類準(zhǔn)確度、距離測量準(zhǔn)確度、位置定位準(zhǔn)確度等，以及一個綜合準(zhǔn)確度得分（AccS）。

三、讓我們一起展望DriveMLLM數(shù)據(jù)應(yīng)用場景

比如你是一名自動駕駛技術(shù)的研發(fā)工程師，你們團(tuán)隊(duì)正在開發(fā)一款新的自動駕駛系統(tǒng)。你們的目標(biāo)是讓這個系統(tǒng)能夠在各種復(fù)雜的交通環(huán)境中安全、準(zhǔn)確地導(dǎo)航。為了測試和優(yōu)化你們的系統(tǒng)，你們需要一個強(qiáng)大的數(shù)據(jù)集來評估系統(tǒng)的性能，特別是在零樣本學(xué)習(xí)的情況下。

場景描述： 你們選擇了DriveMLLM數(shù)據(jù)集來進(jìn)行零樣本性能測試。這個數(shù)據(jù)集基于nuScenes數(shù)據(jù)集構(gòu)建，包含了6019個經(jīng)過精心注釋的幀，這些幀覆蓋了各種真實(shí)世界的駕駛場景，從城市街道到高速公路，從白天到夜晚，從晴天到雨天。

DriveMLLM數(shù)據(jù)集的應(yīng)用：

1、數(shù)據(jù)集準(zhǔn)備：

你們首先從nuScenes數(shù)據(jù)集中提取了相關(guān)的圖像和傳感器數(shù)據(jù)，這些數(shù)據(jù)包括了車輛、行人、交通信號等關(guān)鍵信息。

2、系統(tǒng)測試：

你們將這些數(shù)據(jù)輸入到你們的自動駕駛系統(tǒng)中，系統(tǒng)需要在沒有見過這些具體場景的情況下，做出正確的駕駛決策。這就像是給系統(tǒng)一個“考試”，測試它在真實(shí)世界中的表現(xiàn)。

3、性能評估：

你們使用DriveMLLM數(shù)據(jù)集來評估系統(tǒng)的決策準(zhǔn)確度。在零樣本測試中，你們的系統(tǒng)在驗(yàn)證集上達(dá)到了0.395的決策準(zhǔn)確度。這意味著系統(tǒng)能夠在沒有事先訓(xùn)練的情況下，正確地理解和響應(yīng)這些復(fù)雜的駕駛場景。

4、結(jié)果分析：

通過分析測試結(jié)果，你們發(fā)現(xiàn)系統(tǒng)在某些特定場景下表現(xiàn)不佳，比如在能見度低的雨夜或者在交通擁堵的市中心。這些信息對你們來說非常寶貴，因?yàn)樗鼛椭銈冏R別了系統(tǒng)的弱點(diǎn)，并指導(dǎo)你們進(jìn)行針對性的優(yōu)化。

5、系統(tǒng)優(yōu)化：

根據(jù)測試結(jié)果，你們對系統(tǒng)進(jìn)行了調(diào)整和優(yōu)化。你們改進(jìn)了系統(tǒng)的感知模塊，使其在低光照條件下也能準(zhǔn)確地識別行人和車輛。同時，你們也增強(qiáng)了系統(tǒng)的決策算法，使其能夠更好地處理復(fù)雜的交通流量。

通過使用DriveMLLM數(shù)據(jù)集，你們的自動駕駛系統(tǒng)在零樣本性能測試中取得了顯著的進(jìn)步。這個數(shù)據(jù)集不僅幫助你們評估了系統(tǒng)的性能，還為你們提供了寶貴的反饋，指導(dǎo)你們進(jìn)行系統(tǒng)優(yōu)化。

更多開源數(shù)據(jù)集，請打開：遇見數(shù)據(jù)集

遇見數(shù)據(jù)集-讓每個數(shù)據(jù)集都被發(fā)現(xiàn)，讓每一次遇見都有價值遇見數(shù)據(jù)集，國內(nèi)領(lǐng)先的百萬級數(shù)據(jù)集搜索引擎，實(shí)時追蹤全球數(shù)據(jù)集市場，助力把握數(shù)字經(jīng)濟(jì)時代機(jī)遇。https://www.selectdataset.com/