論文鏈接：《4D Millimeter-Wave Radar in Autonomous Driving: A Survey》

摘要

4D 毫米波 (mmWave) 雷達(dá)能夠測量目標(biāo)的距離、方位角、仰角和速度，引起了自動(dòng)駕駛領(lǐng)域的極大興趣。這歸因于其在極端環(huán)境下的穩(wěn)健性以及出色的速度和高度測量能力。
然而，盡管與其傳感理論和應(yīng)用相關(guān)的研究迅速發(fā)展，但對 4D 毫米波雷達(dá)主題的調(diào)查卻明顯缺乏。為了彌補(bǔ)這一差距并促進(jìn)該領(lǐng)域的未來研究，論文對 4D 毫米波雷達(dá)在自動(dòng)駕駛中的使用進(jìn)行了全面調(diào)查。
首先回顧了4D毫米波雷達(dá)的理論背景和進(jìn)展，包括信號處理流程、分辨率提高方法、外參標(biāo)定過程和點(diǎn)云生成方法。然后介紹了自動(dòng)駕駛感知、定位和建圖任務(wù)中的相關(guān)數(shù)據(jù)集和應(yīng)用算法。最后，論文對4D毫米波雷達(dá)領(lǐng)域的未來趨勢進(jìn)行了預(yù)測。

引言

自動(dòng)駕駛技術(shù)正在快速發(fā)展，旨在提供安全、便捷、舒適的交通體驗(yàn)。要實(shí)現(xiàn)高水平自動(dòng)駕駛，環(huán)境感知、定位、建圖能力至關(guān)重要。因此，自動(dòng)駕駛汽車上的傳感器（例如攝像頭、激光雷達(dá)和雷達(dá)）及其算法正引起越來越多的研究興趣。
在各種傳感器中，毫米波雷達(dá)憑借其體積小、成本低、全天候工作、測速能力和距離分辨率高等公認(rèn)的優(yōu)勢，一直被廣泛應(yīng)用于自動(dòng)駕駛領(lǐng)域。然而，傳統(tǒng)毫米波雷達(dá)（也稱為3D毫米波雷達(dá)）在測量目標(biāo)仰角方面表現(xiàn)較差，其數(shù)據(jù)通常僅包括距離、方位角和速度信息。此外，3D 毫米波雷達(dá)還存在雜波、噪聲和低分辨率的問題，特別是在角度維度上，這進(jìn)一步限制了它們在復(fù)雜感知任務(wù)中的適用性。
MIMO 天線技術(shù)的最新進(jìn)展提高了仰角分辨率，從而導(dǎo)致了 4D 毫米波雷達(dá)的出現(xiàn)。顧名思義，4D毫米波雷達(dá)可以測量四種類型的目標(biāo)信息：距離、方位角、仰角和速度。
4D毫米波雷達(dá)不僅是毫米波雷達(dá)的改進(jìn)版本，還引入了許多重要的研究課題。 4D毫米波雷達(dá)的原始數(shù)據(jù)量比傳統(tǒng)雷達(dá)大得多，這給信號處理和數(shù)據(jù)生成帶來了挑戰(zhàn)，更不用說雜波和噪聲了?，F(xiàn)有信號處理流程中生成的4D毫米波雷達(dá)點(diǎn)云的稀疏性和噪聲比LiDAR點(diǎn)云更嚴(yán)重，需要仔細(xì)設(shè)計(jì)考慮4D毫米波雷達(dá)固有特性的感知、定位和建圖算法。

論文對自動(dòng)駕駛中的 4D 毫米波雷達(dá)進(jìn)行了全面回顧。主要貢獻(xiàn)可概括如下：
1，首次針對自動(dòng)駕駛中的 4D 毫米波雷達(dá)進(jìn)行的調(diào)查；
2，鑒于4D毫米波雷達(dá)的獨(dú)特性，專門介紹了其理論背景和信號處理流程；
3，對自動(dòng)駕駛中的 4D 毫米波雷達(dá)應(yīng)用算法進(jìn)行了詳盡的調(diào)查，涵蓋感知、定位和建圖方面的研究。

4D 毫米波雷達(dá)的背景

信號處理流程

在步驟 1 中，從發(fā)射 (TX) 天線發(fā)射毫米波。到達(dá)周圍目標(biāo)后，電波被反射到接收 (RX) 天線。大多數(shù)現(xiàn)有 4D 毫米波雷達(dá)的波形是調(diào)頻連續(xù)波 (FMCW)，與其他波形相比，它具有卓越的分辨率。在 FMCW 雷達(dá)發(fā)射天線的每個(gè)工作周期（即啁啾）中，信號的頻率隨著起始頻率 $fc$、帶寬 $B$、頻率斜率 $S$ 和持續(xù)時(shí)間 $T_c$ 線性增加。通過測量接收信號的頻率，可以計(jì)算出目標(biāo)的距離 $r$，如下：
$$r=\frac{ct}{2},t=\frac{\Delta f}{S},\text{\hspace{1em}(1)}$$

其中 $t$ 是發(fā)送和接收之間的時(shí)間間隔，$c$ 是光速，$\Delta f$ 是發(fā)送和接收信號之間的頻率差。
同時(shí)，FMCW 雷達(dá)的一幀包含 $N_c$ 線性調(diào)頻脈沖并具有持續(xù)時(shí)間 $T_f$。為了避免相鄰線性調(diào)頻之間的干擾，發(fā)射和接收信號被視為在一個(gè)線性調(diào)頻內(nèi)，因此 4D毫米波雷達(dá)的最大無模糊檢測范圍受到 $T_c$ 的限制 。以德州儀器的 AWR1843 為例，其 $T_c=0.33us$，因此其最大無模糊范圍為 50m。
假設(shè)一幀內(nèi)目標(biāo)的距離恒定，則通過多普勒效應(yīng)可以計(jì)算出目標(biāo)的徑向相對速度 $v$ 如下：
$$v=\frac{\Delta fc}{2f_c},\Delta f=\frac{\Delta \phi }{2\pi T_c},\text{\hspace{1em}(2)}$$

其中第一個(gè)方程是多普勒效應(yīng)公式，$\Delta f$ 和 $\Delta \phi$ 分別是相鄰兩個(gè)線性調(diào)頻的接收信號之間的頻率和相位漂移。顯然，距離和多普勒分辨率取決于等。

為了估計(jì)目標(biāo)的到達(dá)方向 (DOA)，毫米波 FMCW 雷達(dá)通常采用多輸入多輸出 (MIMO) 天線設(shè)計(jì)。 $n$ 個(gè) TX 天線和 $m$ 個(gè) RX 天線由 $n\times m$ 個(gè)虛擬 TX-RX 對組成。為了分離發(fā)射信號，不同的發(fā)射天線應(yīng)該發(fā)射正交信號。通過比較不同 TX-RX 對之間的相位漂移，可以計(jì)算不同對到同一目標(biāo)的距離差異。進(jìn)一步考慮沿TX和RX天線的位置關(guān)系，可以獲得目標(biāo)的DOA。

每對信號在步驟 2 中由混頻器混合，并在步驟 3 中由模數(shù)轉(zhuǎn)換器 (ADC) 轉(zhuǎn)換以獲得原始 ADC 數(shù)據(jù)。需要注意的是，圖中對矩陣的坐標(biāo)分別表示一個(gè)chirp和一個(gè)幀內(nèi)的樣本時(shí)間戳，每個(gè)單元格中的值對應(yīng)于反射強(qiáng)度。

然后，在步驟4，沿距離和多普勒維度進(jìn)行2D快速傅里葉變換（FFT）以生成距離-多普勒圖，其坐標(biāo)為距離和速度。

隨后出現(xiàn)了兩種主流的信號處理流程。前一種方法是首先沿著不同的 TX-RX 對進(jìn)行 FFT，以得出方位角和仰角信息（步驟 5a）。獲取 4D 距離-方位角-仰角-多普勒張量，而對于 3D 毫米波雷達(dá)，結(jié)果是 3D 距離-方位角-多普勒張量。
在步驟 6a中，通常在四個(gè)維度上應(yīng)用恒定虛警率（CFAR）算法，通過每個(gè)單元的強(qiáng)度來過濾張量，并為下游任務(wù)獲取點(diǎn)云格式的真實(shí)目標(biāo)。

相比之下，后者的信號處理流程首先使用 CFAR 算法過濾 RD 圖以生成目標(biāo)單元（步驟5b），然后在步驟6b采用數(shù)字波束形成（DBF）方法來恢復(fù)角度信息并生成雷達(dá)點(diǎn)云。

提高分辨率的方法

如上所述，4D毫米波雷達(dá)最關(guān)鍵的能力是測量目標(biāo)的高程，這等于提高了高程分辨率。具體方法可分為硬件和軟件層面如下：
硬件： 在硬件層面，增加 TX-RX 對的數(shù)量或天線的孔徑是提高分辨率的兩種主要方法，包括：
1.級聯(lián)：簡單地級聯(lián)幾個(gè)標(biāo)準(zhǔn)毫米波雷達(dá)芯片就可以增加TX-RX對，從而提高角分辨率。例如，通過級聯(lián)四個(gè)標(biāo)準(zhǔn)3TX-4RX（12對）雷達(dá)芯片可以形成12TX-16RX（192對）4D毫米波雷達(dá)。這是最直接的方法，但尺寸和功耗也會(huì)增加。
2.芯片集成：在芯片上集成更多天線是另一種有前途的技術(shù)。它有取代級聯(lián)的潛力，但天線之間的干擾仍然是一個(gè)未解決的問題。
3.超材料：由超材料構(gòu)造的孔徑可以在控制尺寸的同時(shí)顯著提高角分辨率，但此類方法還不夠成熟，無法廣泛應(yīng)用。

軟件： 通過虛擬地實(shí)現(xiàn)硬件改進(jìn)或沿處理流程優(yōu)化信號處理算法，可以在軟件層面提高雷達(dá)分辨率。
1.虛擬孔徑成像：受傳統(tǒng)合成孔徑雷達(dá)（SAR）的啟發(fā)，一些研究人員嘗試通過軟件設(shè)計(jì)虛擬地?cái)U(kuò)大天線的孔徑，從而提高角分辨率。該方法對于角分辨率提升效果顯著，但通常需要借助級聯(lián)來降低噪聲。
2.超分辨率：超分辨率可以通過用創(chuàng)新算法，甚至基于學(xué)習(xí)的算法取代信號處理流程中的FFT等傳統(tǒng)方法來實(shí)現(xiàn)。但實(shí)際應(yīng)用還需要更深入的研究。

外部校準(zhǔn)

雷達(dá)點(diǎn)云比較稀疏，頻譜數(shù)據(jù)不夠直觀。由于多徑效應(yīng)和雜波干擾，噪聲也相當(dāng)大，給校準(zhǔn)帶來了挑戰(zhàn)。對于4D毫米波雷達(dá)，更高的分辨率緩解了這個(gè)問題，但仍然缺乏足夠魯棒的在線校準(zhǔn)方法。
繼3D毫米波雷達(dá)的傳統(tǒng)校準(zhǔn)方法之后，通常使用回歸反射器來提高校準(zhǔn)精度。通過在特定位置仔細(xì)放置幾個(gè)后向反射器，分析 4D 毫米波雷達(dá)的傳感結(jié)果，并將其與 LiDAR 和相機(jī)數(shù)據(jù)進(jìn)行比較，可以校準(zhǔn)外在參數(shù) 。 Domhof 等人沒有連續(xù)校準(zhǔn)每個(gè)傳感器對。直接相對于移動(dòng)機(jī)器人的身體校準(zhǔn)所有傳感器，并實(shí)現(xiàn)中值旋轉(zhuǎn)誤差僅為 0.02°。
然而，后向反射器在實(shí)際場景中的實(shí)用性有限。近年來，一些研究人員設(shè)計(jì)了不需要專門放置后向反射器的 4D 毫米波雷達(dá)校準(zhǔn)方法。相反，雷達(dá)運(yùn)動(dòng)測量用于對雷達(dá)或雷達(dá)相機(jī)對進(jìn)行校準(zhǔn)。這些方法的便捷性得到了保證，但仍需要在極端天氣條件下進(jìn)行驗(yàn)證。

基于學(xué)習(xí)的雷達(dá)點(diǎn)云生成

4D 雷達(dá)點(diǎn)云稀疏的主要原因之一是 CFAR 造成的大量信息丟失。
為了解決這個(gè)問題，越來越多的基于學(xué)習(xí)的方法被提出來取代 CFAR，并直接與 RD 圖或 4D 張量一起工作，以提高4D雷達(dá)點(diǎn)云的質(zhì)量以及下游自動(dòng)駕駛?cè)蝿?wù)的性能，例如感知和識(shí)別本土化。相關(guān)工作以及下文將介紹的4D毫米波雷達(dá)的數(shù)據(jù)集、感知、定位和建圖算法統(tǒng)一顯示在下圖的時(shí)間線上。

一般來說，如果 cells 是獨(dú)立且同分布的，CFAR 是最佳的檢測算法。然而，由于現(xiàn)實(shí)世界中的目標(biāo)通常具有不同的形狀并占據(jù)多個(gè)單元，CFAR類型的方法會(huì)導(dǎo)致掩蔽效應(yīng)，降低點(diǎn)云的分辨率并遭受信息丟失。

布羅德斯基等人首先將 CNN 應(yīng)用到 RD 地圖上進(jìn)行多個(gè)物體的檢測和定位，稱為 DRD（深度雷達(dá)檢測）網(wǎng)絡(luò)。他們將 RD 圖中的目標(biāo)檢測制定為分割任務(wù)，并采用類似于 2D-U-Net 的模型結(jié)構(gòu)。面對缺乏注釋良好的數(shù)據(jù)集，特別是雷達(dá) RD 圖的數(shù)據(jù)集，他們參考雷達(dá)校準(zhǔn)過程，在消聲室中布置后向反射器來收集相應(yīng)的數(shù)據(jù)，并將其映射回 RD 圖作為標(biāo)簽。實(shí)驗(yàn)表明，DRD 網(wǎng)絡(luò)可以實(shí)時(shí)運(yùn)行（推理大約 20 毫秒），并且在檢測精度方面優(yōu)于經(jīng)典方法。

然而，RD 地圖的標(biāo)記挑戰(zhàn)仍然存在，因?yàn)橄暿抑惺占臄?shù)據(jù)與現(xiàn)實(shí)世界駕駛場景中收集的數(shù)據(jù)不同，這在多路徑反射、干擾、衰減等方面更具挑戰(zhàn)性。[1] 使用LiDAR點(diǎn)云作為監(jiān)督，先后設(shè)計(jì)了基于 U-Net 和 GAN 的網(wǎng)絡(luò)結(jié)構(gòu)，如下圖。在復(fù)雜的道路場景中，與經(jīng)典的CFAR檢測器相比，[1] 生成的4D雷達(dá)點(diǎn)云不僅包含更少的雜波點(diǎn)，而且提供了更密集的真實(shí)目標(biāo)點(diǎn)云。
在復(fù)雜的道路場景中，與經(jīng)典的CFAR檢測器相比，[1]生成的4D雷達(dá)點(diǎn)云不僅包含更少的雜波點(diǎn)，而且提供了更密集的真實(shí)目標(biāo)點(diǎn)云。

[1] Y. Cheng, J. Su, M. Jiang, and Y. Liu, “A novel radar point cloud generation method for robot environment perception,” IEEE Transactions on Robotics, vol. 38, no. 6, pp. 3754–3773, Dec. 2022.

數(shù)據(jù)集

公共數(shù)據(jù)集對于基于 4D 毫米波雷達(dá)的算法至關(guān)重要，因?yàn)樗鼈兲峁┝碎_發(fā)和比較不同算法并刺激相關(guān)研究的平臺(tái)。論文整理了已發(fā)布的數(shù)據(jù)集。

公共 4D Radar 數(shù)據(jù)相當(dāng)罕見，Astyx HiRes 2019 是第一個(gè)現(xiàn)有數(shù)據(jù)集 。免費(fèi)提供的數(shù)據(jù)由 500 個(gè)同步幀（雷達(dá)、LiDAR、攝像機(jī)）組成，其中包含約 3,000 個(gè)精確注釋的 3D 對象注釋。可以看出，這個(gè)數(shù)據(jù)集中的數(shù)據(jù)量比較小。

ColoRadar 是一個(gè)致力于定位和地圖研究的數(shù)據(jù)集，包含來自雷達(dá)、LiDAR 和位姿地面實(shí)況的大約 2 小時(shí)的數(shù)據(jù) 。它為雷達(dá)數(shù)據(jù)提供三個(gè)級別的處理：原始 ADC 數(shù)據(jù)、通過壓縮 4D 雷達(dá)張量的多普勒維數(shù)得出的 3D 距離-方位角-仰角張量以及雷達(dá)點(diǎn)云。該數(shù)據(jù)集收集室內(nèi)和室外幾個(gè)獨(dú)特環(huán)境中的數(shù)據(jù)，提供各種傳感器數(shù)據(jù)。

VoD 數(shù)據(jù)集是用于多類 3D 目標(biāo)檢測的新型多傳感器汽車數(shù)據(jù)集，由校準(zhǔn)和同步的 LiDAR、攝像頭和雷達(dá)數(shù)據(jù)組成。它包含在復(fù)雜的城市交通中獲取的 8693 幀數(shù)據(jù)，其中包括移動(dòng)和靜態(tài)對象的 123106 個(gè) 3D 邊界框注釋以及每個(gè)注釋對象的跟蹤 ID，這對于跟蹤很有用。類似地，Tj4DRadSet 數(shù)據(jù)集包含 44 個(gè)連續(xù)序列，總共 7757 個(gè)同步幀，使用 3D 邊界框和軌跡 ID 進(jìn)行了良好標(biāo)記。此外，它涵蓋了更豐富、更具挑戰(zhàn)性的駕駛場景片段（例如城市道路、高速公路、工業(yè)園區(qū)）。

K-Radar 是目前最大的基于 4D 毫米波雷達(dá)的大規(guī)模數(shù)據(jù)集，收集了 35k 幀條件（例如晴天、霧天、雨天、雪天）。除了 4D 雷達(dá)數(shù)據(jù)外，K-Radar 還提供高分辨率 LiDAR 點(diǎn)云、來自四個(gè)立體攝像頭的環(huán)繞 RGB 圖像以及來自自我車輛的 RTK-GPS 和 IMU 數(shù)據(jù)。值得一提的是，Kradar是目前唯一提供 4D 雷達(dá)張量的數(shù)據(jù)集。為了方便對各種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行實(shí)驗(yàn)，K-radar還提供了可視化程序來模塊化神經(jīng)網(wǎng)絡(luò)訓(xùn)練代碼。

盡管4D毫米波雷達(dá)越來越受到學(xué)術(shù)界的關(guān)注，并且發(fā)布的數(shù)據(jù)集也越來越多，但與視覺或激光雷達(dá)相比，數(shù)據(jù)量仍然不夠大。

感知應(yīng)用

目前，4D毫米波雷達(dá)的點(diǎn)云密度已經(jīng)達(dá)到與近光激光雷達(dá)相當(dāng)?shù)乃?#xff0c;并且4D毫米波雷達(dá)在低能見度和惡劣天氣條件下表現(xiàn)出卓越的魯棒性。因此，研究人員一直在嘗試將LiDAR點(diǎn)云處理模型轉(zhuǎn)移到4D毫米波雷達(dá)中，用于目標(biāo)檢測、場景流預(yù)測等任務(wù)。此外，預(yù) CFAR 雷達(dá)數(shù)據(jù)包含更豐富的信息，促使一些研究人員直接使用 RD 地圖或 4D 張量，繞過點(diǎn)云生成任務(wù)。
相關(guān)工作可進(jìn)一步分為僅依賴4D雷達(dá)或依賴多模態(tài)傳感器融合的工作。

僅 4D 雷達(dá)方法

大多數(shù)相關(guān)的僅 4D 雷達(dá)方法都源自基于 LiDAR 的方法。然而，由于毫米波雷達(dá)的稀疏性和噪聲特性，仍然需要特定的網(wǎng)絡(luò)設(shè)計(jì)。
1.3D檢測： 對于3D物體檢測任務(wù)，根據(jù)模型架構(gòu)的差異，感知方法可以分為基于 CNN 和基于 Transformer。
[2] 首先將 PointPillars 應(yīng)用于 4D 雷達(dá)點(diǎn)云，用于多類別道路使用者的 3D 檢測。通過時(shí)間積分和引入附加特征（例如仰角和多普勒速度）可以提高性能。然而，所提出的方法的結(jié)果（mAP 47.0）仍然遠(yuǎn)不如 64beam LiDAR上的LiDAR探測器（mAP 62.1）。

[2] A. Palffy, E. Pool, S. Baratam, J. F. P. Kooij, and D. M. Gavrila, “Multi-class road user detection with 3+1d radar in the view-of-delft dataset,” IEEE Robotics and Automation Letters, vol. 7, no. 2, pp. 4961–4968, Apr. 2022.

RPFA-Net [3] 通過引入雷達(dá)支柱特征注意（PFA）模塊取得了進(jìn)展。它利用 self-attention 代替簡化的 PointNet 從支柱中提取全局上下文特征，旨在有效捕獲長距離信息并提高航向角估計(jì)精度。

[3] B. Xu, X. Zhang, L. Wang, X. Hu, Z. Li, S. Pan, J. Li, and Y. Deng, “Rpfa-net: A 4d radar pillar feature attention network for 3d object detection,” in 2021 IEEE International Intelligent Transportation Systems Conference (ITSC), Sep. 2021, pp. 3061–3066.

作為集合算子，基于注意力的 Transformer 在處理這些具有排列不變性的點(diǎn)集方面具有先天的優(yōu)越性。因此，為了應(yīng)對 4D 毫米波雷達(dá)的稀疏和噪聲數(shù)據(jù)， [4] 提出了一種基于多幀點(diǎn)云的 3D 目標(biāo)檢測框架。他們首先從點(diǎn)云中獲取自我車輛速度和補(bǔ)償速度信息，然后將附近的幀累積到最后一幀。

[4] B. Tan, Z. Ma, X. Zhu, S. Li, L. Zheng, S. Chen, L. Huang, and J. Bai, “3d object detection for multi-frame 4d automotive millimeter-wave radar point cloud,” IEEE Sensors Journal, pp. 1–1, 2022.

除了直接處理雷達(dá)點(diǎn)云上的感知任務(wù)外，一些研究將注意力轉(zhuǎn)向了RD圖或4D張量，旨在利用更多底層隱藏信息。 K-Radar數(shù)據(jù)集提出了一個(gè)3D目標(biāo)檢測基線，直接使用4D張量作為輸入，并驗(yàn)證4D張量的高程信息對于3D物體檢測至關(guān)重要。所提出的模型還證明了基于 4D 張量的感知的魯棒性，特別是在惡劣的天氣條件下。

2.場景流估計(jì)： 場景流估計(jì)旨在計(jì)算 3D 運(yùn)動(dòng)矢量場，該矢量場表示與 ego agent 相關(guān)的環(huán)境中靜態(tài)和動(dòng)態(tài)元素的運(yùn)動(dòng)。雖然一些研究傳統(tǒng)上依賴于不同的傳感方式（例如攝像機(jī)或激光雷達(dá)）來進(jìn)行場景流估計(jì)，但也有一些方法利用 4D 毫米波雷達(dá)數(shù)據(jù)來完成此任務(wù)。
[5] 受現(xiàn)代自動(dòng)駕駛車輛中共置傳感冗余的啟發(fā)，提出了一種通過跨模態(tài)學(xué)習(xí)進(jìn)行基于 4D 雷達(dá)的場景流估計(jì)的新方法。這種冗余隱式地為雷達(dá)場景流估計(jì)提供了多種形式的監(jiān)督線索，可以有效解決雷達(dá)點(diǎn)云標(biāo)注的困難。具體來說，這項(xiàng)工作引入了針對跨模態(tài)學(xué)習(xí)問題的多任務(wù)模型架構(gòu)。大量實(shí)驗(yàn)展示了該方法的最先進(jìn)性能，并證明了跨模態(tài)監(jiān)督學(xué)習(xí)在推斷更準(zhǔn)確的 4D 毫米波雷達(dá)場景流方面的有效性。

[5] F. Ding, A. Palffy, D. M. Gavrila, and C. X. Lu, “Hidden gems: 4d radar scene flow learning using cross-modal supervision,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2023, pp. 9340–9349.

融合方法

考慮到4D毫米波雷達(dá)已經(jīng)可以提供點(diǎn)云信息，有學(xué)者將其與攝像頭或激光雷達(dá)融合進(jìn)行目標(biāo)檢測，希望提高感知模型的準(zhǔn)確性和魯棒性。一般來說，不同模態(tài)的融合級別分為三個(gè)級別：數(shù)據(jù)級別、特征級別和決策級別?，F(xiàn)有的研究主要集中在特征級融合。
至于4DRV（4D Radar and Vision）融合，4D毫米波雷達(dá)可以低成本提供高精度的深度和速度信息，彌補(bǔ)相機(jī)的缺點(diǎn)，從而提高3D檢測的準(zhǔn)確性。在最近的研究中，4D 毫米波雷達(dá)信號通常被轉(zhuǎn)換為類似 2D 圖像的特征，以便它們可以與攝像機(jī)圖像一起實(shí)際部署。
代表性的有 Meyer 等人。 [6] 將基于[7] 的網(wǎng)絡(luò)應(yīng)用于4D毫米波雷達(dá)和相機(jī)的融合，該網(wǎng)絡(luò)最初是為相機(jī)-LiDAR融合而開發(fā)的。為了彌補(bǔ)數(shù)據(jù)格式的差異，他們丟棄了多普勒信息，只保留了4D毫米波雷達(dá)點(diǎn)云的位置信息和反射強(qiáng)度。每幀的點(diǎn)云用于生成 BEV 圖像，然后生成 3D 建議。令人驚訝的是，當(dāng)使用雷達(dá)數(shù)據(jù)代替 LiDAR 時(shí)，融合網(wǎng)絡(luò)的精度更高，在 Astyx 數(shù)據(jù)集上達(dá)到 61% AP 的平均精度。作者認(rèn)為，原因可能是 LiDAR 傳感器只有 16 個(gè)光束，但仍需要進(jìn)一步研究。

[6] M. Meyer and G. Kuschk, “Deep learning based 3d object detection for automotive radar and camera,” in 2019 16th European Radar Conference (EuRAD), Oct. 2019, pp. 133–136.
[7] J. Ku, M. Mozifian, J. Lee, A. Harakeh, and S. L. Waslander, “Joint 3d proposal generation and object detection from view aggregation,” in 2022 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Oct. 2018, pp. 1–8.

Cui 等人進(jìn)行了后續(xù)研究。 [8]新增了自監(jiān)督模型適應(yīng)塊[9]，它根據(jù)對象屬性動(dòng)態(tài)地適應(yīng)不同模態(tài)的融合。此外，前視圖地圖是根據(jù)雷達(dá)點(diǎn)云和 BEV 圖像生成的。所提出的方法在 3D AP 中優(yōu)于之前的研究 [6] 高達(dá) 9.5%。前視地圖可以更好地利用4D毫米波雷達(dá)提供的高程信息，并且更容易與單目攝像頭特征融合，在檢測精度和計(jì)算效率之間取得平衡。

[8] H. Cui, J. Wu, J. Zhang, G. Chowdhary, and W. R. Norris, “3d detection and tracking for on-road vehicles with a monovision camera and dual low-cost 4d mmwave radars,” in 2021 IEEE International Intelligent Transportation Systems Conference (ITSC), Sep. 2021, pp. 2931–2937.
[9] A. Valada, R. Mohan, and W. Burgard, “Self-supervised model adaptation for multimodal semantic segmentation,” International Journal of Computer Vision, vol. 128, no. 5, pp. 1239–1285, May 2020.

盡管 4DRV 融合具有上述優(yōu)點(diǎn)，但面對劇烈的光照變化或惡劣的天氣條件，基于視覺的分支可能仍然難以工作，這反過來又影響模型的整體性能。因此，[10]首先探討了4DRL（4D雷達(dá)和LiDAR）與 InterFusion（一種基于交互的融合框架）融合的優(yōu)勢。他們設(shè)計(jì)了 InterRAL 模塊（雷達(dá)和激光雷達(dá)的交互）并更新兩種模式的支柱以增強(qiáng)特征表達(dá)。進(jìn)行消融實(shí)驗(yàn)以證明其有效性。

[10] L. Wang, X. Zhang, B. Xv, J. Zhang, R. Fu, X. Wang, L. Zhu, H. Ren, P. Lu, J. Li, and H. Liu, “Interfusion: Interaction-based 4d radar and lidar fusion for 3d object detection,” in 2022 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Oct. 2022, pp. 12 247–12 253.

在接下來的研究中，Wang 等人。 [11] 提出了 $M^2$-Fusion 網(wǎng)絡(luò)，它集成了稱為 IMMF 的基于交互的多模態(tài)融合方法和稱為 CMSF 的基于中心的多尺度融合方法。使用 Astyx 數(shù)據(jù)集進(jìn)行評估，它的性能顯著優(yōu)于主流的基于 LiDAR 的目標(biāo)檢測方法。由于LiDAR可以準(zhǔn)確地檢測近距離的目標(biāo)，而4D毫米波雷達(dá)由于其穿透性而具有較遠(yuǎn)的檢測范圍，因此 4DRL 融合有可能成為一種低成本、高質(zhì)量的可靠技術(shù)解決方案。

[11] L. Wang, X. Zhang, J. Li, B. Xv, R. Fu, H. Chen, L. Yang, D. Jin, and L. Zhao, “Multi-modal and multi-scale fusion 3d object detection of 4d radar and lidar for autonomous driving,” IEEE Transactions on Vehicular Technology, vol. 72, no. 5, pp. 5628–5641, May 2023.

定位和繪圖應(yīng)用

在衛(wèi)星定位信息不準(zhǔn)確或無法獲取高清地圖的惡劣環(huán)境下，需要通過感知傳感器進(jìn)行定位和建圖。一些相關(guān)研究是利用新興的4D毫米波雷達(dá)進(jìn)行的。由于雷達(dá)點(diǎn)云比張量輕得多，而激光雷達(dá)的研究只需稍加調(diào)整即可轉(zhuǎn)移到雷達(dá)點(diǎn)云上，因此幾乎沒有針對雷達(dá)張量進(jìn)行定位和建圖的研究。

里程估計(jì)

雷達(dá)里程估計(jì)是定位的核心，也是SLAM的關(guān)鍵組成部分。 4D毫米波雷達(dá)的相關(guān)研究也不少。然而，由于雷達(dá)的稀疏性和噪聲，里程計(jì)主要是借助慣性測量單元（IMU）生成的。
Doer 和 Trommer 使用無人機(jī) (UAV) 對這個(gè)主題做出了大量貢獻(xiàn)。
在[12]中，他們通過氣壓計(jì)估計(jì)無人機(jī)的高度，然后利用基于隨機(jī)樣本和一致性（RANSAC）的最小二乘法，利用雷達(dá)點(diǎn)云的多普勒信息來估計(jì)自我速度。 IMU 數(shù)據(jù)最終融合以構(gòu)建基于擴(kuò)展卡爾曼濾波器（EKF）的雷達(dá)慣性里程計(jì)。在此基礎(chǔ)上，他們考慮了曼哈頓世界假設(shè)，該假設(shè)假設(shè)環(huán)境中的平面彼此正交，并達(dá)到與最先進(jìn)的視覺慣性里程計(jì)相當(dāng)?shù)木萚13]。

[12] C. Doer and G. F. Trommer, “An ekf based approach to radar inertial odometry,” in 2020 IEEE International Conference on Multisensor Fusion and Integration for Intelligent Systems (MFI), Sep. 2020, pp. 152–159.
[13]——, “Yaw aided radar inertial odometry using manhattan world assumptions,” in 2021 28th Saint Petersburg International Conference on Integrated Navigation Systems (ICINS), May 2021, pp. 1–9.

然后，這一貢獻(xiàn)擴(kuò)展到多個(gè)雷達(dá)，并在視覺退化條件下顯示出令人滿意的性能，且計(jì)算資源需求很少。此外，他們還研究了4D毫米波雷達(dá)與視覺和熱信息的融合，以進(jìn)一步增強(qiáng)結(jié)果[14]。這些研究的唯一缺點(diǎn)是基于 EKF 的算法可能難以應(yīng)對大規(guī)模環(huán)境，因?yàn)槔锍逃?jì)漂移會(huì)增加。在大多數(shù)作品中，曼哈頓世界的假設(shè)可能會(huì)限制其在惡劣的戶外環(huán)境中的適用性。

[14] C. Doer and G. F. Trommer, “Radar visual inertial odometry and radar thermal inertial odometry: Robust navigation even in challenging visual conditions,” in Gyroscopy and Navigation, Sep. 2021, pp. 331– 338.

Michalczyk 等人也應(yīng)用了 EKF 框架 [15]。他們不是直接將 IMU 與雷達(dá)點(diǎn)云估計(jì)的自我速度融合，而是在稀疏、嘈雜的雷達(dá)掃描中實(shí)現(xiàn) 3D 點(diǎn)匹配，以測量雷達(dá)掃描之間的位移。無人機(jī)3D軌跡的估計(jì)在總飛行距離結(jié)束時(shí)達(dá)到了3.32%的漂移。

[15]J. Michalczyk, R. Jung, and S. Weiss, “Tightly-coupled ekf-based radar-inertial odometry,” in 2022 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). Kyoto, Japan: IEEE, Oct. 2022, pp. 12 336–12 343.

還探討了基于學(xué)習(xí)的雷達(dá)里程計(jì)估計(jì)。盧等人。 [16]分別通過CNN和RNN編碼器提取雷達(dá)點(diǎn)云和IMU的特征。然后設(shè)計(jì)一個(gè)兩階段跨模式注意層來融合這些特征，并使用 RNN 來對長期動(dòng)態(tài)進(jìn)行建模。整個(gè)網(wǎng)絡(luò)的輸出是6自由度里程計(jì)，實(shí)現(xiàn)了0.8m的絕對軌跡誤差（ATE）。在RGB相機(jī)或深度相機(jī)的幫助下，性能進(jìn)一步提升。

[16] C. X. Lu, M. R. U. Saputra, P. Zhao, Y. Almalioglu, P. P. B. de Gusmao, C. Chen, K. Sun, N. Trigoni, and A. Markham, “milliego: Single-chip mmwave radar aided egomotion estimation via deep sensor fusion,” Oct. 2020.

重新定位

重定位依賴于高精度在線建圖，在使用高清地圖或檢測 SLAM 中的環(huán)路閉合時(shí)具有重要意義?？紤]到 4D 毫米波雷達(dá)點(diǎn)云的稀疏性和噪聲，Cheng 等人。 [17] 利用多普勒速度去除移動(dòng)物體，然后通過合并多個(gè)連續(xù)掃描來增強(qiáng)點(diǎn)云。受著名的 PointNet 的啟發(fā)，采用基于多層感知 (MLP) 的網(wǎng)絡(luò)將每個(gè)點(diǎn)的維度從 4 增加到 1024，以進(jìn)行逐點(diǎn)特征提取。通過比較當(dāng)前掃描和全局地圖提取的特征，可以實(shí)現(xiàn)重定位。

[17] Y. Cheng, C. Pang, M. Jiang, and Y. Liu, “Relocalization based on millimeter wave radar point cloud for visually degraded environments,” Journal of Field Robotics, vol. 40, no. 4, pp. 901–918, Jun. 2023.

SLAM

由于上述里程計(jì)和重定位對于 SLAM 是不可或缺的，因此 4D 毫米波雷達(dá) SLAM 的研究最近才興起。 [18]開發(fā)了基于迭代EKF的4D毫米波雷達(dá)點(diǎn)云的全過程SLAM。為了避免類似 RANSAC 的方法造成的稀疏性，他們通過迭代重加權(quán)最小二乘法進(jìn)行自我速度估計(jì)。

[18] Y. Zhuang, B. Wang, J. Huai, and M. Li, “4d iriom: 4d imaging radar inertial odometry and mapping,” Mar. 2023.

每個(gè)雷達(dá)點(diǎn)的權(quán)重也反映了其動(dòng)態(tài)，從而可以幫助去除移動(dòng)物體。掃描和子圖之間非常規(guī)的分布到分布匹配進(jìn)一步減少了稀疏性的影響。效果如圖所示。

Zhuge [18]應(yīng)用位姿圖構(gòu)建了一個(gè)基于LiDAR SLAM方法的SLAM系統(tǒng)，稱為hdl graph slam [19]。在煙霧和雨水的影響下進(jìn)行了一些令人印象深刻的實(shí)驗(yàn)，以證明 4D 毫米波雷達(dá)在極端環(huán)境下的魯棒性。

[18] H. Zhuge, “A 4d imaging radar slam system for large-scale environments based on pose graph optimization,” Master’s thesis, Nanyang Technological University, Singapore, 2023.
[19] K. Koide, J. Miura, and E. Menegatti, “A portable three-dimensional lidar-based system for long-term and wide-area people behavior measurement,” International Journal of Advanced Robotic Systems, vol. 16, Feb. 2019.

未來的趨勢

4D毫米波雷達(dá)有可能給自動(dòng)駕駛汽車帶來深刻的變化。盡管如此，目前它還遠(yuǎn)未成熟。 4D毫米波雷達(dá)未來的發(fā)展趨勢可能主要取決于以下幾個(gè)方面。
1）點(diǎn)云增強(qiáng)： 作為最常用的數(shù)據(jù)格式，4D毫米波雷達(dá)點(diǎn)云與其他傳感器相比質(zhì)量明顯較低。雷達(dá)的多徑效應(yīng)等特性嚴(yán)重影響點(diǎn)云的數(shù)據(jù)質(zhì)量。此外，迫切需要改善信號處理流程中的信息損失，特別是用精確設(shè)計(jì)的基于學(xué)習(xí)的方法取代CFAR。還可以探索基于學(xué)習(xí)的 DOA 估計(jì)方法（而不是 DBF 方法）來進(jìn)行超分辨率角度估計(jì)。
2）應(yīng)用算法重新設(shè)計(jì)： 除了改進(jìn)4D毫米波雷達(dá)點(diǎn)云外，信號處理后的應(yīng)用算法是另一個(gè)不可忽視的問題。目前，4D毫米波雷達(dá)的許多應(yīng)用算法都是由相應(yīng)的激光雷達(dá)算法修改而來。 4D毫米波雷達(dá)的特點(diǎn)，如測速能力和極端環(huán)境下的自適應(yīng)能力等，值得未來研究進(jìn)一步探索。對于感知任務(wù)來說，多模態(tài)融合無疑是未來的發(fā)展方向。然而，4D雷達(dá)在極端天氣條件下的魯棒性是否會(huì)因其他傳感器分支的集成而減弱，還有待探索。對于 4D 毫米波雷達(dá)定位和測繪，傳感器與激光雷達(dá)和攝像頭的融合有很大的探索空間。
3）預(yù)點(diǎn)云數(shù)據(jù)利用： 對于4D毫米波雷達(dá)信號處理流程中的獨(dú)特?cái)?shù)據(jù)格式，例如原始ADC數(shù)據(jù)、RD圖和4D張量，利用這些數(shù)據(jù)執(zhí)行感知、定位和建圖是一個(gè)有趣的事情但幾乎沒有觸及的話題。基于學(xué)習(xí)的模型利用這些數(shù)據(jù)中的大量信息，同時(shí)保持可接受的實(shí)時(shí)性能可能是一個(gè)研究熱點(diǎn)。
4）數(shù)據(jù)集豐富： 與所有其他數(shù)據(jù)驅(qū)動(dòng)的研究領(lǐng)域一樣，4D毫米波雷達(dá)的數(shù)據(jù)集在關(guān)聯(lián)研究中發(fā)揮著重要作用。包含 4D 毫米波雷達(dá)的現(xiàn)有數(shù)據(jù)集相對較少。數(shù)據(jù)格式和場景豐富度是等待拓展的兩個(gè)主要領(lǐng)域.