1.HDMapNet

?整體的網(wǎng)絡(luò)架構(gòu)如圖所示，最終的Decoder輸出三個(gè)分支，一個(gè)語義分割，一個(gè)embedding嵌入分支，一個(gè)方向預(yù)測。然后通過后處理將這些信息處理成向量化的道路表示。

img2bev的方式之前有IPM，通過假設(shè)地面的高度都為0來完成轉(zhuǎn)換，但是因?yàn)榇嬖诘孛鎯A斜和車的顛簸，我們并不能保證車道線被正確投影到BEV上。而LSS的話，由于沒有顯式的深度作為監(jiān)督，所以效果也不是很好。這里我們采用VPN的方式，使用全連接網(wǎng)絡(luò)來學(xué)習(xí)如何進(jìn)行視角變換。

埋坑：這里的后處理是如何進(jìn)行一個(gè)向量化的道路表示？

2.MapTR

使用純相機(jī)來生成在線高精地圖，img2bev使用的地平線提出的GKT方法，對于BEV query，先通過內(nèi)外參得到其在圖像上的先驗(yàn)位置(可能對應(yīng)多張圖)，并提取附近w*h核區(qū)域的特征，然后和bev query做交叉注意力機(jī)制。

3.SuperFusion

采用多層級的圖像點(diǎn)云特征融合來做。

首先是數(shù)據(jù)層面的融合，先將點(diǎn)云投影到圖像，然后稀疏深度與圖像進(jìn)行concate，同時(shí)利用雙線性插值得到密集深度圖，對LSS的深度估計(jì)進(jìn)行監(jiān)督。

特征層面的融合，將點(diǎn)云的BEV特征作為Q去查詢圖像的特征，做cross-attention得到新的BEV特征，并通過一系列的卷積融合。得到點(diǎn)云BEV最終特征。

BEV層面的融合，將圖像特征通過LSS轉(zhuǎn)到BEV后，與點(diǎn)云BEV特征融合，但是由于內(nèi)外參以及深度估計(jì)誤差，所以直接concate會導(dǎo)致特征對不齊。所以它先concate然后學(xué)習(xí)一個(gè)flow field，根據(jù)據(jù)flow field對圖像BEV特征進(jìn)行重新計(jì)算(每個(gè)位置一個(gè)流動(dòng)方向，然后雙線性插值得到流動(dòng)后的特征來作為當(dāng)前圖像BEV特征)，然后再將兩者concate。

4.MachMap