論文地址：https://arxiv.org/abs/2006.11275
論文代碼：https://github.com/tianweiy/CenterPoint

3D 目標(biāo)通常表示為點(diǎn)云中的 3D Boxes。

CenterPoint
在第一階段，使用關(guān)鍵點(diǎn)檢測器檢測對象的中心，然后回歸到其他屬性，包括 3D 大小、3D 方向和速度；
在第二階段，它使用目標(biāo)上的附加點(diǎn)特征來細(xì)化這些估計(jì)。
在 CenterPoint 中，3D 目標(biāo)跟蹤簡化為貪婪的最近點(diǎn)匹配。

論文背景

2D 目標(biāo)檢測： 根據(jù)圖像輸入預(yù)測軸對齊的邊界框。 RCNN 系列找到與類別無關(guān)的候選邊界框，然后對其進(jìn)行分類和細(xì)化。 YOLO、SSD 和 RetinaNet 直接找到特定于類別的框候選，回避了后續(xù)的分類和細(xì)化?；谥行牡臋z測器，例如CenterNet 或CenterTrack，直接檢測隱式對象中心點(diǎn)，而不需要候選框。許多 3D 檢測器都是從這些 2D 檢測器演變而來的。

3D 目標(biāo)檢測： 旨在預(yù)測 3D 旋轉(zhuǎn)邊界框。它們與輸入編碼器上的 2D 檢測器不同。
Vote3Deep 利用以特征為中心的投票來有效處理等間距 3D 體素上的稀疏 3D 點(diǎn)云；
VoxelNet 在每個體素內(nèi)使用 PointNet 來生成統(tǒng)一的特征表示，具有 3D 稀疏卷積和 2D 卷積的頭從中產(chǎn)生檢測；
SECOND 簡化了 VoxelNet 并加速了稀疏 3D 卷積；
PIXOR 將所有點(diǎn)投影到具有 3D 占據(jù)和點(diǎn)強(qiáng)度信息的 2D 特征圖上，以消除代價較高的 3D 卷積；
PointPillars 用柱表示替換所有體素計(jì)算，每個地圖位置有一個高的細(xì)長體素，提高了主干效率；
MVF 和 Pillar-od 結(jié)合多個視圖特征來學(xué)習(xí)更有效的支柱表示。
論文的貢獻(xiàn)集中在輸出表示上，并且與任何 3D 編碼器兼容，并且可以改進(jìn)它們。

VoteNet 使用點(diǎn)特征采樣和分組通過投票聚類來檢測對象。
相比之下，論文通過中心點(diǎn)的特征直接回歸到 3D 邊界框，無需投票對每個對象使用單個 postive 單元格并使用關(guān)鍵點(diǎn)估計(jì)損失。

點(diǎn)云上的 3D 目標(biāo)檢測的挑戰(zhàn)：
1. 點(diǎn)云稀疏，并且 3D 對象的大部分部分沒有測量結(jié)果；
2. 生成的輸出是一個三維框，通常無法與任何全局坐標(biāo)系很好地對齊；
3. 3D 目標(biāo)有各種尺寸、形狀和縱橫比。

Axis-aligned 2D box 不能很好地代表自由形式的 3D 對象。
一種解決方案可能是：為每個對象方向分類不同的模板（錨點(diǎn)），但這不必要地增加了計(jì)算負(fù)擔(dān)，并可能引入大量潛在的誤報檢測。
論文認(rèn)為連接 2D 和 3D 域的主要潛在挑戰(zhàn)在于對象的這種表示。

論文相關(guān)

2D CenterNet

2D CenterNet [1] 將目標(biāo)檢測重新表述為關(guān)鍵點(diǎn)估計(jì)。
它采用輸入圖像并為 $K$ 個類別中的每一個l類別預(yù)測 $w\times h$ heatmap $\hat{Y}\in [0,1{]}^{w\times h\times K}$。輸出 heatmap 中的每個局部最大值（即值大于其八個鄰居的像素）對應(yīng)于檢測到的目標(biāo)的中心。為了檢索 2D 框，CenterNet 回歸到所有類別之間共享的尺寸圖 $\hat{S}\in {\mathbb{R}}^{w\times h\times 2}$。
對于每個檢測對象，尺寸圖將其寬度和高度存儲在中心位置。 CenterNet 架構(gòu)使用標(biāo)準(zhǔn)的全卷積圖像主干，并在頂部添加密集預(yù)測頭。
在訓(xùn)練期間，CenterNet 學(xué)習(xí)使用 rendered 高斯核來預(yù)測每個類 c i ∈ { 1... K } c_i \in \{1 ... K\} ci?∈{1...K}的每個帶注釋的對象中心 ${\mathbf{q}}_i$ 處的 heatmap，并回歸到帶注釋的邊界框中心的目標(biāo)大小 $S$。為了彌補(bǔ)主干架構(gòu)跨步引入的量化誤差，CenterNet 還回歸到局部偏移 $\hat{O}$。
在測試時，檢測器會生成 $K$ 個 heatmap 和稠密的與類別無關(guān)的回歸圖。熱圖中的每個局部最大值（峰值）對應(yīng)于一個目標(biāo)，置信度與峰值處的熱圖值成正比。對于每個檢測到的目標(biāo)，檢測器從相應(yīng)峰值位置的回歸圖中檢索所有回歸值。根據(jù)應(yīng)用領(lǐng)域，可能需要非極大值抑制 (NMS)。

[1] Xingyi Zhou, DequanWang, and Philipp Kr¨ahenb¨uhl. Objects as points. arXiv:1904.07850, 2019.

3D 目標(biāo)檢測

$\mathcal{P}=\{(x,y,z,r{)}_i\}$ 是 3D 位置 $(x,y,z)$ 和 反射率 $r$ 測量的無序點(diǎn)云。3D 目標(biāo)檢測旨在從該點(diǎn)云預(yù)測鳥瞰圖中的一組 3D 對象邊界框 B = { b k } B = \{b_k\} B={bk?}。每個邊界框 $b=(u,v,d,w,l,h,\alpha )$ 由相對于物體地平面的中心位置 $(u,v,d)$ 和 3D 尺寸 $(w,l,h)$ 組成，旋轉(zhuǎn)由 yaw $\alpha$ 表示。不失一般性，使用以自我為中心的坐標(biāo)系，傳感器位于 $(0,0,0)$ 且 $yaw=0$。

當(dāng)前 3D 目標(biāo)檢測器使用 3D 編碼器將點(diǎn)云量化為常規(guī) bins。然后，基于點(diǎn)的網(wǎng)絡(luò)提取 bins 內(nèi)所有點(diǎn)的特征。然后，3D 編碼器將這些特征匯集到其主要特征表示中。
大部分計(jì)算發(fā)生在主干網(wǎng)絡(luò)中，該網(wǎng)絡(luò)僅對這些量化和池化的特征表示進(jìn)行操作。主干網(wǎng)絡(luò)的輸出是 map-view 參考幀中寬度為 $W$、長度為 $L$、具有 $F$ 個通道的 map-view 特征圖 $M\in {\mathbb{R}}^{W\times L\times F}$。寬度和高度都與各個體素 bins 的分辨率和主干網(wǎng)絡(luò)的步幅直接相關(guān)。常見的backbone 有 VoxelNet 和 PointPillars。

使用 map-view 特征圖 $M$，檢測頭（最常見的是一級或兩級邊界框檢測器），然后從錨定在此overhead 特征圖上的一些預(yù)定義邊界框完成目標(biāo)檢測。
1.由于3D邊界框具有各種大小和方向，基于錨的3D檢測器難以將軸對齊的2D框擬合到3D對象。
2.在訓(xùn)練期間，先前的基于錨的3D檢測器依賴于2D Box IoU進(jìn)行目標(biāo)分配，這為為不同類別或不同數(shù)據(jù)集選擇正/負(fù)閾值帶來了不必要的負(fù)擔(dān)。

論文內(nèi)容

CenterPoint 總體框架如下：

設(shè) $M\in {\mathbb{R}}^{W\times H\times F}$ 為 3D Backbone 的輸出。
第一階段： 預(yù)測類別特定的熱圖、對象大小、子體素位置細(xì)化、旋轉(zhuǎn)和速度。所有輸出都是dense 預(yù)測。

Center heatmap head

Center heatmap head的目標(biāo)是在任何檢測到的目標(biāo)的中心位置處產(chǎn) 生heatmap 峰值。該頭部產(chǎn)生 $K$ 通道 heatmap $\hat{Y}$，$K$ 個類別中的每個類別對應(yīng)一個通道。

在訓(xùn)練過程中，它將標(biāo)注邊界框的3D中心投影到 map-view 中產(chǎn)生的2D高斯作為目標(biāo)。使用 focal loss。
自上而下的 map-view 中的目標(biāo)比圖像中的目標(biāo)更稀疏。在 map-view 中，距離是絕對的，而圖像視圖會通過透視（perspective）來扭曲它們。
考慮一個道路場景，在 map-view 中車輛占據(jù)的區(qū)域很小，但在圖像視圖中，幾個大的物體可能占據(jù)大部分屏幕。 此外，透視（perspective）投影中深度維度的壓縮自然地將對象中心放置得更靠近彼此。

遵循 CenterNet 的標(biāo)準(zhǔn)監(jiān)督會產(chǎn)生非常稀疏的監(jiān)督信號，其中大多數(shù)位置被視為背景。為了抵消這一點(diǎn)，論文通過放大在每個地面實(shí)況目標(biāo)中心處渲染的高斯峰來增加對目標(biāo)熱圖 $Y$ 的積極監(jiān)督。將高斯半徑設(shè)置為 $\sigma =\max (f(wl),\tau )$，其中 $\tau =2$ 是允許的最小高斯半徑， $f$ 是 CornerNet 中定義的半徑函數(shù)。通過這種方式，CenterPoint 保持了基于中心的目標(biāo)分配的簡單性；模型從附近的像素獲得更密集的監(jiān)督。

Regression heads

在目標(biāo)的中心特征處存儲幾個目標(biāo)屬性：子體素位置細(xì)化 $o\in {\mathbb{R}}^2$，離地高度 $h_g\in \mathbb{R}$，3D尺寸 $s\in {\mathbb{R}}^3$，以及偏航旋轉(zhuǎn)角 $(\sin (\alpha ),\cos (\alpha ))\in [?1,1{]}^2$。子體素位置 $o$ 細(xì)化減少了來自 backbone 網(wǎng)絡(luò)的體素化和跨步的量化誤差。地面以上高度 $h_g$ 有助于在3D中定位目標(biāo)，并添加由 map-view 投影移除的缺失高程信息。方位預(yù)測使用偏航角的正弦和余弦作為連續(xù)回歸目標(biāo)。結(jié)合框大小，這些回歸頭提供了3D邊界框的完整狀態(tài)信息。每個輸出都使用自己的頭。

在訓(xùn)練時，論文在 ground-truth 中心位置使用 L1 Loss 訓(xùn)練所有輸出。回歸到對數(shù)大小，以更好地處理各種形狀的bounding box。
在推理時，論文通過索引到每個目標(biāo)的峰值位置處的稠密回歸頭輸出來提取所有屬性。

速度頭和跟蹤

為了通過時間跟蹤對象，學(xué)習(xí)預(yù)測每個檢測到的目標(biāo)的二維速度估計(jì) $v\in {\mathbb{R}}^2$ 作為額外的回歸輸出。速度估計(jì)需要時間點(diǎn)云序列。
在論文的實(shí)現(xiàn)中，將先前幀中的點(diǎn)轉(zhuǎn)換并合并到當(dāng)前參考幀中，并預(yù)測由時間差（速度）歸一化的當(dāng)前和過去幀之間的目標(biāo)位置差異。與其他回歸目標(biāo)一樣，速度估計(jì)也使用當(dāng)前時間步長處的 ground-truth 目標(biāo)位置處的 L1 Loss 來監(jiān)督。

推理階段，使用此偏移量以貪婪的方式將當(dāng)前檢測與過去的檢測相關(guān)聯(lián)。具體來說，將當(dāng)前幀中的目標(biāo)中心投影回前一幀，通過應(yīng)用負(fù)速度估計(jì)，然后通過最近距離匹配將它們與跟蹤目標(biāo)進(jìn)行匹配。Following SORT[2]，在刪除它們之前保留不匹配的軌道直到 T = 3 幀。更新每個不匹配的軌道與其最后已知的速度估計(jì)。

Alex Bewley, Zongyuan Ge, Lionel Ott, Fabio Ramos, and Ben Upcroft. Simple online and realtime tracking. ICIP, 2016.

CenterPoint 將所有 heatmap 和回歸損失合并到一個共同目標(biāo)中，并聯(lián)合優(yōu)化它們。它簡化和改進(jìn)了以前基于錨點(diǎn)的3D探測器。然而，所有目標(biāo)屬性目前都是從目標(biāo)的中心特征推斷的，其可能不包含用于準(zhǔn)確目標(biāo)定位的足夠信息。例如，在自動駕駛中，傳感器通常只能看到物體的側(cè)面，而不能看到其中心。

第二階段： 過使用第二個精化階段和一個輕量級的點(diǎn)特征提取來改進(jìn)中心點(diǎn)。CenterPoint 作為第一階段。第二階段從主干的輸出中提取額外的點(diǎn)特征。

Two-Stage CenterPoint

從預(yù)測邊界框的每個面的3D中心提取一個點(diǎn)特征。需要注意的是，邊界框中心、頂面中心和底面中心都投影到 map-view 中的同一點(diǎn)。因此，只考慮四個朝外的 box 面和預(yù)測的目標(biāo)中心。對于每個點(diǎn)，使用雙線性插值從 backbone map-view 輸出 $M$中提取特征。接下來，將提取的點(diǎn)特征連接起來，并將它們傳遞給 MLP。第二階段在一階段 CenterPoint 的預(yù)測結(jié)果之上預(yù)測類不可知的置信度得分和框細(xì)化。

對于類別不可知的置信度得分預(yù)測，使用由框的3D IoU 引導(dǎo)的得分目標(biāo) $I$ 以及相應(yīng)的 gound-truth 邊界框：
$$I=\min (1,\max (0,2\times Io{U}_t?0.5))\text{\hspace{1em}(1)}$$其中 $Io{U}_t$ 是第 $t$ 個 proposal 和 ground-truth 之間的 IoU。
使用二進(jìn)制交叉熵?fù)p失進(jìn)行訓(xùn)練：
$$L_{score}=?I_t\log ({\hat{I}}_t)?(1?I_t)\log (1?{\hat{I}}_t)\text{\hspace{1em}(2)}$$ 其中 ${\hat{I}}_t$ 是預(yù)測的置信度得分。

推理階段，直接使用第一階段 CenterPoint 的類別預(yù)測，并且計(jì)算最終的置信分?jǐn)?shù)計(jì)算為兩個分?jǐn)?shù) ${\hat{Q}}_t=\sqrt{{\hat{Y}}_t?{\hat{I}}_t}$ 的幾何平均值。其中，${\hat{Q}}_t$是對象 $t$ 的最終預(yù)測置信度， ${\hat{Y}}_t={\max }_{0\le k\le K}{\hat{Y}}_{p,k}$ 和 ${\hat{I}}_t$ 分別是第一階段和第二階段目標(biāo) $t$ 的置信分?jǐn)?shù)。

對于框回歸，模型預(yù)測在第一階段 proposal 之上的改進(jìn)，用 L1 Loss 訓(xùn)練模型。論文的兩階段CenterPoint 簡化并加速了之前的兩階段3D探測器，這些探測器使用代價比較大的基于PointNet的特征提取器和RoIAlign操作。

Architecture

所有第一級輸出共享第一個 3 × 3 卷積層，批量歸一化和 ReLU。然后，每個輸出都使用自己的分支，由兩個3×3卷積組成，由批處理范數(shù)和ReLU分隔。我們的第二階段使用共享的兩層MLP，具有批規(guī)范，ReLU 和 Dropout ，drop 率為0.3，然后是單獨(dú)的三層 MLP 用于置信度預(yù)測和 Box 回歸。

論文總結(jié)

論文提出了一種基于中心的激光雷達(dá)點(diǎn)云 3D 目標(biāo)檢測與跟蹤框架。使用一個標(biāo)準(zhǔn)的三維點(diǎn)云編碼器，在頭部加上一些卷積層來生成鳥瞰 heatmap 和其他 dense 回歸輸出。檢測是一種簡單的局部峰值提取和細(xì)化，而跟蹤是最近距離匹配。CenterPoint簡單、接近實(shí)時，在Waymo和nuScenes基準(zhǔn)測試中實(shí)現(xiàn)了最先進(jìn)的性能。