原創(chuàng) | 文 BFT機(jī)器人?

《KPConv: Flexible and Deformable?Convolution?for Point Clouds》是一篇發(fā)表于2019年的研究論文，作者為Hugues Thomas、Charles R. Qi、Jean-Emmanuel Deschaud、Beatriz Marcotegui和Fran?ois Goulette。這篇論文關(guān)注于點(diǎn)云數(shù)據(jù)上的卷積操作，提出了一種名為KPConv的卷積方法，旨在解決點(diǎn)云數(shù)據(jù)上的靈活性和可變形性問題。

01

背景

點(diǎn)云數(shù)據(jù)是從3D傳感器（如激光雷達(dá)）獲得的場景的一種表示形式，逐漸在自動(dòng)駕駛、機(jī)器人導(dǎo)航、三維場景重建等領(lǐng)域得到廣泛應(yīng)用。因?yàn)辄c(diǎn)云數(shù)據(jù)直接捕捉了真實(shí)世界的幾何信息，因此在處理三維信息方面具有獨(dú)特的優(yōu)勢(shì)。傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)（CNN）在圖像領(lǐng)域獲得了巨大成功，但直接將CNN應(yīng)用于點(diǎn)云數(shù)據(jù)上存在一些挑戰(zhàn)。點(diǎn)云數(shù)據(jù)是無序和不規(guī)則的，不同于像素網(wǎng)格。因此，需要設(shè)計(jì)新的卷積操作來適應(yīng)點(diǎn)云數(shù)據(jù)的特點(diǎn)。點(diǎn)云數(shù)據(jù)中的物體形狀和分布可能會(huì)因?yàn)樽藨B(tài)、視角和尺度的變化而產(chǎn)生巨大的變化。為了準(zhǔn)確地捕捉這些變化，需要在點(diǎn)云上進(jìn)行靈活的卷積操作，并能夠處理可變形的形狀。

該論文的研究背景強(qiáng)調(diào)了點(diǎn)云數(shù)據(jù)的特點(diǎn)、點(diǎn)云數(shù)據(jù)上的卷積問題以及靈活性與可變形性的需求，為提出新的KPConv方法提供了合理性和必要性。

圖1?用2D點(diǎn)表示KPConv

02

工作內(nèi)容

論文的工作內(nèi)容主要包括以下幾個(gè)方面：

1、KPConv的設(shè)計(jì)與定義：論文提出了KPConv，即"Kernel Point Convolution"，這是一種基于核心點(diǎn)的卷積操作。核心點(diǎn)是預(yù)定義的一組點(diǎn)，它們的位置和形狀可以自適應(yīng)地進(jìn)行調(diào)整。KPConv通過計(jì)算輸入點(diǎn)云中的每個(gè)點(diǎn)與核心點(diǎn)之間的關(guān)系，實(shí)現(xiàn)了一種適應(yīng)點(diǎn)云數(shù)據(jù)特點(diǎn)的卷積操作。

2、自適應(yīng)核心點(diǎn)位置和形狀：KPConv中的核心點(diǎn)不僅僅是靜態(tài)的，它們的位置和形狀可以根據(jù)輸入點(diǎn)云的局部結(jié)構(gòu)和變化進(jìn)行自適應(yīng)調(diào)整。這種自適應(yīng)性使得KPConv能夠靈活地捕捉點(diǎn)云數(shù)據(jù)中物體的形狀變化和分布情況。

3、卷積過程：KPConv的卷積過程包括確定核心點(diǎn)、計(jì)算點(diǎn)云中每個(gè)點(diǎn)與核心點(diǎn)之間的關(guān)系、根據(jù)關(guān)系進(jìn)行加權(quán)聚合等步驟。通過這一過程，KPConv可以在點(diǎn)云上有效地傳播特征信息，并捕捉局部的幾何結(jié)構(gòu)。

4、實(shí)驗(yàn)驗(yàn)證：通過在不同的點(diǎn)云數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)驗(yàn)證了KPConv的性能。實(shí)驗(yàn)結(jié)果表明，KPConv在點(diǎn)云分割和點(diǎn)云分類任務(wù)中取得了優(yōu)越的結(jié)果，證明了其在處理點(diǎn)云數(shù)據(jù)上的卓越性能。

5、可視化分析：通過可視化分析展示了KPConv的效果，展示了其在不同場景中捕捉幾何結(jié)構(gòu)和變化的能力。這有助于更好地理解KPConv的工作原理和優(yōu)勢(shì)。

03

算法介紹

圖2?KPConv工作流程

該論文提出了一種新的點(diǎn)卷積設(shè)計(jì)，稱為可變形卷積（deformable KPConv）。該設(shè)計(jì)基于點(diǎn)云數(shù)據(jù)，通過在點(diǎn)云上定義核點(diǎn)來執(zhí)行卷積操作。與傳統(tǒng)的固定網(wǎng)格卷積相比，KPConv具有更大的靈活性，因?yàn)樗梢允褂萌我鈹?shù)量的核點(diǎn)，并且這些點(diǎn)在空間上是連續(xù)的，可以通過網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)。此外，KPConv還可以通過學(xué)習(xí)適應(yīng)局部幾何形狀的核點(diǎn)來擴(kuò)展到可變形卷積。具體步驟如下：

1、核心點(diǎn)的選擇與定義：首先，選擇一組核心點(diǎn)，這些點(diǎn)是預(yù)先定義的，并且可以分布在不同的形狀上。對(duì)于每個(gè)核心點(diǎn)，定義一個(gè)局部坐標(biāo)系，其中核心點(diǎn)為原點(diǎn)，坐標(biāo)軸也可以自適應(yīng)地根據(jù)局部點(diǎn)云的幾何結(jié)構(gòu)進(jìn)行旋轉(zhuǎn)。

2、關(guān)系計(jì)算：對(duì)于輸入點(diǎn)云中的每個(gè)點(diǎn)，計(jì)算它與所有核心點(diǎn)之間的關(guān)系。這個(gè)關(guān)系可以用來描述該點(diǎn)與核心點(diǎn)之間的相對(duì)位置和距離。

3、權(quán)重計(jì)算：基于關(guān)系計(jì)算的結(jié)果，計(jì)算每個(gè)點(diǎn)與核心點(diǎn)之間的權(quán)重。權(quán)重用于將核心點(diǎn)的特征信息傳遞給輸入點(diǎn)。

4、特征聚合：對(duì)于每個(gè)輸入點(diǎn)，根據(jù)權(quán)重對(duì)核心點(diǎn)的特征進(jìn)行加權(quán)聚合，生成該點(diǎn)的新特征表示。這樣，每個(gè)點(diǎn)都會(huì)受到其周圍核心點(diǎn)的影響，從而捕捉局部幾何結(jié)構(gòu)和特征信息。

5、網(wǎng)絡(luò)結(jié)構(gòu)與訓(xùn)練：在網(wǎng)絡(luò)結(jié)構(gòu)中，KPConv被用作一個(gè)模塊，可以嵌入到不同的架構(gòu)中。網(wǎng)絡(luò)通過反向傳播進(jìn)行訓(xùn)練，優(yōu)化KPConv中的權(quán)重和核心點(diǎn)的位置。

KPConv算法通過自適應(yīng)的核心點(diǎn)和權(quán)重計(jì)算，以及特征聚合的方式，實(shí)現(xiàn)了在點(diǎn)云數(shù)據(jù)上的卷積操作。它能夠有效地處理點(diǎn)云數(shù)據(jù)的無序性和不規(guī)則性，捕捉局部幾何結(jié)構(gòu)和特征信息，同時(shí)具有適應(yīng)不同形狀和分布的靈活性和可變形性。在實(shí)驗(yàn)中，KPConv在點(diǎn)云分類和點(diǎn)云分割等任務(wù)中表現(xiàn)出色，證明了其在點(diǎn)云數(shù)據(jù)上的有效性。

圖3?用2D點(diǎn)表示KPConv可變形性

04

實(shí)驗(yàn)論述

論文的實(shí)驗(yàn)過程旨在驗(yàn)證提出的KPConv算法在點(diǎn)云分類和點(diǎn)云分割任務(wù)中的性能。以下是論文中實(shí)驗(yàn)過程的主要內(nèi)容：

1、數(shù)據(jù)集選擇：論文選擇了一些常用的點(diǎn)云數(shù)據(jù)集，例如ModelNet40和ShapeNet，用于點(diǎn)云分類任務(wù)。對(duì)于點(diǎn)云分割任務(wù)，使用了Semantic3D和S3DIS數(shù)據(jù)集，這些數(shù)據(jù)集包含了具有不同類別的點(diǎn)云以及對(duì)應(yīng)的標(biāo)簽信息。

2、網(wǎng)絡(luò)架構(gòu)搭建：在實(shí)驗(yàn)中，KPConv被嵌入到深度學(xué)習(xí)網(wǎng)絡(luò)中，作為卷積操作的組成部分。具體的網(wǎng)絡(luò)架構(gòu)可以是基于PointNet、PointNet++等。論文中還可以對(duì)比使用傳統(tǒng)的點(diǎn)云卷積方法進(jìn)行性能比較，以顯示KPConv的優(yōu)越性。

3、訓(xùn)練與評(píng)估：使用選定的數(shù)據(jù)集和網(wǎng)絡(luò)架構(gòu)，將網(wǎng)絡(luò)進(jìn)行訓(xùn)練。訓(xùn)練過程中，使用損失函數(shù)對(duì)網(wǎng)絡(luò)進(jìn)行優(yōu)化，以使其能夠準(zhǔn)確預(yù)測(cè)點(diǎn)云的類別或分割標(biāo)簽。在每個(gè)訓(xùn)練輪次結(jié)束后，使用驗(yàn)證集對(duì)網(wǎng)絡(luò)進(jìn)行評(píng)估，以監(jiān)控性能的變化和收斂情況。

4、性能指標(biāo)：對(duì)于點(diǎn)云分類任務(wù)，常用的性能指標(biāo)包括準(zhǔn)確率（Accuracy）等，用于評(píng)估網(wǎng)絡(luò)對(duì)點(diǎn)云數(shù)據(jù)進(jìn)行分類的能力。對(duì)于點(diǎn)云分割任務(wù)，可以使用IoU（Intersection over Union）等指標(biāo)來衡量網(wǎng)絡(luò)對(duì)點(diǎn)云的分割精度。

5、結(jié)果分析與對(duì)比：論文通過在測(cè)試集上的性能表現(xiàn)，對(duì)KPConv在點(diǎn)云分類和點(diǎn)云分割任務(wù)上的效果進(jìn)行分析。還可能與其他點(diǎn)云卷積方法進(jìn)行比較，以展示KPConv的優(yōu)越性和性能提升。

6、可視化分析：

為了更好地理解KPConv的工作原理，論文可能會(huì)進(jìn)行可視化分析，展示KPConv如何捕捉點(diǎn)云數(shù)據(jù)中的幾何結(jié)構(gòu)和特征信息。

通過以上實(shí)驗(yàn)過程，論文可以驗(yàn)證提出的KPConv算法在點(diǎn)云分類和點(diǎn)云分割任務(wù)上的性能，并與現(xiàn)有的點(diǎn)云處理方法進(jìn)行比較，從而證明其有效性和優(yōu)越性。這些實(shí)驗(yàn)結(jié)果有助于向研究社區(qū)和實(shí)際應(yīng)用中展示KPConv的實(shí)際價(jià)值。

05

結(jié)論

可變形KPConv是一種有效的點(diǎn)云卷積設(shè)計(jì)，具有靈活性、高效性和適應(yīng)性，能夠?qū)W習(xí)和適應(yīng)核點(diǎn)，從而在分類和分割任務(wù)中優(yōu)于現(xiàn)有的方法。論文還表明，可變形KPConv在大型和多樣化的數(shù)據(jù)集上具有描述能力，可以在更大的數(shù)據(jù)集上發(fā)揮作用。此外，論文還提供了消融研究和可視化結(jié)果，以驗(yàn)證可變形KPConv的描述能力。

作者 |?Azukii

排版?|?小河

審核?| 貓

若您對(duì)該文章內(nèi)容有任何疑問，請(qǐng)與我們聯(lián)系，我們將及時(shí)回應(yīng)。如果想要了解更多的前沿資訊，記得點(diǎn)贊關(guān)注哦~