大概八成估計(jì)是未來的科研方向了

自動駕駛中的NeRF

自動駕駛領(lǐng)域的NeRF方法，大部分是在做自動駕駛場景里的環(huán)境重建，對大規(guī)模無邊界場景的重建
自動駕駛和Nerf的交集目前停留在深度估計(jì)和環(huán)境重建上面
想要做城市級別的場景重建，要用到多個MLP，在重建的過程中可以用雷達(dá)作為監(jiān)督，但實(shí)際上雷達(dá)能夠直接提供空間網(wǎng)格的占用信息，用這一點(diǎn)搭建基于體素的混合隱式場景表達(dá)是個很好的思路
未來的思路：要讓Nerf和占用網(wǎng)格結(jié)合在一起，這樣才能真正進(jìn)入自動駕駛的核心系統(tǒng)中

[2] Plenoxels: Radiance Fields without Neural Networks, CVPR 2022，arXiv:2112.05131
[3] Grid-Centric Traffic Scenario Perception for Autonomous Driving: A Comprehensive Review, 2023, arXiv:2303.01212
[4] CLONeR: Camera-Lidar Fusion for Occupancy Grid-aided Neural Representations, 2022, arxiv 2209.01194
[5] Urban Radiance Fields, CVPR 2022, arXiv:2111.14643
[6] S-NeRF: Neural Radiance Fields for Street, ICLR 2023, arXiv:2303.00749
[7] Block-NeRF: Scalable Large Scene Neural View Synthesis, CVPR 2022, arXiv:2202.05263
[8] Switch-NeRF: Learning Scene Decomposition with Mixture of experts for Large-sacle Neural Radiance Fields, ICLR 2023, https://openreview.net/pdf?id=PQ2zoIZqvm
[9] SceneRF: Self-Supervised Monocular 3D Scene Reconstruction with Radiance Fields, 2023, arXiv:2212.02501
[10] Behind the Scenes: Density Fields for Single View Reconstruction, 2023, arXiv:2301.07668

[4]CLONeR：

使用占用網(wǎng)格，與自動駕駛聯(lián)系緊密
在室外的無邊界場景里面，NeRF的采樣射線并不知道自己該在哪兒終止，于是用占用網(wǎng)格來作為輔助，讓NeRF在被占據(jù)的(存在場景幾何的地方采樣)，這相較于原版NeRF粗糙的均勻采樣會更好

缺點(diǎn)：用兩個MLP+一個占用網(wǎng)格地圖表示一個大場景，NeRF那邊已經(jīng)有體素里儲存特征向量，這樣的混合場景表達(dá)方法來做類似的事情
改進(jìn)點(diǎn)：讓占用網(wǎng)格儲存特征向量，這樣在保留新視角合成能力的同時，還能實(shí)現(xiàn)地圖擴(kuò)展，不受MLP限制

Urban Radiance Fields

實(shí)現(xiàn)了對城市級場景的重建
解決：采集的圖像里光照條件會不一致，作者對圖像的曝光進(jìn)行隱式的編碼，再用神經(jīng)網(wǎng)絡(luò)將它轉(zhuǎn)化為一個顏色仿射變換，讓圖像能夠有一致的外觀
對于無邊界的采樣，采用圓拱形結(jié)構(gòu)來建模天空
在訓(xùn)練的時候用了一個語義分割，把天空在圖像中的位置給mask出來
對畫面里動態(tài)的人或者車，也用語義模型mask掉
用一個MLP來存儲大型的室外場景，顯然MLP容量有限，在一系列的場景數(shù)據(jù)到來的時候，網(wǎng)絡(luò)會更傾向于學(xué)到后面的數(shù)據(jù)，或者渲染出這些場景混在一起的樣子(遺忘問題)
解決問題：1.用多個MLP 2.不用MLP換成點(diǎn)云體素之類的表達(dá)方式

[6]S-NERF

在重建自動駕駛場景的背景同時，也重建了路上移動的車輛
同樣是用相機(jī)和雷達(dá)兩種傳感器，把背景和車輛分開建模
對于背景，S-NeRF用了一個半徑參數(shù)來確定地圖邊界，然后把地圖的內(nèi)容歸一化到這個邊界里面
對于車輛，為了得到車輛的Nerf模型，S-NeRF先用一個3D目標(biāo)檢測得到車輛的bounding box，然后把和目標(biāo)車輛相關(guān)的視角，變換到以車輛為中心的坐標(biāo)系下，這樣對于一輛車可以得到2到6張照片
為了得到更好的效果，S-NERF先用一個現(xiàn)有方法從這幾個視角的圖像和雷達(dá)點(diǎn)云里去生成粗糙的mesh，從中渲染出一個稠密的深度圖來做監(jiān)督，背景已經(jīng)用語義分割模型去除掉了
S-NeRF還設(shè)計(jì)了一些深度補(bǔ)全的方法來從含有噪聲的稀疏的雷達(dá)點(diǎn)云獲得稠密的高質(zhì)量的深度圖
缺點(diǎn)：單個MLP對大型場景的擬合能力

Block-NeRF

把場景分解成多個單獨(dú)的NeRF分開訓(xùn)練，從而讓建模能夠擴(kuò)展到任意大的場景，允許每個場景的Block單獨(dú)更新
虛線黃圈是每個NeRF的可見半徑，針對target view的目標(biāo)位置，如果它處于某個NeRF的可見半徑內(nèi)，那就去渲染一張RGB圖，并根據(jù)距離預(yù)測一個能見度，如果能見度太低就會被舍棄，最后根據(jù)能見度和渲染的RGB，把所有可見的NeRF得到的圖像融合成為target view的RGB圖

和原本NeRF的區(qū)別：左下角加上了曝光和外觀編碼，這樣讓MLP去學(xué)到輸入圖像的光照條件，從而讓建模過程不受光照變化的影響

缺點(diǎn)：對NeRF本身沒有多少改進(jìn)，仍然會收到NeRF重建缺陷的制約，比如需要很多訓(xùn)練數(shù)據(jù)，不能實(shí)時，還需要手工設(shè)置這些MLP的位置，不能自適應(yīng)調(diào)整去擴(kuò)展

Switch-NeRF

實(shí)現(xiàn)了一個端到端的用基于學(xué)習(xí)的場景分解方法的大規(guī)模場景NeRF重建

對于Switch-NeRF來說，MoE是這樣實(shí)現(xiàn)的：
從左下角生成了一個3d采樣點(diǎn)，把這個采樣點(diǎn)的位置進(jìn)行編碼得到PE(x),PE(x)的值經(jīng)過一個門控網(wǎng)絡(luò)得知它應(yīng)該被送往專家2去重建
因?yàn)閷＜?是負(fù)責(zé)這個PE(x)位置重建的，就是一個MLP
專家2的輸出結(jié)果再接一個head去預(yù)測得到RGB和體密度
也就是對于大規(guī)模場景的重建，Switch-NeRF把地圖劃分為很多個MLP來儲存，為了把這些MLP組織起來，搭建了這個MoE系統(tǒng)，讓每個專家負(fù)責(zé)一個MLP，通過訓(xùn)練過程學(xué)習(xí)該怎么給各個專家分配任務(wù)，同時也培養(yǎng)了每個專家的重建能力，最終協(xié)作實(shí)現(xiàn)重建

SceneRF

借助NeRF來實(shí)現(xiàn)單目重建的方法，具有新視角合成和新深度合成

從輸入圖像里面提取特征體積，劃定重建范圍，然后在這個范圍內(nèi)沿著一條假想的路徑去生成多個新視角，對每個新視角合成一個新深度，用這些深度去估計(jì)一個三位重建的結(jié)果，從而去和ground truth求loss來優(yōu)化
作者設(shè)計(jì)了一個概率射線采樣策略，把沿著每條射線的連續(xù)密度通過MLP轉(zhuǎn)換為一個一維高斯混合，通過學(xué)習(xí)能夠讓這些高斯混合的比較大的值接近真實(shí)的表面位置，這樣就能顯著減少采樣點(diǎn)
這里的監(jiān)督就來自NeRF對顏色和深度的預(yù)測，作者實(shí)現(xiàn)每條線僅用64個點(diǎn)，就能完成100米射線上的采樣
NeRF的渲染是被設(shè)定在一定體積內(nèi)的，也就是場景里面的特征體積，為了跳出這個限定的特征體積，作者提出了帶有球形解碼器的U-Net用來放大視場，生成原圖像視場之外的圖像和深度
具有一定的泛化能力

Behind the Scenes

從輸入的圖像里去預(yù)測一個隱式密度場來描述當(dāng)前視角下的平截頭體范圍內(nèi)的體密度分布，這個密度場里不儲存顏色信息，在渲染新視角時，像素的顏色是從輸入圖像里變換過來的
這篇論文的工作：在生成隱式密度場的編解碼器上

大規(guī)模與自動駕駛場景重建:3D高斯

3D高斯工作的辛苦整理 github倉庫
近期工作有：
VastGaussian：用來重建大規(guī)模場景
Street Gaussian ：建模動態(tài)的城市場景
DrivingGaussian：重建動態(tài)的自動駕駛場景
Periodic Vibration Gaussian：動態(tài)城市場景重建和實(shí)時渲染
都是基于3D GS的大規(guī)模室外場景重建方法，后3篇是針對自動駕駛場景做的重建(動態(tài)內(nèi)容)

VastGaussian

第一個基于3D GS的高質(zhì)量的，并且能夠?qū)崟r渲染的大規(guī)模場景重建方法
對標(biāo)的是Mega-NeRF和Switch-NeRF，屬于NeRF時代的大規(guī)模場景重建方法
利用分區(qū)域的逐步構(gòu)建輻射場的方法來減少計(jì)算壓力
用解耦的外觀模型來去除光照對建模的影響

直接在3d gs模型里渲染出來的圖，它不考慮光照，所以和GT圖像之間是有誤差的，即便建模很準(zhǔn)確，光照也會造成誤差(漂浮的光斑)
解決方法是把模型和光照解耦，模型渲染出來之后的內(nèi)容用CNN添加光照信息，做外觀修正之后就能和GT圖像保持一致
這時候求誤差就不會受到光照變化的干擾，這樣模型就能夠?qū)Ｗ⒌厝W(xué)習(xí)幾何，以及一個光照比較平均的外觀

Periodic Vibration Gaussian（復(fù)旦大學(xué)）

自動駕駛下的場景重建，但是多了動態(tài)物體和視角的限制
主打的是動態(tài)的城市街景重建
對于高斯點(diǎn)來說，均值是它所在的位置，PVG這樣的建模能偶控制它的移動，建模它在不同時刻出現(xiàn)在不同的位置
不透明度可以看作是它是否可見，也讓它與時間建立關(guān)聯(lián)
PVG思路是讓時間參與建模，相當(dāng)于建模每一時刻的場景，但并不是作用在整個場景上的，并不是每個時刻都建一個模型出來，而是精確地作用在每個高斯點(diǎn)上，作用在表示位置的均值和表示可見性的不透明度上

前景的動態(tài)物體就可以用短生命周期的PVG來建模
靜態(tài)的背景物體就可以用長生命周期的PVG來表示

具體流程是這樣的：
先查詢t-▲t時刻的狀態(tài)，在這個時刻下去計(jì)算一個速度v，藍(lán)色箭頭就是v的方向
v乘以▲t就是點(diǎn)該移動的距離，用這個v來預(yù)測t時刻下的PVG點(diǎn)的位置，拿這個位置來做渲染
把渲染結(jié)果和t時刻的GT數(shù)據(jù)求誤差
并不是直接拿t時刻的PVG點(diǎn)來做渲染，而是用▲t之前的點(diǎn)去預(yù)測t時刻的狀態(tài)，再拿預(yù)測的t時刻的點(diǎn)做t時刻下的訓(xùn)練的監(jiān)督，相當(dāng)于動態(tài)過程參與訓(xùn)練，從而對運(yùn)動有更好的學(xué)習(xí)效果

DrivingGaussian