摘要

Neural Radiance Fields (NeRF) 已通過密集視圖圖像展示了卓越的 3D 重建能力。然而，在稀疏視圖設(shè)置下，其性能顯著惡化。我們觀察到，在這種情況下，學(xué)習(xí)不同視圖之間像素的 3D 一致性對于提高重建質(zhì)量至關(guān)重要。在本文中，我們提出了 ConsistencyNeRF，一種利用深度信息來規(guī)范像素之間的多視圖和單視圖 3D 一致性的方法。具體來說，ConstantNeRF 采用深度導(dǎo)出的幾何信息和深度不變損失來集中于表現(xiàn)出 3D 對應(yīng)性并保持一致深度關(guān)系的像素。對最近代表性作品的大量實驗表明，我們的方法可以顯著提高稀疏視圖條件下的模型性能，與各種基準(zhǔn)的普通基線相比，PSNR 提高?94%，SSIM 提高 76%，LPIPS 提高 31%，包括 DTU、NeRF 合成和 LLFF。

框架

本文所提出的多視圖和單視圖 3D 一致性正則化的演示。我們利用不同視圖之間的多視圖深度對應(yīng)關(guān)系來對多視圖 3D 一致性進行正則化，以屏蔽滿足 3D 對應(yīng)關(guān)系（紅點）或不滿足 3D 對應(yīng)關(guān)系（綠點）的像素，并根據(jù)掩模信息構(gòu)造損失。我們還通過基于最先進的 MiDas 模型預(yù)測的單目深度構(gòu)建深度尺度不變損失函數(shù)來規(guī)范單視圖 3D 一致性。

實驗效果

以 3 個視圖作為輸入的 LLFF 數(shù)據(jù)集的新穎視圖綜合結(jié)果。?我們觀察到基線受到模糊結(jié)果的影響，而我們的 ConsistencyNeRF 可以產(chǎn)生具有細粒度細節(jié)的清晰結(jié)果。

結(jié)論

在本文中，我們針對具有挑戰(zhàn)性的稀疏視圖合成問題，提出了 ConcientNeRF，它增強了具有 3D 一致性的神經(jīng)輻射場。為了在不同視圖中的像素之間建立對應(yīng)關(guān)系，我們提出了一種基于掩碼的損失，以 3D 一致性來定位像素，而不是在訓(xùn)練目標(biāo)中平等地對待所有像素。此外，我們采用同一塊中像素之間的深度一致性正則化來規(guī)范同一視圖中像素之間的3D一致性。我們的實驗結(jié)果表明，我們提出的方法顯著提高了具有稀疏視圖設(shè)置的代表性 NeRF 方法的性能，并且可以比以前的基于深度的方法帶來更大的性能提升。這些有希望的結(jié)果表明，基于一致性的 NeRF 是渲染具有正確幾何形狀和細粒度細節(jié)的圖像的重要方向?？傊?#xff0c;我們提出的方法為稀疏視圖合成的挑戰(zhàn)性問題提供了一種新的有效解決方案，并且在未來各個領(lǐng)域的應(yīng)用中具有廣闊的前景。

論文鏈接：https://arxiv.org/pdf/2305.11031v1.pdf