網(wǎng)站的開發(fā)平臺網(wǎng)頁點擊量統(tǒng)計
摘要
Neural Radiance Fields (NeRF) 已通過密集視圖圖像展示了卓越的 3D 重建能力。然而,在稀疏視圖設(shè)置下,其性能顯著惡化。我們觀察到,在這種情況下,學(xué)習(xí)不同視圖之間像素的 3D 一致性對于提高重建質(zhì)量至關(guān)重要。在本文中,我們提出了 ConsistencyNeRF,一種利用深度信息來規(guī)范像素之間的多視圖和單視圖 3D 一致性的方法。具體來說,ConstantNeRF 采用深度導(dǎo)出的幾何信息和深度不變損失來集中于表現(xiàn)出 3D 對應(yīng)性并保持一致深度關(guān)系的像素。對最近代表性作品的大量實驗表明,我們的方法可以顯著提高稀疏視圖條件下的模型性能,與各種基準(zhǔn)的普通基線相比,PSNR 提高?94%,SSIM 提高 76%,LPIPS 提高 31%,包括 DTU、NeRF 合成和 LLFF。
框架
本文所提出的多視圖和單視圖 3D 一致性正則化的演示。我們利用不同視圖之間的多視圖深度對應(yīng)關(guān)系來對多視圖 3D 一致性進行正則化,以屏蔽滿足 3D 對應(yīng)關(guān)系(紅點)或不滿足 3D 對應(yīng)關(guān)系(綠點)的像素,并根據(jù)掩模信息構(gòu)造損失。我們還通過基于最先進的 MiDas 模型預(yù)測的單目深度構(gòu)建深度尺度不變損失函數(shù)來規(guī)范單視圖 3D 一致性。
實驗效果
以 3 個視圖作為輸入的 LLFF 數(shù)據(jù)集的新穎視圖綜合結(jié)果。?我們觀察到基線受到模糊結(jié)果的影響,而我們的 ConsistencyNeRF 可以產(chǎn)生具有細粒度細節(jié)的清晰結(jié)果。
結(jié)論
在本文中,我們針對具有挑戰(zhàn)性的稀疏視圖合成問題,提出了 ConcientNeRF,它增強了具有 3D 一致性的神經(jīng)輻射場。為了在不同視圖中的像素之間建立對應(yīng)關(guān)系,我們提出了一種基于掩碼的損失,以 3D 一致性來定位像素,而不是在訓(xùn)練目標(biāo)中平等地對待所有像素。此外,我們采用同一塊中像素之間的深度一致性正則化來規(guī)范同一視圖中像素之間的3D一致性。我們的實驗結(jié)果表明,我們提出的方法顯著提高了具有稀疏視圖設(shè)置的代表性 NeRF 方法的性能,并且可以比以前的基于深度的方法帶來更大的性能提升。這些有希望的結(jié)果表明,基于一致性的 NeRF 是渲染具有正確幾何形狀和細粒度細節(jié)的圖像的重要方向??傊?#xff0c;我們提出的方法為稀疏視圖合成的挑戰(zhàn)性問題提供了一種新的有效解決方案,并且在未來各個領(lǐng)域的應(yīng)用中具有廣闊的前景。
論文鏈接:https://arxiv.org/pdf/2305.11031v1.pdf