當(dāng)前位置：首頁 > news >正文

江門網(wǎng)站制作cpa推廣聯(lián)盟平臺(tái)

news 2025/7/4 8:25:50

江門網(wǎng)站制作,cpa推廣聯(lián)盟平臺(tái),wordpress 企業(yè)網(wǎng)站授權(quán)費(fèi),高質(zhì)量網(wǎng)站內(nèi)容建設(shè)標(biāo)準(zhǔn)目錄一、概述二、相關(guān)工作 1、神經(jīng)渲染 2、基于Mesh的渲染 3、基于點(diǎn)的渲染和高斯濺射三、前置知識(shí) 1、SDF 2、Marching Cubes算法四、MeshGS 1、初始化Mesh網(wǎng)格 2、基于Mesh的GS濺射 3、損失函數(shù) 一、概述提出一種基于距離的高斯splatting，并且將高…

一、概述

二、相關(guān)工作

1、神經(jīng)渲染

2、基于Mesh的渲染

3、基于點(diǎn)的渲染和高斯濺射

三、前置知識(shí)

1、SDF

2、Marching Cubes算法

四、MeshGS

1、初始化Mesh網(wǎng)格

2、基于Mesh的GS濺射

3、損失函數(shù)

一、概述

? ? ? ? 提出一種基于距離的高斯splatting，并且將高斯splatting和網(wǎng)格表面相結(jié)合，消除高斯splatting中對(duì)渲染毫無貢獻(xiàn)的冗余。對(duì)于高斯splats和mesh網(wǎng)格間的距離區(qū)分為緊密束縛和松弛束縛，并對(duì)兩類方法采用不同的訓(xùn)練方法，對(duì)緊密束縛采取幾何正則化，松弛束縛采用圖像監(jiān)督。該方法超越了基于mesh網(wǎng)格的渲染技術(shù)，且相比原始的3DGS的splat個(gè)數(shù)少了30%。

（1）提出了一種新的基于mesh網(wǎng)格的GS splatting方法，將GS splats與三角形mesh網(wǎng)格相結(jié)合，提出了一種新的方法來初始化和訓(xùn)練在三角mesh網(wǎng)格下的GS splats。

（2）使用兩種高斯splats和mesh網(wǎng)格間的距離來區(qū)分，并引入不同的訓(xùn)練策略，適應(yīng)不同的渲染需求。

二、相關(guān)工作

1、神經(jīng)渲染

? ? ? ? NeRF考慮使用MLP來編碼場(chǎng)景，并通過可微的體渲染來恢復(fù)RGB和密度。

? ? ? ? 隱式神經(jīng)曲面考慮將MLP映射到一個(gè)符號(hào)距離函數(shù)（SDF）或占用網(wǎng)格上，并使用可微體渲染來訓(xùn)練。

2、基于Mesh的渲染

? ? ? ? 基于Mesh的渲染原理就是利用網(wǎng)格將3D模型分解為表面的多邊形進(jìn)行渲染。

? ? ? ? 一方面將GS splats替代網(wǎng)格，來捕捉場(chǎng)景細(xì)節(jié)，SuGaR將GS splats緊密綁定在網(wǎng)格表面，MobileNeRF考慮優(yōu)化三角面，并將不透明度和特征嵌入到紋理。另外VMesh考慮結(jié)合mesh和體渲染來實(shí)現(xiàn)高保真重建，LTM考慮使用網(wǎng)格抽取實(shí)現(xiàn)大場(chǎng)景下的重建。

? ? ? ? 但大多數(shù)基于Mesh的渲染都存在網(wǎng)格偽影，所以該論文提出結(jié)合3DGS來突破這個(gè)挑戰(zhàn)。

3、基于點(diǎn)的渲染和高斯濺射

? ? ? ? 基于點(diǎn)的渲染旨在打破傳統(tǒng)基于多邊形網(wǎng)格渲染的技術(shù)。近期也提出關(guān)于點(diǎn)云渲染、球體渲染、可微分濺射等方法。

? ? ? ? 3DGS通過3DGS splatting進(jìn)行渲染，通過快速光柵化實(shí)現(xiàn)。

? ? ? ? SuGaR利用泊松重建，從3DGS提取mesh網(wǎng)格并綁定在三角形上進(jìn)行渲染。

? ? ? ? GaussianAvatars和GaMeS考慮將3DGS緊密綁定網(wǎng)格上，用于渲染動(dòng)態(tài)場(chǎng)景和人體模型。

? ? ? ? 上述論文更加關(guān)注單一物體或人體模型，而該論文考慮對(duì)于大場(chǎng)景下的基于mesh的高斯splat技術(shù)，mesh結(jié)合3DGS可以保證渲染質(zhì)量的前提下，獲取更為精確的幾何信息。

三、前置知識(shí)

1、SDF

? ? ? ? 有符號(hào)距離場(chǎng)（Signed Distance Field，SDF）是一種用于表示3D幾何的數(shù)據(jù)結(jié)構(gòu)。SDF將3D空間中每一個(gè)點(diǎn)都映射為一個(gè)實(shí)數(shù)，對(duì)于表面內(nèi)部的點(diǎn)，SDF值設(shè)為負(fù)數(shù)，表面的點(diǎn)，SDF值為0，表面外部的點(diǎn)，SDF值為正。

? ? ? ? SDF可以用來精確表示3D幾何形狀，通過微分渲染技術(shù)來優(yōu)化。

2、Marching Cubes算法

? ? ? ? Marching Cubes算法是一種用于從3D幾何數(shù)據(jù)中提取精確的3D網(wǎng)格表示，通過劃分立方體網(wǎng)格，并根據(jù)每個(gè)立方體內(nèi)的數(shù)據(jù)值確定等值面的位置和形狀，從而生成三角網(wǎng)格表示的等值面。

? ? ? ? 在論文中因?yàn)镸arching Cubes算法會(huì)生成大量三角形，所以進(jìn)行進(jìn)一步的mesh decimation（網(wǎng)格簡(jiǎn)化），通過減少網(wǎng)格模型中的三角形數(shù)量，盡可能保持原始幾何形狀，也對(duì)于后續(xù)高分辨率網(wǎng)格和快速光柵化渲染相結(jié)合的效果更加顯著，也提高了效率。

四、MeshGS

? ? ? ? MeshGS的網(wǎng)絡(luò)框架分為兩個(gè)部分：初始化Mesh網(wǎng)格，基于Mesh的GS濺射。

1、初始化Mesh網(wǎng)格

? ? ? ? 對(duì)于以往的3DGS方法使用SfM技術(shù)生成的稀疏點(diǎn)云，該論文為了高質(zhì)量渲染，考慮設(shè)計(jì)網(wǎng)格重建初始化3DGS，而非稀疏點(diǎn)云計(jì)算3DGS參數(shù)。

????????首先輸入多視圖圖像和相機(jī)位姿信息利用BakedSDF技術(shù)提取3DSDF幾何表示，其中分別使用兩個(gè)MLP，首先輸入圖像到一個(gè)MLP中提取有符號(hào)距離場(chǎng) $f_{sdf}$ ，之后將 $f_{sdf}$ 輸入到第二個(gè)MLP中輸出顏色場(chǎng) $f_{color}$ 。進(jìn)一步將有符號(hào)距離場(chǎng) $f_{sdf}$ 與顏色場(chǎng) $f_{color}$ 結(jié)合得到變換后的 $f_{sdf}$ 幾何表示。

? ? ? ? 之后利用Marching Cubes算法提取 $f_{sdf}$ 幾何表示，生成三角網(wǎng)格，并通過網(wǎng)格簡(jiǎn)化，減少網(wǎng)格模型中三角形數(shù)量，保持幾何細(xì)節(jié)，提高渲染質(zhì)量。

2、基于Mesh的GS濺射

? ? ? ? 基于距離的3DGS濺射：給定一個(gè)mesh網(wǎng)格 $M$ ，考慮在每個(gè)三角形網(wǎng)格的中心位置（視點(diǎn) $P_i$ ）初始化3D高斯濺射，利用對(duì)應(yīng)視角的深度圖來遮擋那些被網(wǎng)格表面遮擋的高斯濺射，且定義網(wǎng)格表面是完全不透明的。

? ? ? ? 另外在訓(xùn)練過程中，評(píng)估所有訓(xùn)練視角中，永遠(yuǎn)不會(huì)被觀察到的位于網(wǎng)格表面后方的冗余高斯濺射將它移除。

? ? ? ? 考慮到真實(shí)場(chǎng)景中重建網(wǎng)格存在偽影，我們的目標(biāo)要拆分成對(duì)待能夠高度重建的讓他表現(xiàn)的更好（緊密綁定），另外的部分保證減少偽影（松散綁定），所以將高斯濺射分為兩類，一個(gè)是緊密綁定在網(wǎng)格表面的（高斯濺射和mesh網(wǎng)格之間距離小于閾值），另一個(gè)是松散綁定在網(wǎng)格表面的（高斯濺射和mesh網(wǎng)格之間距離大于閾值），緊密綁定的高斯濺射被平坦化并與網(wǎng)格表面對(duì)齊，而松散綁定的高斯濺射則用于覆蓋網(wǎng)格失真的區(qū)域。