今天給大家介紹一種名為BAG（Body-Aligned 3D Wearable Asset Generation）的新方法，可以自動生成可穿戴的3D資產，如服裝和配飾，以適應特定的人體模型。BAG方法通過構建一個多視圖圖像擴散模型，生成與人體對齊的3D資產，并通過物理模擬解決資產與身體之間的穿透問題，最終實現(xiàn)了高質量的3D資產生成。

相關鏈接

• 論文：http://arxiv.org/abs/2501.16177v1

• 主頁：https://bag-3d.github.io/

論文介紹

雖然最近的進展在一般3D形狀生成模型方面取得了顯著進展，但利用這些方法自動生成可穿戴3D資產的挑戰(zhàn)仍未被探索。為此，我們提出了BAG，一種與身體對齊的資產生成方法，用于輸出3D可穿戴資產，可以在給定的3D人體上自動穿戴。這是通過使用人體形狀和姿態(tài)信息來控制3D生成過程來實現(xiàn)的。具體而言，我們首先建立了一個通用的單圖像到一致的多視圖圖像擴散模型，并在大型Objaverse數(shù)據集上進行訓練，以實現(xiàn)多樣性和泛化性。然后，我們訓練一個控制網來引導多視圖生成器生成與身體對齊的多視圖圖像?？刂菩盘柪媚繕巳梭w的多視圖2D投影，其中像素值表示規(guī)范化空間中人體表面的XYZ坐標。身體條件多視圖擴散生成與身體對齊的多視圖圖像，然后將其饋送到本地3D擴散模型中以生成資產的3D形狀。最后，利用多視角輪廓監(jiān)督恢復相似變換，并利用物理模擬器解決資產-身體穿透問題，將3D資產精確貼合到目標人體上。實驗結果表明，該方法在圖像快速跟蹤能力、形狀多樣性和形狀質量方面優(yōu)于現(xiàn)有方法。

方法

方法概述。 給定輸入圖像和目標體，我們使用身體條件圖像生成來產生身體對齊的一致性四視圖正射影圖。然后將四視圖圖像饋送到本地3D擴散模型中以獲得資產形狀。相似之處生成資產的轉換（Sim3）通過基于輪廓的投影優(yōu)化來估計。最后，在求解body-asset之后通過滲透，將sim3轉換的資產安裝到人體上。

規(guī)范的主體空間（左），以及與主體對齊的3D資產示例數(shù)據集(右)。體表面的顏色是通過縮放得到的將規(guī)范化的XYZ值設置為[0-255]的范圍。

滲透處理。 盡管應用了Sim(3)變換，但資產和身體之間的穿透仍然存在，如初始對齊所示。為了解決這個問題，采用了代理網格， 它保留了視覺網格的基本幾何形狀，并作為一個布料模擬代表。最后的對齊展示了模擬后資產和身體的無穿透狀態(tài)。

獲取輸入體和圖像對的四種方法。a)SMPLX擬合。b) Sketch-Based建模。c)虛擬試戴。d)手動圖像組裝。

方法

定性資產形狀生成結果。

體對準多視圖生成的消融研究。

我們的和消融的結盟策略的定性比較。如圖所示，生成的多視圖圖像與呈現(xiàn)的圖像對齊(b)，生成的3D資產不能有效地保證與輸入圖像對齊(c)。這種差異源于在多視圖到3d擴散模型中使用的不同技術和歸一化策略。通過采用Sim(3)優(yōu)化，三維網格對齊人體(d)，盡管一些穿透仍然存在。我們的穿透處理方法，如(e)所示，實現(xiàn)了資產的無穿透狀態(tài)還有身體。

四種設置的結果圖庫：(a)使用擬合的SMPLX進行單視圖重建；(b)基于圖像的虛擬試戴；(c)組裝現(xiàn)有二維資產；(d)基于草圖的建模。每個圖像之后是重建的資產網格。我們的方法證明了有效生產的熟練程度身體對齊的資產形狀，并忠實地捕獲高保真的幾何細節(jié)從輸入。