今天給大家介紹一種名為BAG（Body-Aligned 3D Wearable Asset Generation）的新方法，可以自動生成可穿戴的3D資產(chǎn)，如服裝和配飾，以適應(yīng)特定的人體模型。BAG方法通過構(gòu)建一個多視圖圖像擴散模型，生成與人體對齊的3D資產(chǎn)，并通過物理模擬解決資產(chǎn)與身體之間的穿透問題，最終實現(xiàn)了高質(zhì)量的3D資產(chǎn)生成。

相關(guān)鏈接

• 論文：http://arxiv.org/abs/2501.16177v1

• 主頁：https://bag-3d.github.io/

論文介紹

雖然最近的進展在一般3D形狀生成模型方面取得了顯著進展，但利用這些方法自動生成可穿戴3D資產(chǎn)的挑戰(zhàn)仍未被探索。為此，我們提出了BAG，一種與身體對齊的資產(chǎn)生成方法，用于輸出3D可穿戴資產(chǎn)，可以在給定的3D人體上自動穿戴。這是通過使用人體形狀和姿態(tài)信息來控制3D生成過程來實現(xiàn)的。具體而言，我們首先建立了一個通用的單圖像到一致的多視圖圖像擴散模型，并在大型Objaverse數(shù)據(jù)集上進行訓(xùn)練，以實現(xiàn)多樣性和泛化性。然后，我們訓(xùn)練一個控制網(wǎng)來引導(dǎo)多視圖生成器生成與身體對齊的多視圖圖像?？刂菩盘柪媚繕?biāo)人體的多視圖2D投影，其中像素值表示規(guī)范化空間中人體表面的XYZ坐標(biāo)。身體條件多視圖擴散生成與身體對齊的多視圖圖像，然后將其饋送到本地3D擴散模型中以生成資產(chǎn)的3D形狀。最后，利用多視角輪廓監(jiān)督恢復(fù)相似變換，并利用物理模擬器解決資產(chǎn)-身體穿透問題，將3D資產(chǎn)精確貼合到目標(biāo)人體上。實驗結(jié)果表明，該方法在圖像快速跟蹤能力、形狀多樣性和形狀質(zhì)量方面優(yōu)于現(xiàn)有方法。

方法

方法概述。 給定輸入圖像和目標(biāo)體，我們使用身體條件圖像生成來產(chǎn)生身體對齊的一致性四視圖正射影圖。然后將四視圖圖像饋送到本地3D擴散模型中以獲得資產(chǎn)形狀。相似之處生成資產(chǎn)的轉(zhuǎn)換（Sim3）通過基于輪廓的投影優(yōu)化來估計。最后，在求解body-asset之后通過滲透，將sim3轉(zhuǎn)換的資產(chǎn)安裝到人體上。

規(guī)范的主體空間（左），以及與主體對齊的3D資產(chǎn)示例數(shù)據(jù)集(右)。體表面的顏色是通過縮放得到的將規(guī)范化的XYZ值設(shè)置為[0-255]的范圍。

滲透處理。 盡管應(yīng)用了Sim(3)變換，但資產(chǎn)和身體之間的穿透仍然存在，如初始對齊所示。為了解決這個問題，采用了代理網(wǎng)格， 它保留了視覺網(wǎng)格的基本幾何形狀，并作為一個布料模擬代表。最后的對齊展示了模擬后資產(chǎn)和身體的無穿透狀態(tài)。

獲取輸入體和圖像對的四種方法。a)SMPLX擬合。b) Sketch-Based建模。c)虛擬試戴。d)手動圖像組裝。

方法

定性資產(chǎn)形狀生成結(jié)果。

體對準(zhǔn)多視圖生成的消融研究。

我們的和消融的結(jié)盟策略的定性比較。如圖所示，生成的多視圖圖像與呈現(xiàn)的圖像對齊(b)，生成的3D資產(chǎn)不能有效地保證與輸入圖像對齊(c)。這種差異源于在多視圖到3d擴散模型中使用的不同技術(shù)和歸一化策略。通過采用Sim(3)優(yōu)化，三維網(wǎng)格對齊人體(d)，盡管一些穿透仍然存在。我們的穿透處理方法，如(e)所示，實現(xiàn)了資產(chǎn)的無穿透狀態(tài)還有身體。

四種設(shè)置的結(jié)果圖庫：(a)使用擬合的SMPLX進行單視圖重建；(b)基于圖像的虛擬試戴；(c)組裝現(xiàn)有二維資產(chǎn)；(d)基于草圖的建模。每個圖像之后是重建的資產(chǎn)網(wǎng)格。我們的方法證明了有效生產(chǎn)的熟練程度身體對齊的資產(chǎn)形狀，并忠實地捕獲高保真的幾何細(xì)節(jié)從輸入。