BAG – 港中文聯(lián)合騰訊推出的3D可穿戴資產(chǎn)生成技術(shù)

BAG是什么

BAG（Body-Aligned 3D Wearable Asset Generation）是一項(xiàng)由香港中文大學(xué)與騰訊共同研發(fā)的先進(jìn)3D可穿戴資產(chǎn)生成技術(shù)。該技術(shù)巧妙結(jié)合了多視圖圖像擴(kuò)散模型和控制網(wǎng)絡(luò)（ControlNet），通過分析人體的形狀與姿態(tài)信息，自動(dòng)生成完美契合人體的3D可穿戴資產(chǎn)，如服裝和配飾。BAG的核心在于利用多視圖生成器與3D擴(kuò)散模型。首先，通過多視圖圖像擴(kuò)散模型生成與人體對(duì)齊的多視圖圖像，接著將這些圖像輸入3D擴(kuò)散模型，轉(zhuǎn)化為3D資產(chǎn)。經(jīng)過物理模擬與優(yōu)化，生成的資產(chǎn)能夠自然而然地貼合人體，避免穿透問題。

BAG的主要功能

• 多視圖圖像生成：基于人體形狀與姿態(tài)信息，利用多視圖圖像擴(kuò)散模型生成與人體完美對(duì)齊的多視圖圖像。
• 3D資產(chǎn)生成：將生成的多視圖圖像輸入3D擴(kuò)散模型，創(chuàng)造出高質(zhì)量的3D服裝與配飾。
• 多樣化與個(gè)性化：支持從單一資產(chǎn)到多個(gè)組件的生成，滿足不同場景下的多樣化需求。
• 高效適配：快速生成與多種人體模型相適配的資產(chǎn)，適用于虛擬服裝試穿、游戲開發(fā)、虛擬現(xiàn)實(shí)（VR）和增強(qiáng)現(xiàn)實(shí)（AR）等領(lǐng)域。

BAG的技術(shù)原理

• 視圖圖像擴(kuò)散模型：BAG首先構(gòu)建了一個(gè)擴(kuò)散模型，能夠?qū)我粓D像轉(zhuǎn)化為一致的多視圖圖像，并在大規(guī)模的Objaverse數(shù)據(jù)集上進(jìn)行訓(xùn)練，確保多樣性與泛化能力。通過控制網(wǎng)絡(luò)（ControlNet），模型能夠生成與人體對(duì)齊的多視圖圖像，控制信號(hào)利用目標(biāo)人體的多視圖2D投影，其中像素值表示規(guī)范化空間中的人體表面XYZ坐標(biāo)。
• 3D形狀生成：生成的多視圖圖像被輸入本地的3D擴(kuò)散模型中，以生成資產(chǎn)的3D形狀。通過多視圖輪廓監(jiān)督恢復(fù)相似變換（Sim3），確保生成的3D資產(chǎn)與人體模型在空間上完美對(duì)齊。
• 物理模擬與優(yōu)化：為確保生成的3D資產(chǎn)能夠自然貼合人體，BAG采用物理模擬技術(shù)來解決資產(chǎn)與身體之間的穿透問題。通過代理網(wǎng)格保留資產(chǎn)的基本幾何形狀，作為布料模擬的代表，最終實(shí)現(xiàn)無穿透的完美對(duì)齊。

BAG的項(xiàng)目地址

• 項(xiàng)目官網(wǎng)：https://bag-3d.github.io/
• arXiv技術(shù)論文：https://arxiv.org/pdf/2501.16177

BAG的應(yīng)用場景

• 虛擬服裝試穿：BAG能夠根據(jù)用戶的身體模型迅速生成適合的3D服裝和配飾，用戶可以在虛擬環(huán)境中實(shí)時(shí)試穿不同風(fēng)格的服裝，提升購物體驗(yàn)，減少因尺碼不合適引起的退貨率。
• 游戲開發(fā)：在游戲開發(fā)中，BAG可為游戲角色提供多樣化的服裝與配飾，支持個(gè)性化定制，豐富玩家的角色體驗(yàn)。
• 虛擬現(xiàn)實(shí)（VR）和增強(qiáng)現(xiàn)實(shí)（AR）：BAG生成的3D資產(chǎn)可以無縫集成到VR和AR應(yīng)用中，為用戶提供沉浸式的服裝試穿與設(shè)計(jì)體驗(yàn)，可以在虛擬展廳中試穿多種風(fēng)格的服裝。
• 時(shí)尚設(shè)計(jì)：設(shè)計(jì)師可以利用BAG快速生成與迭代3D服裝模型，加快設(shè)計(jì)流程，并在虛擬環(huán)境中預(yù)覽設(shè)計(jì)效果，降低設(shè)計(jì)成本。

常見問題

• BAG如何確保生成資產(chǎn)的質(zhì)量？：BAG利用多視圖圖像和3D擴(kuò)散模型，結(jié)合物理模擬技術(shù)，確保生成的3D資產(chǎn)不僅美觀，而且在物理上與人體模型自然貼合。
• 該技術(shù)適用于哪些領(lǐng)域？：BAG廣泛應(yīng)用于虛擬服裝試穿、游戲開發(fā)、虛擬現(xiàn)實(shí)（VR）和增強(qiáng)現(xiàn)實(shí)（AR）、以及時(shí)尚設(shè)計(jì)等多個(gè)領(lǐng)域。
• 如何訪問BAG的更多信息？：您可以訪問BAG的官方網(wǎng)站以及相關(guān)技術(shù)論文，獲取更多詳細(xì)信息。