FabricDiffusion

FabricDiffusion是一項由谷歌與卡內(nèi)基梅隆大合開發(fā)的高保真3D服裝生成技術(shù)，能夠?qū)F(xiàn)實中的2D服裝圖像的紋理與印花高質(zhì)量地轉(zhuǎn)移至任意形狀的3D服裝模型上。該技術(shù)依托去噪擴散模型和大規(guī)模合成數(shù)據(jù)集，修正輸入紋理圖像的失真，并生成多種貼圖，包括漫反射、粗糙度、法線和金屬度，從而實現(xiàn)對3D服裝在不同光照條件下的精確重新照明與渲染。

FabricDiffusion是什么

FabricDiffusion是由谷歌和卡內(nèi)基梅隆大學共同推出的一種先進的3D服裝生成技術(shù)，旨在將現(xiàn)實生活中的2D服裝圖像的細膩紋理和獨特印花準確地轉(zhuǎn)移到各類3D服裝模型上。其核心技術(shù)基于去噪擴散模型，結(jié)合龐大的合成數(shù)據(jù)集，有效糾正輸入紋理圖像的失真，生成包括漫反射、粗糙度、法線以及金屬度等多種紋理貼圖，展現(xiàn)出卓越的性能與廣泛的適應能力。

FabricDiffusion

FabricDiffusion的主要功能

高質(zhì)量紋理轉(zhuǎn)移：自動提取并將2D服裝圖像的紋理和印花轉(zhuǎn)移至3D服裝模型。
多種紋理處理：能夠處理各類紋理、圖案及材料類型。
多種紋理貼圖生成：支持生成漫反射貼圖以及粗糙度、法線和金屬度貼圖。
跨光照條件的渲染：在不同光照條件下實現(xiàn)3D服裝的精確重新照明與渲染。
零樣本泛化能力：在僅使用合成渲染圖像進行訓練的情況下，成功泛化至現(xiàn)實世界圖像。

FabricDiffusion的技術(shù)原理

去噪擴散模型：利用去噪擴散模型從失真的輸入紋理圖像中恢復出無失真、可平鋪的紋理材料。
大規(guī)模合成數(shù)據(jù)集：構(gòu)建了一個包含超過10萬種紡織顏像、3800種PBR材質(zhì)紋理、7000個印花和22個3D服裝網(wǎng)格的大型合成數(shù)據(jù)集，用于模型訓練。
紋理圖像糾正：基于模型訓練，糾正輸入紋理圖像中的失真，生成與物理基礎(chǔ)渲染（PBR）材質(zhì)生成流程緊密結(jié)合的平滑紋理圖。
特征轉(zhuǎn)移：從單一服裝圖像中提取并轉(zhuǎn)移紋理圖案、材質(zhì)屬性以及詳細的印花和標志等多種特征。
歸一化與可平鋪性：生成的紋理圖經(jīng)過歸一化處理，能夠在服裝的UV空間中平鋪，完美融入現(xiàn)有的PBR材質(zhì)估計流程。
條件生成：根據(jù)輸入的服裝圖像條件生成對應的紋理，實現(xiàn)從2D到3D的高質(zhì)量紋理轉(zhuǎn)移。

FabricDiffusion的項目地址

項目官網(wǎng)：humansensinglab.github.io/fabric-diffusion
arXiv技術(shù)論文：https://arxiv.org/pdf/2410.01801

FabricDiffusion的應用場景

虛擬試衣：在電子商務和時尚零售中，構(gòu)建虛擬試衣間，讓消費者能夠在線試穿3D服裝，提升購物體驗。
游戲與娛樂：在游戲開發(fā)過程中，迅速生成具有真實紋理的3D服裝，增強游戲角色的視覺真實感。
虛擬現(xiàn)實（VR）與增強現(xiàn)實（AR）：在VR和AR應用中，創(chuàng)造逼真的虛擬環(huán)境與角色，提升用戶的沉浸感。
影視制作：在電影和電視制作中，生成或修改服裝紋理，提升特效及服裝設(shè)計的效率。
時尚設(shè)計與原型開發(fā)：幫助設(shè)計師探索新設(shè)計與紋理，快速創(chuàng)建服裝原型，加速設(shè)計迭代。