3DV-TON – 阿里達(dá)摩院聯(lián)合浙大等推出的視頻虛擬試穿框架

3DV-TON是什么

3DV-TON（Textured 3D-Guided Consistent Video Try-on via Diffusion Models）是由阿里巴巴達(dá)摩院、湖畔實(shí)驗(yàn)室與浙江大學(xué)共同開發(fā)的一種創(chuàng)新視頻虛擬試穿框架。該框架基于擴(kuò)散模型，旨在解決傳統(tǒng)方法在處理復(fù)雜服裝圖案和多樣化人體姿態(tài)時(shí)產(chǎn)生的效果不佳問題。3DV-TON通過生成動(dòng)畫化的紋理化3D網(wǎng)格作為顯式的幀級(jí)指導(dǎo)，確保生成的試穿視頻在視覺質(zhì)量和時(shí)間一致性上表現(xiàn)卓越。此外，3DV-TON引入了高分辨率的基準(zhǔn)數(shù)據(jù)集HR-VVT，推動(dòng)了視頻試穿技術(shù)的研究進(jìn)展。

3DV-TON的主要功能

• 高保真視覺效果：精準(zhǔn)復(fù)現(xiàn)服裝細(xì)節(jié)，呈現(xiàn)出令人信服的試穿效果。
• 時(shí)間一致性：確保視頻中服裝紋理在各個(gè)幀之間保持連貫性，避免產(chǎn)生偽影或變形。
• 適應(yīng)復(fù)雜場(chǎng)景：能夠處理多樣化的服裝類型、復(fù)雜的人體姿態(tài)及動(dòng)態(tài)場(chǎng)景。
• 提供基準(zhǔn)數(shù)據(jù)集：推出高分辨率視頻試穿基準(zhǔn)數(shù)據(jù)集HR-VVT，推動(dòng)相關(guān)研究與評(píng)估的發(fā)展。

3DV-TON的技術(shù)原理

• 紋理化3D指導(dǎo)：通過單圖像3D重建技術(shù)生成可動(dòng)畫化的紋理化3D網(wǎng)格，并將其與原始視頻的姿態(tài)同步，為擴(kuò)散模型提供顯式的幀級(jí)指導(dǎo)，確保試穿結(jié)果在外觀和上的一致性。
• 動(dòng)態(tài)3D指導(dǎo)管道：選擇關(guān)鍵幀進(jìn)行初步的2D圖像試穿，重建動(dòng)畫化紋理化3D網(wǎng)格，并優(yōu)化SMPL-X參數(shù)，以確保3D網(wǎng)格與人體姿態(tài)精確對(duì)齊。
• 矩形掩碼策略：防止服裝信息泄露，避免動(dòng)態(tài)人體與服裝現(xiàn)偽影。結(jié)合服裝圖像和試穿圖像作為參考，提供上下文信息以增強(qiáng)生成效果。
• 擴(kuò)散模型架構(gòu)：基于Stable Diffusion，擴(kuò)展UNet架構(gòu)以支持偽3D結(jié)構(gòu)，集成時(shí)間模塊以實(shí)現(xiàn)真實(shí)感的生成，從而減少對(duì)顯式光流或變形操作的依賴。
• 訓(xùn)練策略：結(jié)合圖像與視頻數(shù)據(jù)進(jìn)行訓(xùn)練，通過隨機(jī)選擇數(shù)據(jù)類型來平衡圖像質(zhì)量與時(shí)間一致性，使用分類器引導(dǎo)（CFG）策略，隨機(jī)省略某些條件輸入以增強(qiáng)模型的魯棒性。

3DV-TON的項(xiàng)目地址

• 項(xiàng)目官網(wǎng)：https://2y7c3.github.io/3DV-TON/
• arXiv技術(shù)論文：https://arxiv.org/pdf/2504.17414

3DV-TON的應(yīng)用場(chǎng)景

• 在線購物：幫助用戶進(jìn)行虛擬試穿，提升購物體驗(yàn)并減少退貨率。
• 時(shí)尚設(shè)計(jì)：快速展示服裝設(shè)計(jì)效果，支持設(shè)計(jì)與營銷活動(dòng)。
• 虛擬試衣間：在實(shí)體店內(nèi)節(jié)省試穿時(shí)間和精力。
• 影視和游戲：輔助角色服裝設(shè)計(jì)與定制，提高制作效率。
• 社交媒體：為用戶提供有趣的試穿視頻創(chuàng)作與分享工具。

常見問題

• 3DV-TON如何實(shí)現(xiàn)高保真的試穿效果？：該技術(shù)通過生成紋理化的3D網(wǎng)格與原始視頻的姿態(tài)同步，從而確保試穿效果的真實(shí)感。
• 3DV-TON支持哪些類型的服裝？：該框架能夠處理多樣化的服裝類型，包括復(fù)雜圖案和動(dòng)態(tài)設(shè)計(jì)。
• 如何訪問3DV-TON的技術(shù)論文？：用戶可以通過項(xiàng)目官網(wǎng)或直接訪問arXiv鏈接獲取相關(guān)論文。