3DV-TON

3DV-TON – 阿里達摩院聯合浙大等推出的視頻虛擬試穿框架

3DV-TON是什么

3DV-TON（Textured 3D-Guided Consistent Video Try-on via Diffusion Models）是由阿里巴巴達摩院、湖畔實驗室與浙江大學共同開發的一種創新視頻虛擬試穿框架。該框架基于擴散模型，旨在解決傳統方法在處理復雜服裝圖案和多樣化人體姿態時產生的效果不佳問題。3DV-TON通過生成動畫化的紋理化3D網格作為顯式的幀級指導，確保生成的試穿視頻在視覺質量和時間一致性上表現卓越。此外，3DV-TON引入了高分辨率的基準數據集HR-VVT，推動了視頻試穿技術的研究進展。

3DV-TON的主要功能

• 高保真視覺效果：精準復現服裝細節，呈現出令人信服的試穿效果。
• 時間一致性：確保視頻中服裝紋理在各個幀之間保持連貫性，避免產生偽影或變形。
• 適應復雜場景：能夠處理多樣化的服裝類型、復雜的人體姿態及動態場景。
• 提供基準數據集：推出高分辨率視頻試穿基準數據集HR-VVT，推動相關研究與評估的發展。

3DV-TON的技術原理

• 紋理化3D指導：通過單圖像3D重建技術生成可動畫化的紋理化3D網格，并將其與原始視頻的姿態同步，為擴散模型提供顯式的幀級指導，確保試穿結果在外觀和上的一致性。
• 動態3D指導管道：選擇關鍵幀進行初步的2D圖像試穿，重建動畫化紋理化3D網格，并優化SMPL-X參數，以確保3D網格與人體姿態精確對齊。
• 矩形掩碼策略：防止服裝信息泄露，避免動態人體與服裝現偽影。結合服裝圖像和試穿圖像作為參考，提供上下文信息以增強生成效果。
• 擴散模型架構：基于Stable Diffusion，擴展UNet架構以支持偽3D結構，集成時間模塊以實現真實感的生成，從而減少對顯式光流或變形操作的依賴。
• 訓練策略：結合圖像與視頻數據進行訓練，通過隨機選擇數據類型來平衡圖像質量與時間一致性，使用分類器引導（CFG）策略，隨機省略某些條件輸入以增強模型的魯棒性。

3DV-TON的項目地址

• 項目官網：https://2y7c3.github.io/3DV-TON/
• arXiv技術論文：https://arxiv.org/pdf/2504.17414

3DV-TON的應用場景

• 在線購物：幫助用戶進行虛擬試穿，提升購物體驗并減少退貨率。
• 時尚設計：快速展示服裝設計效果，支持設計與營銷活動。
• 虛擬試衣間：在實體店內節省試穿時間和精力。
• 影視和游戲：輔助角色服裝設計與定制，提高制作效率。
• 社交媒體：為用戶提供有趣的試穿視頻創作與分享工具。

常見問題

• 3DV-TON如何實現高保真的試穿效果？：該技術通過生成紋理化的3D網格與原始視頻的姿態同步，從而確保試穿效果的真實感。
• 3DV-TON支持哪些類型的服裝？：該框架能夠處理多樣化的服裝類型，包括復雜圖案和動態設計。
• 如何訪問3DV-TON的技術論文？：用戶可以通過項目官網或直接訪問arXiv鏈接獲取相關論文。