FitDiT：騰訊與復旦攜手打造的高保真虛擬試穿技術實現無縫體驗與精準匹配

FitDiT是由騰訊與復旦大合開發的高保真虛擬試穿技術，利用Diffusion Transformers（DiT）架構，專注于高分辨率特征的處理，顯著提升了服裝細節的呈現效果。該技術通過服裝紋理提取器和服裝先驗演化技術，增強了對服裝紋理（如條紋、圖案和文字）的捕捉能力，并采用擴張-松弛掩碼策略，優化了服裝尺寸的適配問題。FitDiT在定性和定量評估中均表現卓越，能夠快速生成真實感極強且細節豐富的試穿圖像，從而為虛擬試穿領域帶來了重大的突破。

FitDiT是什么

FitDiT是一項先進的虛擬試穿技術，由騰訊與復旦大合研發。該技術基于Diffusion Transformers（DiT）架構，專注于高分辨率特征的提取，以提升服裝細節的表現力。FitDiT結合服裝紋理提取器和服裝先驗演化技術，增強了對復雜服裝紋理的捕捉能力，同時通過擴張-松弛掩碼策略，解決了服裝尺寸適配問題。這一技術在生成高度真實且細節豐富的試穿圖像方面表現出色，推理速度也極為迅速，推動了虛擬試穿技術的進步。

FitDiT的主要功能

• 高保真虛擬試穿：生成逼真的試穿圖像，讓用戶能夠在多種場景中看到自己穿著特定服裝的效果。
• 紋理感知保持：通過服裝紋理提取器和先驗演化技術，精確捕捉服裝上的復雜紋理，如條紋、圖案和文字。
• 尺寸感知擬合：采用擴張-松弛掩碼策略，適應不同服裝的長度和形狀，確保在跨類別試穿時不泄露服裝形狀信息，達到更精準的擬合效果。
• 快速推理：在保持高保真試穿效果的前提下，優化DiT結構，單張1024×768圖像的推理時間僅為4.57秒，提高了試穿過程的效率。

FitDiT的技術原理

• Diffusion Transformers (DiT)：FitDiT基于DiT架構，賦予高分辨率特征更多的參數和注意力，以增強對服裝細節的處理能力。
• 服裝紋理提取器：引入專門的提取器，結合服裝先驗演化微調服裝特征，以更好地捕捉豐富的細節。
• 頻域學習：基于定制的頻率距離損失函數，增強高頻細節，提升服裝紋理的保真度。
• 擴張-松弛掩碼策略：通過擴張-松弛掩碼策略，解決尺寸擬合問題，確保服裝的正確長度，避免跨類別試穿時生成的服裝覆蓋整個掩碼區域，提高了試穿的準確性。
• 結構優化：對DiT結構進行了調整，去除了對虛擬試穿影響較小的文本編碼器，降低模型的參數量，從而提升了模型的訓練與推理速度。
• 混合注意力機制：在DenoisingDiT中采用混合注意力機制，將從GarmentDiT提取的服裝特征融入去噪過程中，實現高分辨率特征的融合。

FitDiT的項目地址

• 項目官網：byjiang.com/FitDiT
• GitHub倉庫：https://github.com/BoyuanJiang/FitDiT
• arXiv技術論文：https://arxiv.org/pdf/2411.10499

FitDiT的應用場景

• 電子商務平臺：為服裝零售網站提供在線試穿體驗，讓消費者在購物時能看到自己穿上不同服裝的效果，提升用戶體驗和滿意度。
• 時尚行業：設計師能夠通過FitDiT展示其設計作品，讓顧客在購買前預覽服裝的實際穿著效果，增加設計的吸引力。
• 個性化定制：為客戶提供個性化的試穿體驗，確保定制服裝的尺寸和樣式完全符合顧客需求。
• 增強現實（AR）和虛擬現實（VR）：在AR和VR應用中提供真實的試穿體驗，讓用戶在虛擬環境中試穿服裝，裝扮虛擬形象。
• 社交媒體：社交媒體平臺允許用戶在分享照片或視頻時試穿不同的服裝風格，增加互動性和娛樂性。