FitDiT是由騰訊與復旦大合開發的高保真虛擬試穿技術，利用Diffusion Transformers（DiT）架構，專注于高分辨率特征的處理，顯著提升了服裝細節的呈現效果。該技術通過服裝紋理提取器和服裝先驗演化技術，增強了對服裝紋理（如條紋、圖案和文字）的捕捉能力，并采用擴張-松弛掩碼策略，優化了服裝尺寸的適配問題。FitDiT在定性和定量評估中均表現卓越，能夠快速生成真實感極強且細節豐富的試穿圖像，從而為虛擬試穿領域帶來了重大的突破。

FitDiT是什么

FitDiT是一項先進的虛擬試穿技術，由騰訊與復旦大合研發。該技術基于Diffusion Transformers（DiT）架構，專注于高分辨率特征的提取，以提升服裝細節的表現力。FitDiT結合服裝紋理提取器和服裝先驗演化技術，增強了對復雜服裝紋理的捕捉能力，同時通過擴張-松弛掩碼策略，解決了服裝尺寸適配問題。這一技術在生成高度真實且細節豐富的試穿圖像方面表現出色，推理速度也極為迅速，推動了虛擬試穿技術的進步。

FitDiT的主要功能

• 高保真虛擬試穿：生成逼真的試穿圖像，讓用戶能夠在多種場景中看到自己穿著特定服裝的效果。
• 紋理感知保持：通過服裝紋理提取器和先驗演化技術，精確捕捉服裝上的復雜紋理，如條紋、圖案和文字。
• 尺寸感知擬合：采用擴張-松弛掩碼策略，適應不同服裝的長度和形狀，確保在跨類別試穿時不泄露服裝形狀信息，達到更精準的擬合效果。
• 快速推理：在保持高保真試穿效果的前提下，優化DiT結構，單張1024×768圖像的推理時間僅為4.57秒，提高了試穿過程的效率。

FitDiT的技術原理

• Diffusion Transformers (DiT)：FitDiT基于DiT架構，賦予高分辨率特征更多的參數和注意力，以增強對服裝細節的處理能力。
• 服裝紋理提取器：引入專門的提取器，結合服裝先驗演化微調服裝特征，以更好地捕捉豐富的細節。
• 頻域學習：基于定制的頻率距離損失函數，增強高頻細節，提升服裝紋理的保真度。
• 擴張-松弛掩碼策略：通過擴張-松弛掩碼策略，解決尺寸擬合問題，確保服裝的正確長度，避免跨類別試穿時生成的服裝覆蓋整個掩碼區域，提高了試穿的準確性。
• 結構優化：對DiT結構進行了調整，去除了對虛擬試穿影響較小的文本編碼器，降低模型的參數量，從而提升了模型的訓練與推理速度。
• 混合注意力機制：在DenoisingDiT中采用混合注意力機制，將從GarmentDiT提取的服裝特征融入去噪過程中，實現高分辨率特征的融合。

FitDiT的項目地址

• 項目官網：byjiang.com/FitDiT
• GitHub倉庫：https://github.com/BoyuanJiang/FitDiT
• arXiv技術論文：https://arxiv.org/pdf/2411.10499

FitDiT的應用場景

• 電子商務平臺：為服裝零售網站提供在線試穿體驗，讓消費者在購物時能看到自己穿上不同服裝的效果，提升用戶體驗和滿意度。
• 時尚行業：設計師能夠通過FitDiT展示其設計作品，讓顧客在購買前預覽服裝的實際穿著效果，增加設計的吸引力。
• 個性化定制：為客戶提供個性化的試穿體驗，確保定制服裝的尺寸和樣式完全符合顧客需求。
• 增強現實（AR）和虛擬現實（VR）：在AR和VR應用中提供真實的試穿體驗，讓用戶在虛擬環境中試穿服裝，裝扮虛擬形象。
• 社交媒體：社交媒體平臺允許用戶在分享照片或視頻時試穿不同的服裝風格，增加互動性和娛樂性。