按需搭配一鍵疊穿，效果拿下新SOTA！中山大學&字節智創數字人團隊提出虛擬試穿新框架

AIGC動態歡迎閱讀

原標題：按需搭配一鍵疊穿，效果拿下新SOTA！中山大學&字節智創數字人團隊提出虛擬試穿新框架
關鍵字：換裝,服裝,圖像,數據,文本
文章來源：量子位
內容字數：0字

內容摘要：

MMTryon團隊投稿量子位 | 公眾號 QbitAI多件衣服按指定穿法一鍵虛擬試穿！
中山大學&字節智創數字人團隊提出了一個名為MMTryon的虛擬試穿框架，可以通過輸入多個服裝圖像及指定穿法的文本指令來生成高質量的組合試穿結果。
比如選中一件大衣、一條褲子，再配一個包，用語言描述穿法，“啪”的一鍵就穿到了人像上：
無論是真人圖像又或是漫畫人物，都能一鍵按照搭配試穿衣服：
對于單圖換裝，MMTryon有效利用了大量的數據設計了一個表征能力強大的服裝編碼器，使得該方案能處理復雜的換裝場景及任意服裝款式；
對于組合換裝，MMTryon消除了傳統虛擬換裝算法中對服裝精細分割的依賴，可依靠一條文本指令從多張服裝參考圖像中選擇需要試穿的服裝及對應的穿法，生成真實自然的組合換裝效果。
在基準測試中，MMTryon拿下新SOTA。
多模態多參考注意機制加持，效果更精確靈活虛擬換裝技術旨在將模特所穿服飾或者衣服的平鋪圖穿到目標人物身上，達到換裝的效果，但是之前虛擬試穿的方案存在一些技術難點沒有解決。
首先，現有的方法通常是為單件試穿任務（上衣/下衣、連衣裙）而設計的，并且無法自定義著裝風格，例如，

原文鏈接：按需搭配一鍵疊穿，效果拿下新SOTA！中山大學&字節智創數字人團隊提出虛擬試穿新框架