寡姐帶貨國風Polo衫，馬斯克穿牛仔走紅毯！虛擬試衣新框架火了，只需兩張圖30秒即生成

AIGC動態(tài)歡迎閱讀

原標題：寡姐帶貨國風Polo衫，馬斯克穿牛仔走紅毯！虛擬試衣新框架火了，只需兩張圖30秒即生成
關(guān)鍵字：模型,模塊,方法,服裝,特征
文章來源：量子位
內(nèi)容字數(shù)：0字

內(nèi)容摘要：

種政投稿自凹非寺量子位 | 公眾號 QbitAI只需兩張圖像，不到30秒，就能讓馬斯克穿牛仔走紅毯~
或者讓寡姐帶貨國風Polo衫~
就是二次元換裝也不在話下。
來自中山大學、Pixocial等機構(gòu)聯(lián)合發(fā)布輕量化模型架構(gòu)CatVTON。他們是以Stable Diffusion v1.5 inpainitng為基礎模型。
來看看更多效果。
用擴散模型進行虛擬試衣CatVTON可以實現(xiàn)傳統(tǒng)平鋪服裝圖到人物的換裝。
不管是上衣、褲子、裙子，還是套裝，各種不同品類服裝都可以。
其形狀和紋理都能保持較高的一致性。
另外，CatVTON 還可以實現(xiàn)人物A到人物B的換裝。
無需顯式地指定類別，根據(jù) Mask 的不同即可完成目標服裝的試穿，支持單獨的上衣、褲子、裙子或者全身多件服裝同時更換。
既然如此，那又是如何實現(xiàn)的呢？
輕量化模型架構(gòu)CatVTON 在功能上豐富多樣，但其模型架構(gòu)卻十分簡潔高效：
2個網(wǎng)絡模塊（VAE+UNet）
899.06M總參數(shù)量
< 8G推理顯存（輸出圖像 1024×768 ）
輕量化的架構(gòu)來源于 CatVTON 對現(xiàn)有方法模塊冗余的觀察：
基于Warping的方法

原文鏈接：寡姐帶貨國風Polo衫，馬斯克穿牛仔走紅毯！虛擬試衣新框架火了，只需兩張圖30秒即生成