Fashion-VDM是一種由谷歌與華盛頓大合開(kāi)發(fā)的先進(jìn)虛擬試穿技術(shù)，基于視頻擴(kuò)散模型（VDM）。該技術(shù)能夠在輸入服裝圖像與人物視頻的基礎(chǔ)上，生成高質(zhì)量的試穿視頻，讓用戶(hù)直觀體驗(yàn)穿著效果，同時(shí)保留人物的身份特征與動(dòng)作。Fashion-VDM致力于解決傳統(tǒng)視頻虛擬試穿中服裝細(xì)節(jié)不足和時(shí)間一致性差的問(wèn)題，通過(guò)創(chuàng)新的技術(shù)手段，顯著提升了服裝的保真度和視頻生成的效率。

Fashion-VDM是什么

Fashion-VDM是由谷歌與華盛頓大學(xué)共同推出的一款基于視頻擴(kuò)散模型（VDM）的虛擬試穿技術(shù)。它能夠結(jié)合給定的服裝圖像和人物視頻，生物穿著該服裝的高質(zhì)量試穿視頻，同時(shí)保持人物的身份和動(dòng)作。該技術(shù)采用了擴(kuò)散模型架構(gòu)、分割分類(lèi)器引導(dǎo)和漸進(jìn)式時(shí)間訓(xùn)練策略，旨在解決視頻虛擬試穿中服裝細(xì)節(jié)和時(shí)間一致性的問(wèn)題，尤其在視頻數(shù)據(jù)有限的情況下，通過(guò)聯(lián)合圖像-視頻訓(xùn)練來(lái)提高服裝的保真度，推動(dòng)視頻虛擬試穿領(lǐng)域的發(fā)展。

Fashion-VDM的主要功能

• 生成虛擬試穿視頻：通過(guò)結(jié)合服裝圖像與人物視頻，F(xiàn)ashion-VDM能夠生物穿著指定服裝的動(dòng)態(tài)視頻。
• 保持服裝細(xì)節(jié)和時(shí)間一致性：有效解決現(xiàn)有虛擬試穿技術(shù)中服裝細(xì)節(jié)缺失及時(shí)間一致性不足的問(wèn)題。
• 提高服裝保真度：采用分割分類(lèi)器引導(dǎo)技術(shù)，增強(qiáng)對(duì)服裝圖像細(xì)節(jié)的控制，提升保真度。
• 優(yōu)化視頻生成效率：通過(guò)漸進(jìn)式時(shí)間訓(xùn)練策略，使得在單次處理64幀的512px視頻時(shí)，提升生成效率和質(zhì)量。
• 聯(lián)合圖像-視頻訓(xùn)練：在訓(xùn)練過(guò)程中結(jié)合圖像和視頻數(shù)據(jù)，在視頻數(shù)據(jù)有限的情況下提升模型性能。

Fashion-VDM的技術(shù)原理

• 擴(kuò)散模型架構(gòu)：Fashion-VDM依托擴(kuò)散模型逐步從噪聲中恢復(fù)清晰的圖像或視頻。
• 3D卷積和時(shí)間注意力塊：在UNet網(wǎng)絡(luò)中整合3D卷積與時(shí)間注意力塊，確保視頻幀之間的時(shí)間一致性。
• 分割分類(lèi)器引導(dǎo)：一種能夠控制多個(gè)條件信號(hào)的技術(shù)，幫助模型更加精準(zhǔn)地生成結(jié)果，提升服裝保真度與視頻幀間的一致性。
• 漸進(jìn)式時(shí)間訓(xùn)練：模型通過(guò)多個(gè)階段的訓(xùn)練，逐步引入更長(zhǎng)的視頻幀，最終達(dá)到64幀的目標(biāo)。
• 聯(lián)合圖像-視頻訓(xùn)練：在訓(xùn)練過(guò)程中采用條件網(wǎng)絡(luò)分支技術(shù)，提升數(shù)據(jù)多樣性與訓(xùn)練穩(wěn)定性。
• 預(yù)處理和編碼：對(duì)輸入的視頻和服裝圖像進(jìn)行預(yù)處理，提取人物姿態(tài)、服裝無(wú)關(guān)幀及服裝分割信息，使用不同的UNet編碼器進(jìn)行編碼。

Fashion-VDM的項(xiàng)目地址

• 項(xiàng)目官網(wǎng)：johannakarras.github.io/Fashion-VDM
• arXiv技術(shù)論文：https://arxiv.org/pdf/2411.00225

Fashion-VDM的應(yīng)用場(chǎng)景

• 在線服裝購(gòu)物：消費(fèi)者能夠在購(gòu)買(mǎi)前通過(guò)虛擬試穿功能，直觀地感受服裝的穿著效果，從而減少因尺寸或款式不合適而導(dǎo)致的退換貨。
• 時(shí)尚設(shè)計(jì)與營(yíng)銷(xiāo)：服裝設(shè)計(jì)師與品牌可以展示其服裝作品，提前評(píng)估市場(chǎng)反應(yīng)，降低設(shè)計(jì)與營(yíng)銷(xiāo)成本。
• 電商平臺(tái)：電商平臺(tái)可以整合Fashion-VDM技術(shù)，提升線上購(gòu)物的互動(dòng)性與趣味性，增加消費(fèi)者的購(gòu)買(mǎi)意愿。
• 虛擬時(shí)尚秀：在虛擬時(shí)尚秀中展示服裝，提供更生動(dòng)與真實(shí)的展示效果。
• 社交媒體營(yíng)銷(xiāo)：品牌與影響者能夠在社交媒體上創(chuàng)造吸引人的內(nèi)容，提升用戶(hù)參與度及品牌曝光率。

常見(jiàn)問(wèn)題

• Fashion-VDM適合哪些用戶(hù)？：Fashion-VDM主要面向在線購(gòu)物的消費(fèi)者、時(shí)尚設(shè)計(jì)師、電商平臺(tái)及品牌營(yíng)銷(xiāo)人員。
• 如何使用Fashion-VDM？：用戶(hù)只需上傳服裝圖像與人物視頻，即可生成個(gè)性化的虛擬試穿視頻。
• Fashion-VDM的生成速度如何？：得益于優(yōu)化的視頻生成效率，F(xiàn)ashion-VDM能夠快速生成高質(zhì)量的視頻。