后期狂喜！一張照片絲滑替換視頻主角，動(dòng)作幅度再大也OK｜Meta&新加坡國(guó)立大學(xué)

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：后期狂喜！一張照片絲滑替換視頻主角，動(dòng)作幅度再大也OK｜Meta&新加坡國(guó)立大學(xué)

關(guān)鍵字：語(yǔ)義,視頻,軌跡,模型,機(jī)頭

文章來源：量子位

內(nèi)容字?jǐn)?shù)：3553字

內(nèi)容摘要：豐色 發(fā)自 凹非寺量子位 | 公眾號(hào) QbitAI后期狂喜了家人們～現(xiàn)在，只需一張圖片就能替換視頻主角，效果還是如此的絲滑！且看這個(gè)叫做“VideoSwap”的新視頻編輯模型——小貓一鍵變小狗，基操～如果原物體本身扭動(dòng)幅度大一些？也完全沒問題：細(xì)看倆者之間的軌跡，給你保持得是一毛一樣：再如果，替換前后的物體形狀差別較大呢？例如車身較高的SUV換更長(zhǎng)的超跑，大郵輪換小白船。吶，也是一整個(gè)完美替換，基本看不出任何破綻：對(duì)比谷歌今年2月發(fā)的同類視頻替換模型Dreamix：不得不說，現(xiàn)在這技術(shù)進(jìn)步真是肉眼可見啊～那么，它是如何做到的呢？方法也很有意思。只需幾個(gè)語(yǔ)義點(diǎn)，拽一拽就OK不管是風(fēng)格轉(zhuǎn)換還是主題/背景轉(zhuǎn)換，這種視頻編輯任務(wù)的主要挑戰(zhàn)都是如何從源視頻中提取軌跡傳輸?shù)叫乱曨l、覆蓋到新元素上，同時(shí)確保時(shí)間一致性。此前的模型（原理包括編碼源、使用注意力圖、光流等）大多數(shù)顧此失彼，要么在時(shí)…

原文鏈接：點(diǎn)此閱讀原文：后期狂喜！一張照片絲滑替換視頻主角，動(dòng)作幅度再大也OK｜Meta&新加坡國(guó)立大學(xué)

聯(lián)系作者

文章來源：量子位

作者微信：QbitAI

作者簡(jiǎn)介：追蹤人工智能新趨勢(shì)，關(guān)注科技行業(yè)新突破