VideoAnydoor – 港大聯合阿里達摩院等機構推出的零樣本視頻對象插入框架

VideoAnydoor是什么

VideoAnydoor是由香港大學、阿里巴巴集團達摩院、湖畔實驗室以及華中科技大合開發的一款零樣本視頻對象插入框架。該工具能夠以高保真度和精準的控制將特定對象嵌入到視頻中。VideoAnydoor利用文本到視頻的擴散模型，通過ID提取器注入全局身份信息，并通過框序列指導對象的整體。該框架的關鍵在于像素變形器模塊，能夠接收帶有關鍵點的參考圖像和軌跡，根據軌跡調整像素細節，并與擴散U-Net融合以保持細節完整性。此外，VideoAnydoor結合視頻和靜態圖像的訓練策略，引入重權重建損失來提升插入質量。

VideoAnydoor的主要功能

• 高保真視頻對象插入：能夠將選定的對象以極高的保真度嵌入到目標視頻中，確保對象的細節得以保留。
• 精準控制：用戶可以基于框序列或點軌跡精確控制插入對象的，達到與視頻背景的自然融合效果。
• 多區域編輯：支持在視頻中對多個區域同時進行編輯，例如插入多個對象或在不同區域進行不同的編輯操作。
• 多樣化應用支持：無縫支持多種下游應用，包括視頻虛擬試穿、視頻換臉以及多區域編輯等，無需針對特定任務進行微調。

VideoAnydoor的技術原理

• 基于文本到視頻的擴散模型：以文本到視頻的擴散模型為基礎，通過隨機噪聲、對象掩碼和遮蓋視頻的組合生成與文本描述一致的視頻內容。
• ID提取器：從無背景的參考圖像中提取具有區分性的ID令牌，并注入擴散模型中，以保持對象在視頻中的身份一致性。
• 像素變形器模塊：接受帶有任意關鍵點的參考圖像和關鍵點軌跡作為輸入，根據軌跡變形像素細節，確保對象的精準控制，并與擴散U-Net融合以提高細節保留能力。
• 訓練策略優化：結合視頻和靜態圖像的訓練策略，利用重權重建損失提升插入質量，通過高質量圖像數據增強視頻訓練，以彌補高質量視頻數據的稀缺性。

VideoAnydoor的項目地址

• 項目官網：videoanydoor.github.io
• arXiv技術論文：https://arxiv.org/pdf/2501.01427

VideoAnydoor的應用場景

• 影視特效制作：在科幻電影中，將虛擬外星生物或未來科技裝備自然地嵌入真實拍攝的場景，增強影片的視覺沖擊力，提升觀眾的沉浸感。
• 虛擬試穿廣告：為新推出的鞋制作廣告，將模特的虛擬形象嵌入到各種場景中，如籃球場和足球場，展示鞋在不同狀態下的舒適度和性能，吸引愛好者的關注和購買。
• 虛擬旅游體驗：制作熱門海島旅游目的地的虛擬旅游視頻，將游客的虛擬形象插入到海灘和潛水等場景中，讓游客在家中感受海島的美麗風光，激發旅行興趣。
• 虛擬實驗與教學：在化學實驗教學中，將虛擬化學反應過程嵌入教學視頻，幫助學生更直觀地理解化學原理和實驗現象，提高學習效果。
• 個性化視頻創作：用戶在社交媒體分享旅行經歷時，可以將自己拍攝的照片或視頻片段嵌入到世界各地著名景點的視頻中，創作出獨特的旅行視頻，增加互動性和趣味性。