AnchorCrafter：中科院與騰訊攜手打造智能虛擬主播實現高效帶貨新模式

AnchorCrafter是一款基于擴散模型的智能視頻制作系統，專為自動生成高保真度的主播風格產品推廣視頻而設計。該系統通過整合人-物交互（HOI）與姿態引導的人體視頻生成技術，能夠高度還原物體的外觀與，并有效管理復雜的人物與物體之間的互動。

AnchorCrafter是什么

AnchorCrafter是一個創新的智能視頻制作軟件，致力于自動生成具有主播風格的高質量產品推廣視頻。該系統利用整合人-物交互（HOI）技術，結合姿態引導的人體視頻生成，確保對物體外觀和的精準還原，并管理復雜的人物與物體交互。通過采用HOI-外觀感知和HOI-注入技術，以及HOI區域重加權損失訓練目標，AnchorCrafter能夠在細節上進行深度學習，確保視頻生成過程中的人物形象和動作的一致性。相較于傳統方法，AnchorCrafter在物體外觀保持、交互感知及視頻質量上表現出色，為在線廣告和消費者互動提供了全新的可能性。

AnchorCrafter的主要功能

• 高質量視頻生成：自動創建高保真度的主播風格產品推廣視頻。
• 人-物交互（HOI）集成：將人物與物體的交互自然地融入視頻中，提升視頻的真實感和互動性。
• 外觀保持：在視頻中保持物體的外觀細節，確保從多視角觀察時物體的外觀準確無誤。
• 控制：精確控制物體的軌跡，與人物動作協調一致。
• 互遮擋管理：處理人物與物體交互時的遮擋問題，保持視頻的連貫性和自然性。
• 細節增強學習：基于HOI區域重加權損失在訓練過程中增強對物體細節的學習。

AnchorCrafter的技術原理

• 視頻擴散模型：基于擴散模型架構，利用擴散UNet和變分自編碼器（VAE）處理視頻幀，將視頻序列編碼到潛在空間，從噪聲中重建高質量的視頻幀。
• HOI-外觀感知（HOI-appearance perception）：
  • 多視角特征融合：通過多個視角下的物體參考圖像提取物體外觀特征，增強模型對物體形狀和紋理的識別能力。
  • 人-物雙適配器：在替換UNet中的交叉注意力層，實現人物與物體特征的更好分離，避免外觀混淆。
• HOI-注入（HOI-motion injection）：
  • 物體軌跡控制：利用深度圖作為輸入，通過輕量級卷積網絡處理深度信息，控制視頻中物體的軌跡。
  • 互遮擋處理：結合3D手部網格輸入，處理人物手部與物體交互時的遮擋問題，確保交互的自然性和準確性。
• HOI區域重加權損失（HOI-region reweighting loss）：在訓練過程中，增加手部-物體交互區域的權重，讓模型更加關注這些區域，提高物體細節的學習和生成質量。

AnchorCrafter的項目地址

• 項目官網：cangcz.github.io/Anchor-Crafter
• GitHub倉庫：https://github.com/cangcz/AnchorCrafter（即將開放）
• arXiv技術論文：https://arxiv.org/pdf/2411.17383

AnchorCrafter的應用場景

• 在線購物平臺：自動生成產品介紹視頻，提升商品頁面的吸引力和用戶購買意愿。
• 社交媒體營銷：為品牌和個人創作者提供工具，制作吸引人的產品推廣內容，增加粉絲互動和品牌曝光。
• 電視廣告制作：快速制作高質量的電視廣告，減少傳統拍攝成本和時間。
• 虛擬直播帶貨：在直播中使用虛擬主播展示和推廣產品，提高直播效率和觀眾體驗。
• 教育培訓：制作教學視頻，模擬實際操作過程，如烹飪、手工制作等，增強學習效果。