FantasyTalking

FantasyTalking – 阿里聯合北郵推出靜態肖像生成可控數字人的框架

FantasyTalking

FantasyTalking是什么

FantasyTalking 是由阿里巴巴 AMAP 團隊與北京郵電大學合作開發的一種創新框架，旨在通過單張靜態肖像生成生動的可動畫化虛擬形象。該框架基于預訓練的視頻擴散變換器模型，采用雙階段視聽對齊策略。在第一階段，利用片段級訓練方案建立連貫的全局；第二階段則通過唇部追蹤掩碼在幀級別上細化唇部，確保與音頻信號的精準同步。此外，FantasyTalking 還引入了面部專注的交叉注意力模塊，以確保面部特征的一致性，并通過強度調制模塊實現對表情和身體動作強度的控制。

主要功能

口型同步：準確識別和同步虛擬角色的口型與輸入語音，使角色在說話時的口型與語音內容完全一致，從而提升角色的真實感和信任度。
面部動作生成：根據語音內容及情感信息生成相應的面部動作，例如眨眼、皺眉和微笑等，使虛擬角色的表情更加豐富和生動。
全身動作生成：根據場景和情節需求生成全身的動作和姿態，如行走、奔跑和跳躍，使虛擬角色在動畫中顯得更加自然流暢。
強度控制：用戶可以通過強度調制模塊顯式控制面部表情和身體動作的強度，實現對肖像的精確操控，超越唇部的局限。
多種風格支持：支持生成多種風格的虛擬形象，包括寫實和卡通風格，能夠生成高質量的對話視頻。
多種姿態支持：支持生成具有各種身體范圍和方向的真實說話視頻，包括特寫肖像、半身和全身姿勢，以及正面和側面視角。

技術原理

雙階段視聽對齊策略
- 片段級訓練：在第一階段，模型通過片段級訓練捕捉音頻與整個場景（包括參考肖像、上下文對象和背景）之間的弱相關性，建立全局視聽依賴關系，融合整體特征，使其能夠學習與音頻相關的非語言線索（如眉毛和肩膀動作）以及與音頻強烈同步的唇部動態。
- 幀級訓練：在第二階段，模型專注于與音頻高度相關的視覺特征細化，特別是在唇部動作方面。通過使用唇部追蹤掩碼，模型確保唇部與音頻信號精確對齊，從而提高生成視頻的質量。
身份保持：傳統的參考網絡方法通常會限制視頻中人物和背景的自然變化。FantasyTalking 通過面部專注的交叉注意力模塊，集中建模面部區域，利用交叉注意力機制解耦身份保留與動作生成，更加輕量化，能夠釋放對背景和人物自然的限制，從而確保在整個生成的視頻序列中，角色身份特征的一致性。
強度調節：FantasyTalking 引入強度調制模塊，用戶可以顯式控制面部表情和身體動作的強度，使肖像更加可控且多樣化。通過調節強度，可以生成更自然的動畫效果。
基于預訓練的視頻擴散變換器模型：FantasyTalking 基于 Wan2.1 視頻擴散變換器模型，具有時空建模能力，能夠生成高保真、連貫的說話肖像視頻。該模型有效捕捉音頻信號與唇部、面部表情及身體動作之間的關系，生成高質量的動態肖像。

項目官網

項目官網：https://fantasy-amap.github.io/fantasy-talking/
Github倉庫：https://github.com/Fantasy-AMAP/fantasy-talking
arXiv技術論文：https://arxiv.org/pdf/2504.04842

應用場景

游戲開發：在游戲開發中，FantasyTalking 能生成游戲角色的對話動畫和戰斗動畫。它可以根據語音內容生成精準的口型同步、豐富的面部表情和自然的全身動作，使游戲角色更加生動，提升視覺效果和玩家的沉浸感。
影視制作：在影視制作中，FantasyTalking 可用于生成虛擬角色的表演和特效動畫。使用 FantasyTalking 可以快速生成復雜表情和動作的虛擬角色，從而減少傳統動畫制作中的人力和時間成本，為影視作品增添創意和想象力。
虛擬現實和增強現實：在虛擬現實（VR）和增強現實（AR）應用中，FantasyTalking 能生成虛擬角色的交互動畫與引導動畫。
虛擬主播：FantasyTalking 可用于生成虛擬主播的動畫視頻，支持多種風格的虛擬形象，適用于新聞播報、直播帶貨、在線教育等多種場景，展現出高度的實用性與靈活性。
智能教育：在智能教育領域，FantasyTalking 可以生成虛擬教師或虛擬助教的動畫視頻，提升學習體驗。