ChatAnyone – 阿里通義推出的實時風格化肖像視頻生成框架

ChatAnyone是一款由阿里巴巴通義實驗室開發的實時風格化肖像視頻生成框架，能夠通過音頻輸入生成富有表現力的上半身肖像視頻。其核心技術包括高效的分層擴散模型和混合控制融合生成模型，確保生成的視頻具備高保真度和自然度，同時支持實時互動。這一創新工具廣泛適用于虛擬主播、視頻會議、內容創作、教育、客戶服務、營銷、社交娛樂及醫療健康等多個領域。

ChatAnyone是什么

ChatAnyone是阿里巴巴通義實驗室推出的一種先進的實時風格化肖像視頻生成框架。通過音頻信號的輸入，ChatAnyone能夠生成表現豐富的肖像視頻，展現上半身的動態動作。其高效的分層擴散模型與混合控制融合生成模型的結合，使得生成的視頻不僅高保真且自然流暢，同時支持實時交互功能，適用于多種應用場景，包括虛擬主播、遠程會議、內容創作、教育和客戶服務等。值得一提的是，ChatAnyone還支持個性化的風格化控制，用戶可以根據需求調整表情風格，實現獨特的動畫效果。

ChatAnyone的主要功能

• 音頻驅動的肖像視頻生成：通過音頻輸入，生成生動的肖像視頻，展現豐富的面部表情和上半身動作，支持多樣化的風格調控。
• 高保真度與自然度：生成的視頻不僅具有豐富的表情，還展現自然的上半身動作。
• 實時交互：能夠支持實時互動，適合用于視頻和在線會議等應用場景。
• 個性化風格化控制：根據用戶需求靈活調整表情風格，生成個性化的動畫內容。

ChatAnyone的技術原理

• 高效的分層擴散模型：通過輸入音頻信號，輸出面部和身體的控制信號，考慮顯式和隱式信號，以實現多樣化的面部表情和同步的頭部與身體動作。
• 混合控制融合生成模型：結合顯式地標與隱式偏移量，生成真實的面部表情，并注入手部控制信號以增強手部動作的準確性。面部優化模塊則進一步提升生成肖像視頻的真實感與表現力。
• 可擴展的實時生成框架：支持從簡單的頭部動畫到復雜的上半身手勢生成，能夠在高性能的4090 GPU上實時生成最高512×768分辨率、30fps的肖像視頻。

ChatAnyone的項目地址

• 項目官網：https://humanaigc.github.io/chat-anyone/
• Github倉庫：https://github.com/HumanAIGC/chat-anyone
• arXiv技術論文：https://arxiv.org/pdf/2503.21144

ChatAnyone的應用場景

• 虛擬主播與視頻會議：可用于新聞播報、直播帶貨及視頻會議中的虛擬形象生成。
• 內容創作與娛樂：支持生成風格化的動畫角色，應用于虛擬演唱會和AI播客等多種娛樂形式。
• 教育與培訓：能夠生成虛擬教師形象，適用于培訓模擬中的虛擬角色。
• 客戶服務：生成虛擬客服形象，提供生動的解答與互動體驗。
• 營銷與廣告：可創建虛擬代言人形象，設計互動性強的廣告內容。

常見問題

• ChatAnyone支持哪些輸入格式？：ChatAnyone主要支持音頻輸入，能夠實時生成肖像視頻。
• 生成的視頻能夠實時輸出嗎？：是的，ChatAnyone支持實時生成和交互，適用于多種在線場景。
• 用戶如何定制表情風格？：用戶可以根據需求通過風格化控制來調整生成肖像視頻的表情風格。