Hallo2是一款由復旦大學、百度公司與合開發的音頻驅動視頻生成模型。該模型能夠結合單張參考圖片和數分鐘的音頻輸入，利用可選的文本提示調節肖像的表情，并生成與音頻同步的高分辨率4K視頻。

Hallo2是什么

Hallo2是由復旦大學、百度公司和學共同研發的前沿音頻驅動視頻生成模型。它能夠將一張參考圖片與幾分鐘的音頻輸入相結合，并通過可選的文本提示來調節肖像表情，從而生成與音頻內容緊密同步的高分辨率4K視頻。該模型采用了先進的數據增強技術，如補丁下降和高斯噪聲，以增強視頻的長期視覺一致性和時間連貫性。Hallo2利用潛在代碼的矢量量化和時間對齊技術，生成高質量的視頻，并引入語義文本標簽作為條件輸入，提升動畫的可控性和多樣性。在多個公開數據集上進行的廣泛實驗表明，Hallo2在生成長時間、高分辨率以及豐富且可控的內容方面表現出色。

Hallo2的主要功能

• 長時視頻生成：支持生成最長可達一小時的視頻，有效解決外觀漂移和時間偽影的問題。
• 高分辨率輸出：實現4K分辨率的肖像視頻生成，確保細節清晰可見。
• 音頻驅動動畫：根據音頻輸入驅動肖像動畫，確保口型和表情的完美同步。
• 文本提示調節：通過文本提示來調節和細化肖像的表情，增加動畫的多樣性和表現力。
• 數據增強技術：利用補丁下降和高斯噪聲增強技術，提高視頻的長期視覺一致性和時間連貫性。

Hallo2的技術原理

• 補丁下降技術（Patch-Drop Augmentation）：隨機丟棄條件幀中的部分圖像塊，減少前一幀對后續幀外觀的影響，保持視頻生成中的視覺一致性。
• 高斯噪聲增強：在補丁下降的基礎上加入高斯噪聲，進一步增強模型對參考圖像外觀的依賴，同時保留信息，減少偽影和失真。
• 向量量化生成對抗網絡（VQGAN）：通過向量量化潛在代碼和時間對齊技術，Hallo2在時間維度上維持連貫性，生成高質量的4K視頻。
• 語義文本標簽：引入可調的語義文本標簽作為條件輸入，使模型能夠根據文本提示生成特定表情和動作，從而提高生成內容的可控性。
• 跨注意力機制（Cross-Attention Mechanism）：模型能夠在去噪過程中有效整合條件，例如音頻特征和文本嵌入，從而生成與條件輸入一致的圖像。

Hallo2的項目地址

• 項目官網：fudan-generative-vision.github.io/hallo2
• GitHub倉庫：https://github.com/fudan-generative-vision/hallo2
• HuggingFace模型庫：https://huggingface.co/fudan-generative-ai/hallo2
• arXiv技術論文：https://arxiv.org/pdf/2410.07718v1

Hallo2的應用場景

• 電影和視頻制作：在電影制作中，Hallo2能夠生成或增強角色的面部表情和口型，尤其適用于大量虛擬角色或特效的科幻與動畫影片。
• 虛擬助手和數字人：在客服、教育和娛樂等領域，Hallo2能夠創建真實感極強的虛擬助手或數字人，提供更加自然和吸引人的交互體驗。
• 游戲開發：游戲開發者可以利用Hallo2生成高度真實感的角色動畫，提升游戲的沉浸感及用戶體驗。
• 社交媒體和內容創作：內容創作者可借助Hallo2制作動態肖像視頻，在社交媒體平臺上增加內容的吸引力和互動性。
• 新聞和廣播：Hallo2可以生成新聞主播的動畫形象，支持多語言播報，快速生成不同語言的口型和表情。