Hallo3

Hallo3 – 復旦聯合百度開源的高動態與真實感肖像動畫生成框架

Hallo3是復旦大學與百度公司聯合推出的一款基于擴散變換器網絡（Diffusion Transformer Networks）的肖像圖像動畫技術，能夠生成極具動態感和真實感的視頻。該技術借助于預訓練的變換器視頻生成模型，成功克服了現有方法在處理非正面視角、動態對象渲染及沉浸式背景生成過程中的挑戰。

Hallo3是什么

Hallo3由復旦大學與百度公司共同開發，采用擴散變換器網絡技術，專注于肖像圖像的動畫處理，能夠生成高度真實與動態的視頻內容。該系統基于經過預訓練的變換器視頻生成模型，有效解決了當前技術在非正面視角、動態對象渲染和背景生成方面的各種難題。Hallo3運用新的視頻骨干網絡，設計身份參考網絡以確保視頻序列中面部特征的一致性，并結合語音音頻條件和幀機制，實現由音頻驅動的連續視頻生成。實驗結果表明，Hallo3在生成多角度的逼真肖像方面表現卓越，能夠適應復雜的姿勢和動態場景，創造平滑且真實的動畫效果。

Hallo3

Hallo3的主要功能

多視角動畫生成：突破傳統方法的限制，能夠從多種視角（如正面、側面、俯視或仰視）生成動畫肖像。
動態對象渲染：有效處理肖像周圍的動態元素，如人物手持物品的自然，增強視頻的真實感。
沉浸式背景生成：創建具有動態效果的背景場景，如篝火或繁忙街道，增強整體的沉浸體驗。
身份一致性保持：在視頻序列中保持肖像的身份一致性，確保長時間動畫中面部特征的準確識別。
語音驅動的動畫：通過語音音頻驅動面部表情和嘴唇動作，實現高度同步的自然動畫效果。

Hallo3的技術原理

預訓練的變換器視頻生成模型：
- 基礎架構：CogVideoX模型作為基礎架構，通過3D變分自編碼器（VAE）壓縮視頻數據，將潛在變量與文本嵌入結合，利用專家變換器網絡進行處理。
- 條件機制：引入文本提示（ctext）、語音音頻條件（caudio）和身份外觀條件（cid）三種條件機制，通過交叉注意力（cross-attention）和自適應層歸一化（adaLN）整合這些信息。
身份參考網絡：
- 3D VAE和變換器層：結合因果3D VAE和42層變換器層的身份參考網絡，從參考圖像中提取身份特征，嵌入去噪潛在代碼中，利用自注意力機制增強模型對身份信息的表示和長期保持。
- 特征融合：將參考網絡生成的視覺特征與去噪網絡特征融合，確保長時間序列中的面部動畫保持一致性和連貫性。
語音音頻條件：
- 音頻嵌入：利用wav2vec框架提取音頻特征，為每幀生成特定的音頻嵌入，并通過線性變換層將其轉化為適合模型的表示。
- 交叉注意力機制：在去噪網絡中，交叉注意力機制將音頻嵌入與潛在編碼進行交互，提升生成輸出的相關性，確保模型有效捕捉音頻信號。
視頻外推：通過將生成視頻的最后幾幀作為后續片段生成的輸入，利用3D VAE處理幀，實現時間一致的長視頻推理。
訓練與推理：
- 訓練過程：分為兩個階段，第一階段專注于生成具有身份一致性的視頻；第二階段則擴展至音頻驅動的視頻生成，結合音頻注意力模塊。
- 推理過程：模型根據參考圖像、驅動音頻、文本提示和幀進行輸入，生成具有身份一致性和嘴唇同步的視頻。