Hallo3

Hallo3 – 復(fù)旦聯(lián)合百度開源的高動態(tài)與真實感肖像動畫生成框架

Hallo3是復(fù)旦大學(xué)與百度公司聯(lián)合推出的一款基于擴散變換器網(wǎng)絡(luò)（Diffusion Transformer Networks）的肖像圖像動畫技術(shù)，能夠生成極具動態(tài)感和真實感的視頻。該技術(shù)借助于預(yù)訓(xùn)練的變換器視頻生成模型，成功克服了現(xiàn)有方法在處理非正面視角、動態(tài)對象渲染及沉浸式背景生成過程中的挑戰(zhàn)。

Hallo3是什么

Hallo3由復(fù)旦大學(xué)與百度公司共同開發(fā)，采用擴散變換器網(wǎng)絡(luò)技術(shù)，專注于肖像圖像的動畫處理，能夠生成高度真實與動態(tài)的視頻內(nèi)容。該系統(tǒng)基于經(jīng)過預(yù)訓(xùn)練的變換器視頻生成模型，有效解決了當前技術(shù)在非正面視角、動態(tài)對象渲染和背景生成方面的各種難題。Hallo3運用新的視頻骨干網(wǎng)絡(luò)，設(shè)計身份參考網(wǎng)絡(luò)以確保視頻序列中面部特征的一致性，并結(jié)合語音音頻條件和幀機制，實現(xiàn)由音頻驅(qū)動的連續(xù)視頻生成。實驗結(jié)果表明，Hallo3在生成多角度的逼真肖像方面表現(xiàn)卓越，能夠適應(yīng)復(fù)雜的姿勢和動態(tài)場景，創(chuàng)造平滑且真實的動畫效果。

Hallo3

Hallo3的主要功能

多視角動畫生成：突破傳統(tǒng)方法的限制，能夠從多種視角（如正面、側(cè)面、俯視或仰視）生成動畫肖像。
動態(tài)對象渲染：有效處理肖像周圍的動態(tài)元素，如人物手持物品的自然，增強視頻的真實感。
沉浸式背景生成：創(chuàng)建具有動態(tài)效果的背景場景，如篝火或繁忙街道，增強整體的沉浸體驗。
身份一致性保持：在視頻序列中保持肖像的身份一致性，確保長時間動畫中面部特征的準確識別。
語音驅(qū)動的動畫：通過語音音頻驅(qū)動面部表情和嘴唇動作，實現(xiàn)高度同步的自然動畫效果。

Hallo3的技術(shù)原理

預(yù)訓(xùn)練的變換器視頻生成模型：
- 基礎(chǔ)架構(gòu)：CogVideoX模型作為基礎(chǔ)架構(gòu)，通過3D變分自編碼器（VAE）壓縮視頻數(shù)據(jù)，將潛在變量與文本嵌入結(jié)合，利用專家變換器網(wǎng)絡(luò)進行處理。
- 條件機制：引入文本提示（ctext）、語音音頻條件（caudio）和身份外觀條件（cid）三種條件機制，通過交叉注意力（cross-attention）和自適應(yīng)層歸一化（adaLN）整合這些信息。
身份參考網(wǎng)絡(luò)：
- 3D VAE和變換器層：結(jié)合因果3D VAE和42層變換器層的身份參考網(wǎng)絡(luò)，從參考圖像中提取身份特征，嵌入去噪潛在代碼中，利用自注意力機制增強模型對身份信息的表示和長期保持。
- 特征融合：將參考網(wǎng)絡(luò)生成的視覺特征與去噪網(wǎng)絡(luò)特征融合，確保長時間序列中的面部動畫保持一致性和連貫性。
語音音頻條件：
- 音頻嵌入：利用wav2vec框架提取音頻特征，為每幀生成特定的音頻嵌入，并通過線性變換層將其轉(zhuǎn)化為適合模型的表示。
- 交叉注意力機制：在去噪網(wǎng)絡(luò)中，交叉注意力機制將音頻嵌入與潛在編碼進行交互，提升生成輸出的相關(guān)性，確保模型有效捕捉音頻信號。
視頻外推：通過將生成視頻的最后幾幀作為后續(xù)片段生成的輸入，利用3D VAE處理幀，實現(xiàn)時間一致的長視頻推理。
訓(xùn)練與推理：
- 訓(xùn)練過程：分為兩個階段，第一階段專注于生成具有身份一致性的視頻；第二階段則擴展至音頻驅(qū)動的視頻生成，結(jié)合音頻注意力模塊。
- 推理過程：模型根據(jù)參考圖像、驅(qū)動音頻、文本提示和幀進行輸入，生成具有身份一致性和嘴唇同步的視頻。