AniPortrait

AniPortrait是一款由騰訊開源的照片對口型視頻生成框架，能夠通過音頻和一張參考肖像圖像生成高質(zhì)量的動畫，類似于阿里推出的EMO。該框架的工作流程分為兩個主要階段：首先，從音頻中提取3D面部特征并轉(zhuǎn)換為2D面部標(biāo)記點；然后，運用擴散模型和模塊，將這些標(biāo)記點轉(zhuǎn)化為連貫且逼真的動畫。AniPortrait的生成動畫具有自然性和多樣性，并提供了靈活的面部動作編輯和再現(xiàn)功能。

AniPortrait是什么

AniPortrait是騰訊開源的一款創(chuàng)新性框架，旨在通過音頻和參考圖像生成高質(zhì)量的口型動畫。該框架主要由兩個模塊構(gòu)成，分別是Audio2Lmk和Lmk2Video，能夠有效提取和轉(zhuǎn)換面部特征，生成視覺上真實的動態(tài)效果。

AniPortrait的官網(wǎng)入口

• GitHub代碼庫：https://github.com/Zejun-Yang/AniPortrait
• arXiv研究論文：https://arxiv.org/abs/2403.17694
• Hugging Face模型：https://huggingface.co/ZJYang/AniPortrait/tree/main
• Hugging Face Demo：https://huggingface.co/spaces/ZJYang/AniPortrait_official

AniPortrait的主要功能

• 音頻驅(qū)動的動畫生成：通過輸入音頻文件，AniPortrait能夠自動生成與之同步的面部動畫，包括嘴唇、面部表情及頭部姿勢。
• 高質(zhì)量的視覺效果：利用先進(jìn)的擴散模型和模塊，AniPortrait能夠生成高分辨率且視覺上逼真的肖像動畫，提供卓越的視覺體驗。
• 時間一致性：該框架確保生成的動畫在時間上流暢連貫，避免出現(xiàn)突兀的跳躍或不一致現(xiàn)象。
• 靈活性和可控性：通過3D面部表示作為中間特征，AniPortrait允許用戶對生成的動畫進(jìn)行定制和調(diào)整，增強了編輯的靈活性。
• 面部表情和嘴唇動作的精確捕捉：AniPortrait通過改進(jìn)的PoseGuider模塊和多尺度策略，能夠精準(zhǔn)捕捉和再現(xiàn)嘴唇的細(xì)微動作及復(fù)雜表情。
• 與參考圖像的一致性：框架整合參考圖像的外觀信息，確保生成的動畫視覺上與原始肖像保持一致，避免身份不匹配的問題。

AniPortrait的工作機制

AniPortrait由兩個核心模塊構(gòu)成：Audio2Lmk和Lmk2Video。

1. Audio2Lmk模塊（音頻到2D面部標(biāo)記點）

Audio2Lmk模塊旨在從音頻輸入中提取一系列面部表情和嘴唇動作的3D面部網(wǎng)格及頭部姿勢信息。該模塊使用預(yù)訓(xùn)練的wav2vec模型提取音頻特征，準(zhǔn)確識別音頻中的發(fā)音與語調(diào)，從而為生成真實的面部動畫奠定基礎(chǔ)。隨后，利用音頻特征通過全連接層轉(zhuǎn)換為3D面部網(wǎng)格，并使用變壓器解碼器解碼姿勢序列，最終通過透視投影將信息轉(zhuǎn)換為2D面部標(biāo)記點序列。

2. Lmk2Video模塊（2D面部標(biāo)記點到視頻）

Lmk2Video模塊負(fù)責(zé)根據(jù)參考肖像圖像和面部標(biāo)記點生成高質(zhì)量的肖像視頻。該模塊借鑒AnimateAnyone的網(wǎng)絡(luò)架構(gòu)，結(jié)合Stable Diffusion 1.5作為骨干，并通過時間模塊將多幀噪聲輸入轉(zhuǎn)換為視頻幀。還引入ReferenceNet用于提取參考圖像的外觀信息，確保視頻中的面部身份一致性。同時，增強的PoseGuider模塊采用ControlNet的多尺度策略，促進(jìn)參考標(biāo)記點與目標(biāo)標(biāo)記點之間的交互，提高了嘴唇動作的捕捉精度。

應(yīng)用場景

AniPortrait可以廣泛應(yīng)用于多個領(lǐng)域，如影視制作、游戲開發(fā)、虛擬現(xiàn)實、社交媒體內(nèi)容創(chuàng)作等，為用戶提供了一種新穎的表達(dá)方式和互動體驗。

常見問題

1. AniPortrait可以用于哪些類型的音頻？
AniPortrait支持多種音頻格式，包括音樂、對話和配音等，只要音頻中包含清晰的語音信息即可。

2. 是否可以自定義生成的動畫？
是的，AniPortrait提供靈活的編輯選項，允許用戶對生成的動畫進(jìn)行定制和調(diào)整。

3. 生成的動畫兼容哪些平臺？
AniPortrait生成的動畫可以在各類支持視頻播放的平臺上使用，包括社交媒體、網(wǎng)站和應(yīng)用程序等。