LLIA – 美團推出的音頻驅動肖像視頻生成框架

LLIA（Low-Latency Interactive Avatars）是美團公司研發的一款革新性的實時音頻驅動肖像視頻生成框架，它基于前沿的擴散模型技術，能夠根據輸入的音頻信號，實時生成栩栩如生的虛擬形象視頻，實現低延遲、高保真度的流暢交互體驗。

LLIA：開啟沉浸式虛擬互動新篇章

LLIA，全稱為Low-Latency Interactive Avatars（低延遲交互式虛擬形象），是美團公司精心打造的創新框架。它利用先進的擴散模型，將音頻信息轉化為逼真的虛擬形象視頻，帶來前所未有的沉浸式交互體驗。LLIA的核心優勢在于其低延遲特性，結合可變長度視頻生成技術、一致性模型訓練策略以及模型量化技術，實現了極速的推理速度。用戶不僅可以體驗到流暢自然的互動，還能通過類別標簽精細控制虛擬形象的狀態和表情，例如切換說話、傾聽或閑置等狀態，從而獲得更具個性化的互動體驗。

核心功能一覽

• 實時音頻驅動的肖像視頻生成：根據輸入的音頻信號，即時生成對應的肖像視頻，實現語音與表情、動作的完美同步。
• 低延遲交互：在高性能GPU的加持下，LLIA能夠以高幀率（例如384×384分辨率下達到78 FPS）和極低的延遲（例如140 ms）生成視頻，滿足實時交互的需求。
• 多狀態切換：支持通過類別標簽控制虛擬形象的狀態，包括說話、傾聽和空閑等，讓虛擬形象能夠根據場景做出自然的反應。
• 面部表情控制：利用肖像動畫技術，對參考圖像的表情進行精細調整，從而實現對生成視頻中面部表情的精細控制，增強虛擬形象的表現力。

技術揭秘：LLIA背后的創新

LLIA的卓越表現源于其獨特的技術組合：

• 擴散模型架構：LLIA以擴散模型為基石，憑借其強大的生成能力和高保真度輸出，為高質量視頻生成奠定了基礎。
• 可變長度視頻生成：通過動態訓練策略，LLIA能夠在推理時生成不同長度的視頻片段，在降低延遲的同時，確保視頻質量。
• 一致性模型（Consistency Models）：引入一致性模型和判別器，LLIA能夠在更少的采樣步驟下生成高質量視頻，從而顯著提升推理速度。
• 模型量化與并行化：通過模型量化（如INT8量化）和流水線并行技術，LLIA進一步優化推理性能，降低計算資源需求。
• 條件輸入與控制：借助類別標簽和肖像動畫技術，LLIA能夠根據輸入音頻的特征，動態調整虛擬形象的狀態和表情，實現流暢自然的交互效果。
• 高質量數據集：LLIA基于超過100小時的高質量數據集進行訓練，涵蓋開源數據、網絡收集數據和合成數據，從而提升模型在不同場景下的表現能力。

官方網站

了解更多關于LLIA的信息，請訪問官方網站：https://meigen-ai.github.io/llia/

應用場景展望

• 虛擬面試：打造逼真的虛擬面試官或應聘者，通過實時的表情和動作反饋，增強面試的真實感和互動性。
• 手機機器人：為機器人賦予生動的虛擬形象，根據語音輸入實時生成表情和動作，提升用戶交互體驗。
• 虛擬客服：創建虛擬客服代表，實時響應客戶語音，用自然的表情和動作提升客戶滿意度。
• 在線教育：生成虛擬教師或助教，根據教學內容和學生反饋實時調整表情和動作，增強教學互動性。
• 虛擬社交：為用戶生成個性化的虛擬形象，通過語音控制表情和動作，實現更加真實自然的社交體驗。

常見問題解答

Q: LLIA的延遲有多低？

A: 在高性能GPU上，LLIA能夠實現低至140 ms的延遲，實現流暢的實時交互。

Q: LLIA支持哪些類型的虛擬形象？

A: LLIA可以根據用戶需求，生成各種類型的虛擬形象，包括人物、動物等。

Q: 如何控制LLIA生成的虛擬形象的狀態？

A: LLIA支持通過類別標簽控制虛擬形象的狀態，例如說話、傾聽、空閑等。

Q: LLIA是否支持定制化？

A: 是的，LLIA提供了靈活的定制選項，可以根據用戶的具體需求進行調整。