LLIA

LLIA – 美團推出的音頻驅(qū)動肖像視頻生成框架

LLIA

LLIA（Low-Latency Interactive Avatars）是美團公司研發(fā)的一款革新性的實時音頻驅(qū)動肖像視頻生成框架，它基于前沿的擴散模型技術，能夠根據(jù)輸入的音頻信號，實時生成栩栩如生的虛擬形象視頻，實現(xiàn)低延遲、高保真度的流暢交互體驗。

LLIA：開啟沉浸式虛擬互動新篇章

LLIA，全稱為Low-Latency Interactive Avatars（低延遲交互式虛擬形象），是美團公司精心打造的創(chuàng)新框架。它利用先進的擴散模型，將音頻信息轉化為逼真的虛擬形象視頻，帶來前所未有的沉浸式交互體驗。LLIA的核心優(yōu)勢在于其低延遲特性，結合可變長度視頻生成技術、一致性模型訓練策略以及模型量化技術，實現(xiàn)了極速的推理速度。用戶不僅可以體驗到流暢自然的互動，還能通過類別標簽精細控制虛擬形象的狀態(tài)和表情，例如切換說話、傾聽或閑置等狀態(tài)，從而獲得更具個性化的互動體驗。

核心功能一覽

實時音頻驅(qū)動的肖像視頻生成：根據(jù)輸入的音頻信號，即時生成對應的肖像視頻，實現(xiàn)語音與表情、動作的完美同步。
低延遲交互：在高性能GPU的加持下，LLIA能夠以高幀率（例如384×384分辨率下達到78 FPS）和極低的延遲（例如140 ms）生成視頻，滿足實時交互的需求。
多狀態(tài)切換：支持通過類別標簽控制虛擬形象的狀態(tài)，包括說話、傾聽和空閑等，讓虛擬形象能夠根據(jù)場景做出自然的反應。
面部表情控制：利用肖像動畫技術，對參考圖像的表情進行精細調(diào)整，從而實現(xiàn)對生成視頻中面部表情的精細控制，增強虛擬形象的表現(xiàn)力。

技術揭秘：LLIA背后的創(chuàng)新

LLIA的卓越表現(xiàn)源于其獨特的技術組合：

擴散模型架構：LLIA以擴散模型為基石，憑借其強大的生成能力和高保真度輸出，為高質(zhì)量視頻生成奠定了基礎。
可變長度視頻生成：通過動態(tài)訓練策略，LLIA能夠在推理時生成不同長度的視頻片段，在降低延遲的同時，確保視頻質(zhì)量。
一致性模型（Consistency Models）：引入一致性模型和判別器，LLIA能夠在更少的采樣步驟下生成高質(zhì)量視頻，從而顯著提升推理速度。
模型量化與并行化：通過模型量化（如INT8量化）和流水線并行技術，LLIA進一步優(yōu)化推理性能，降低計算資源需求。
條件輸入與控制：借助類別標簽和肖像動畫技術，LLIA能夠根據(jù)輸入音頻的特征，動態(tài)調(diào)整虛擬形象的狀態(tài)和表情，實現(xiàn)流暢自然的交互效果。
高質(zhì)量數(shù)據(jù)集：LLIA基于超過100小時的高質(zhì)量數(shù)據(jù)集進行訓練，涵蓋開源數(shù)據(jù)、網(wǎng)絡收集數(shù)據(jù)和合成數(shù)據(jù)，從而提升模型在不同場景下的表現(xiàn)能力。