INFP – 音頻驅動的生成逼真面部表情和頭部姿態的AI框架

INFP是什么

INFP是一個音頻驅動的頭部生成框架，專門為雙人對話交互而設計。該框架能夠根據對話音頻自動進行角色轉換，無需手動分配或切換角色。INFP的工作流程包括兩個階段：首先是基于動作的頭部模仿階段，其次是音頻引導的動作生成階段。通過實驗和可視化分析，INFP展現出了出色的性能和有效性。此外，INFP還提出了大規模的雙人對話數據集DyConv，以推動該領域的研究進展。

INFP的主要功能

• 自動角色轉換：INFP可以在雙人對話中自動完成角色切換，消除了手動操作的需求，使得交互過程更加自然和流暢。
• 輕量高效：該框架在保持強大功能的同時，具備輕量化特性。在Nvidia Tesla A10上，INFP可以實現超過40 fps的實時推理速度，支持智能代理之間或人與代理之間的實時互動。
• 交互式頭部生成：INFP的兩個關鍵階段包括基于的頭部模仿和音頻驅動的動作生成。第一階段將真實對話視頻中的面部表情行為編碼到低維潛在空間，而第二階段則將輸入音頻映射到這些潛在代碼，從而實現音頻驅動的頭部生成。
• 大規模雙人對話數據集DyConv：為了促進研究領域的發展，INFP引入了DyConv數據集，該數據集從互聯網上收集了豐富的雙人對話數據。

INFP的技術原理

• 頭部模仿階段：在此階段，框架學習將現實生活中的對話視頻中的面部交流行為投影到一個低維潛在空間。這個過程涉及從大量真實對話視頻中提取面部交流行為，并將其編碼為可以驅動靜態圖像動畫的潛在代碼。
• 音頻引導動作生成階段：在第二階段，框架學習將輸入的雙通道音頻映射到潛在代碼。這一過程通過去噪操作來實現，從而在交互場景中實現音頻驅動的頭部生成。
• 實時互動與風格控制：INFP支持實時互動，允許用戶在對話中隨時打斷或回應虛擬形象。此外，通過提取任意肖像視頻的風格向量，INFP可以全局控制生成結果中的情緒或態度。

INFP的項目地址

• 項目官網：https://grisoon.github.io/INFP/
• arXiv技術論文：https://www.arxiv.org/pdf/2412.04037

INFP的應用場景

• 視頻會議與虛擬助手：INFP框架提供真實感、交互性和實時性的體驗，適用于視頻會議和虛擬助手等實時場景，帶來更為自然和流暢的互動體驗。
• 社交媒體與互動娛樂：在社交媒體平臺或互動娛樂應用中，INFP可用于生成具有自然表情和頭部動作的交互式頭像，增強用戶的互動感受。
• 教育培訓：INFP能夠創建虛擬教師或培訓師，提供生動而互動的教學體驗。
• 客戶服務：在客戶服務領域，INFP可以生成虛擬客服代表，提供更加人性化的服務。
• 廣告與營銷：INFP可以生成引人注目的虛擬代言人，用于廣告和營銷活動，提供更為逼真和互動的廣告體驗。
• 游戲與模擬：在游戲和模擬環境中，INFP能夠創建更為真實和互動的角色，提升游戲的沉浸感和互動性。