INFP – 音頻驅(qū)動的生成逼真面部表情和頭部姿態(tài)的AI框架

INFP是什么

INFP是一個音頻驅(qū)動的頭部生成框架，專門為雙人對話交互而設(shè)計。該框架能夠根據(jù)對話音頻自動進行角色轉(zhuǎn)換，無需手動分配或切換角色。INFP的工作流程包括兩個階段：首先是基于動作的頭部模仿階段，其次是音頻引導(dǎo)的動作生成階段。通過實驗和可視化分析，INFP展現(xiàn)出了出色的性能和有效性。此外，INFP還提出了大規(guī)模的雙人對話數(shù)據(jù)集DyConv，以推動該領(lǐng)域的研究進展。

INFP的主要功能

• 自動角色轉(zhuǎn)換：INFP可以在雙人對話中自動完成角色切換，消除了手動操作的需求，使得交互過程更加自然和流暢。
• 輕量高效：該框架在保持強大功能的同時，具備輕量化特性。在Nvidia Tesla A10上，INFP可以實現(xiàn)超過40 fps的實時推理速度，支持智能代理之間或人與代理之間的實時互動。
• 交互式頭部生成：INFP的兩個關(guān)鍵階段包括基于的頭部模仿和音頻驅(qū)動的動作生成。第一階段將真實對話視頻中的面部表情行為編碼到低維潛在空間，而第二階段則將輸入音頻映射到這些潛在代碼，從而實現(xiàn)音頻驅(qū)動的頭部生成。
• 大規(guī)模雙人對話數(shù)據(jù)集DyConv：為了促進研究領(lǐng)域的發(fā)展，INFP引入了DyConv數(shù)據(jù)集，該數(shù)據(jù)集從互聯(lián)網(wǎng)上收集了豐富的雙人對話數(shù)據(jù)。

INFP的技術(shù)原理

• 頭部模仿階段：在此階段，框架學(xué)習(xí)將現(xiàn)實生活中的對話視頻中的面部交流行為投影到一個低維潛在空間。這個過程涉及從大量真實對話視頻中提取面部交流行為，并將其編碼為可以驅(qū)動靜態(tài)圖像動畫的潛在代碼。
• 音頻引導(dǎo)動作生成階段：在第二階段，框架學(xué)習(xí)將輸入的雙通道音頻映射到潛在代碼。這一過程通過去噪操作來實現(xiàn)，從而在交互場景中實現(xiàn)音頻驅(qū)動的頭部生成。
• 實時互動與風(fēng)格控制：INFP支持實時互動，允許用戶在對話中隨時打斷或回應(yīng)虛擬形象。此外，通過提取任意肖像視頻的風(fēng)格向量，INFP可以全局控制生成結(jié)果中的情緒或態(tài)度。

INFP的項目地址

• 項目官網(wǎng)：https://grisoon.github.io/INFP/
• arXiv技術(shù)論文：https://www.arxiv.org/pdf/2412.04037

INFP的應(yīng)用場景

• 視頻會議與虛擬助手：INFP框架提供真實感、交互性和實時性的體驗，適用于視頻會議和虛擬助手等實時場景，帶來更為自然和流暢的互動體驗。
• 社交媒體與互動娛樂：在社交媒體平臺或互動娛樂應(yīng)用中，INFP可用于生成具有自然表情和頭部動作的交互式頭像，增強用戶的互動感受。
• 教育培訓(xùn)：INFP能夠創(chuàng)建虛擬教師或培訓(xùn)師，提供生動而互動的教學(xué)體驗。
• 客戶服務(wù)：在客戶服務(wù)領(lǐng)域，INFP可以生成虛擬客服代表，提供更加人性化的服務(wù)。
• 廣告與營銷：INFP可以生成引人注目的虛擬代言人，用于廣告和營銷活動，提供更為逼真和互動的廣告體驗。
• 游戲與模擬：在游戲和模擬環(huán)境中，INFP能夠創(chuàng)建更為真實和互動的角色，提升游戲的沉浸感和互動性。