PersonaTalk是一款由字節跳動開發的先進視覺配音工具，基于注意力機制的雙階段框架，能夠實現高保真度和個性化的唇形同步視頻合成。它不僅能確保合成視頻中的嘴型與輸入音頻精準匹配，還能保留說話者獨特的表達風格和面部細節。PersonaTalk在視覺質量、唇形同步精度及個性化保留方面表現出色，相較于現有技術如Wav2Lip、VideoReTalking、DINet和IP_LAP具有明顯優勢。

PersonaTalk是什么

PersonaTalk是字節跳動推出的一個創新型工具，它利用基于注意力機制的雙階段框架來實現個性化的視覺配音。通過精準的唇形同步和獨特的說話風格保留，PersonaTalk為用戶提供了高質量的視頻合成體驗。其工作流程分為兩個階段：第一階段專注于風格感知的音頻編碼和唇形同步幾何生成，第二階段則通過雙重注意力機制的面部渲染器進行紋理渲染。PersonaTalk的表現超越了許多現有技術，能夠達到與特定人方法相媲美的效果。

PersonaTalk的主要功能

• 唇形同步：確保視頻中人物的嘴型動作與輸入音頻精確匹配。
• 個性保留：在視頻合成過程中，保留說話者的獨特風格和面部特征。
• 風格感知：通過分析說話者的3D面部幾何信息，學習并融入其說話風格到音頻特征中。
• 雙重注意力面部渲染：利用Lip-Attention和Face-Attention兩個并行的注意力機制，分別處理唇部和其他面部區域的紋理渲染，生成具有豐富細節的面部圖像。

PersonaTalk的技術原理

• 幾何構建：
  • 風格感知音頻編碼：利用HuBERT等預訓練模型將音頻信號轉化為豐富的語音表示，通過交叉注意力層將說話風格融入音頻特征。
  • 唇形同步幾何生成：根據風格化的音頻特征驅動說話者的模板幾何形狀，通過多個交叉注意力和自注意力層生成與音頻同步的唇形幾何形狀。
• 面部渲染：
  • 幾何與紋理編碼：將參考視頻的幾何形狀和紋理編碼到潛在空間，以便后續處理。
  • 雙重注意力紋理采樣：基于兩個并行的交叉注意力層（Lip-Attention和Face-Attention），分別從不同的參考幀中采樣唇部和面部的紋理。
  • 參考幀選擇策略：為唇部和面部紋理選擇不同的參考幀，增強紋理采樣的多樣性和全局一致性。
  • 紋理解碼：將采樣的紋理從潛在空間解碼回像素空間，保護面部幾何結構，生成最終的面部圖像。

PersonaTalk的項目地址

• 項目官網：grisoon.github.io/PersonaTalk
• arXiv技術論文：https://arxiv.org/pdf/2409.05379

PersonaTalk的應用場景

• 電影和視頻制作：在電影后期制作中，PersonaTalk可為角色配音，尤其在原始錄音不滿意或需要更改語言時，生成與角色嘴型同步的配音視頻。
• 視頻游戲：在游戲開發中，用于生成非玩家角色（NPC）的自然對話，提升游戲的沉浸體驗。
• 虛擬助手和數字人：為虛擬助手或數字人提供更自然、真實的語音和面部表情同步，增強用戶交互體驗。
• 語言學習應用：在語言學習軟件中，生成教師或虛擬角色的唇形同步視頻，幫助學習者更好地模仿發音。
• 新聞和媒體廣播：用于將新聞主播的講話翻譯成不同語言，同時保持面部表情和嘴型，提高多語言廣播的自然性和準確性。