HiFiVFS（高保真視頻換臉）是騰訊與VIVO公司聯合推出的一款先進的視頻換臉框架。其基于Stable Video Diffusion（穩定視頻擴散，簡稱SVD）框架，利用多幀輸入和時間注意力機制來確保生成視頻的流暢性和穩定性。HiFiVFS在訓練過程中采用了細粒度屬性學習（FAL）和詳細身份學習（DIL）技術，進一步增強了對視頻中屬性的控制和身份的相似性。

HiFiVFS是什么

HiFiVFS（高保真視頻換臉）是騰訊與VIVO公司共同開發的高保真視頻換臉框架，旨在通過穩定的技術手段實現高質量的人臉替換。該框架依托Stable Video Diffusion（SVD）技術，結合多幀輸入和時間注意力機制，確保生成的視頻在時序上的一致性。通過訓練引入細粒度屬性學習（FAL）和詳細身份學習（DIL），HiFiVFS大幅提升了屬性控制和身份相似度的效果。

HiFiVFS的主要功能

• 高保真換臉效果：能夠將源圖像中的人臉特征無縫地替換到目標視頻中，同時保持目標視頻的姿勢、表情、光照和背景等屬性。
• 時間穩定性：通過時間注意力機制，處理多幀視頻，確保視頻幀之間的連貫性，避免了傳統換臉技術中的時間抖動現象。
• 細致的屬性控制：利用細粒度屬性學習（FAL），提取和調控視頻中的微小屬性，如光照效果和妝容，這些在以往技術中往往難以實現。
• 增強的身份相似性：通過詳細身份學習（DIL）技術，提升換臉后的人臉與源圖像之間的相似性。

HiFiVFS的技術原理

• 基于SVD框架：該框架專為高分辨率的文本到視頻及圖像到視頻合成而設計，提供了強大的技術支持。
• 多幀輸入處理：與傳統方法不同，HiFiVFS處理多幀視頻，有助于保持視頻內容的時序穩定。
• 時間注意力機制：通過此機制，增強了視頻幀之間的相關性，進一步提升了視頻的穩定性。
• 細粒度屬性學習（FAL）：
  • 屬性解耦：采用身份去敏感化與對抗學習的方式，FAL能夠提取出于身份的細粒度屬性特征。
  • 增強屬性控制：FAL還通過對抗學習提升了對屬性的調控能力，使換臉后的視頻更好地保留目標視頻的特征。
• 詳細身份學習（DIL）：
  • 身份特征提取：DIL利用深層面部識別模型，獲取更為詳盡的面部身份信息。
  • 提升身份相似性：通過注入這些詳細的身份特征，DIL顯著提高了換臉結果與源身份之間的相似度。

HiFiVFS的項目地址

• 項目官網：cxcx1996.github.io/HiFiVFS
• arXiv技術論文：https://arxiv.org/pdf/2411.18293v1

HiFiVFS的應用場景

• 電影及視頻制作：可用于替換或調整演員的面部表情和身份，滿足特定劇情需求或進行特效制作。
• 游戲開發：在游戲中創建真實的角色面部動畫，提升互動體驗的豐富性和真實感。
• 虛擬現實（VR）與增強現實（AR）：在這些應用中，用于生成或修改用戶虛擬形象的面部特征，提供個性化的沉浸式體驗。
• 社交媒體：用戶可以在社交平臺上使用換臉濾鏡或表情變化，增加互動的趣味性。
• 廣告與營銷：廣告商可以將名人或模特的面部特征應用于廣告中，從而增強廣告的吸引力和個性化效果。