DynamicFace – 小紅書聯合上海交大等推出的視頻換臉技術

DynamicFace是什么

DynamicFace是小紅書團隊開發的一項先進視頻換臉技術。該技術結合了擴散模型和即插即用的時間層，基于3D面部先驗知識，旨在實現高質量且一致性強的視頻換臉效果。DynamicFace的創新之處在于引入了四種細致的面部條件：背景、形狀感知的法線圖、表情相關的地標和去除身份信息的UV紋理圖。這些條件相互，有效提供了和身份信息的精準指導。同時，DynamicFace通過Face Former和ReferenceNet模塊進行身份注入，確保在不同表情和姿態下身份的一致性。

DynamicFace的主要功能

• 精確的面部條件分解：DynamicFace利用3D面部先驗知識，將面部分解為四種關鍵條件，包括背景、形狀感知的法線圖、與表情相關的地標和去除身份信息的UV紋理圖，從而為換臉過程提供明確指導。
• 身份一致性與注入：通過集成Face Former和ReferenceNet模塊，DynamicFace能夠在多種表情和姿態下保持身份的一致性，確保換臉后的人臉身份與源圖像高度匹配。
• 時間一致性與視頻處理：引入時間注意力層，有效解決視頻換臉中的時間一致性問題，使生成的視頻在各個幀之間保持流暢連貫。
• 高質量圖像生成：基于擴散模型，DynamicFace能夠生成高分辨率且質量優良的換臉圖像，同時保留目標圖像的表情、姿態及背景等細節。
• 廣泛適用性：DynamicFace不僅適用于靜態圖像的換臉，還能擴展至視頻領域，廣泛應用于人像重演、影視制作及虛擬現實等多個場景。

DynamicFace的技術原理

• 擴散模型與潛在空間生成：DynamicFace利用擴散模型生成高質量圖像，通過逐步逆轉加噪過程來實現圖像生成。
• 3D面部先驗與條件解耦：引入四種基于3D面部先驗的細致條件：背景、形狀感知的法線圖、表情相關的地標圖以及去除身份信息的UV紋理圖。
• 身份注入機制：DynamicFace結合Face Former和ReferenceNet進行身份注入，前者提供高層次的身份特征，后者則注入詳細的紋理信息，確保在不同表情和姿態下身份的一致性。
• 時間一致性機制：為保證視頻換臉中的時間一致性，DynamicFace引入時間注意力層，確保生成的視頻在各幀間保持自然流暢，避免突兀的變化。
• 多條件引導機制：通過多條件引導機制（Mixture-of-Guiders），DynamicFace能夠精確控制面部的和外觀，更好地保留目標面部的表情、姿態和光照等非身份屬性。

DynamicFace的項目地址

• 項目官網：https://dynamic-face.github.io
• arXiv技術論文：https://arxiv.org/pdf/2501.08553v1

DynamicFace的應用場景

• 影視制作：DynamicFace可用于影視后期制作，快速替換演員的面部表情或身份，降低重拍成本，提高制作效率。
• 人像重演與虛擬現實：在肖像重演領域，DynamicFace能夠將一人的面部表情和姿態完美轉移至另一人的臉上，呈現高度逼真的效果。
• 社交媒體與內容創作：DynamicFace為創作者提供了在社交媒體上制作趣味、個性化短視頻和圖像內容的可能。用戶可將自己的面部特征替換至明星或名人的圖像，創造有趣的創意視頻。
• 虛擬會議與直播：用戶通過虛擬攝像頭可在直播或虛擬會議中實時替換面部，為觀眾帶來全新的視覺體驗。
• 個人娛樂與創意：用戶可以將自己的面部特征置入各種有趣的場景中，生成個性化的表情包或創意視頻。