復(fù)旦聯(lián)合微軟等機(jī)構(gòu)推出的端到端身份一致性視頻擴(kuò)散框架

產(chǎn)品名稱：StableAnimator
產(chǎn)品簡(jiǎn)介：StableAnimator是復(fù)旦大學(xué)、微軟亞洲研究院、虎牙公司和卡內(nèi)基梅隆大學(xué)共同推出的端到端高質(zhì)量身份保持視頻擴(kuò)散框架。StableAnimator能根據(jù)一張參考圖像和一系列姿態(tài)，無(wú)需任何后處理工具，直接合成高保真度且保持人物身份一致性的視頻。
詳細(xì)介紹：

StableAnimator是什么

StableAnimator是復(fù)旦大學(xué)、微軟亞洲研究院、虎牙公司和卡內(nèi)基梅隆大學(xué)共同推出的端到端高質(zhì)量身份保持視頻擴(kuò)散框架。StableAnimator能根據(jù)一張參考圖像和一系列姿態(tài)，無(wú)需任何后處理工具，直接合成高保真度且保持人物身份一致性的視頻。StableAnimator框架基于計(jì)算圖像和面部嵌入、用全局內(nèi)容感知面部編碼器優(yōu)化面部信息、引入分布感知ID適配器減少時(shí)間層干擾，在推理階段采用基于Hamilton-Jacobi-Bellman方程的優(yōu)化方法提升面部質(zhì)量。

StableAnimator的主要功能

• 身份保持的視頻合成：StableAnimator能根據(jù)提供的參考圖像和姿態(tài)序列，合成保持人物身份一致性的視頻內(nèi)容。
• 無(wú)需后處理：與傳統(tǒng)的動(dòng)畫模型不同，StableAnimator無(wú)需依賴任何后處理工具，如面部交換工具或面部恢復(fù)模型，即可生成高質(zhì)量動(dòng)畫。
• 高保真度：框架直接生成的視頻具有高保真度，細(xì)節(jié)豐富，接近真實(shí)世界的人物動(dòng)態(tài)和外觀。
• 端到端框架：作為一個(gè)端到端的視頻擴(kuò)散框架，StableAnimator集成訓(xùn)練和推理模塊，確保在整個(gè)動(dòng)畫生成過(guò)程中保持身份一致性。

StableAnimator的技術(shù)原理

• 圖像和面部嵌入：StableAnimator使用現(xiàn)成的提取器分別計(jì)算圖像和面部嵌入，為后續(xù)的身份保持提供基礎(chǔ)特征。
• 全局內(nèi)容感知面部編碼器：基于與圖像嵌入的交互，面部編碼器能進(jìn)一步優(yōu)化面部特征，增強(qiáng)模型對(duì)參考圖像全局布局的感知能力。
• 分布感知ID適配器：這一新穎組件能防止由于時(shí)間層引起的干擾，同時(shí)基于對(duì)齊操作保留身份信息，確保視頻幀間的身份一致性。
• Hamilton-Jacobi-Bellman (HJB) 方程優(yōu)化：在推理階段，基于HJB方程進(jìn)行面部?jī)?yōu)化，進(jìn)一步增強(qiáng)面部質(zhì)量。基于與擴(kuò)散去噪過(guò)程相結(jié)合，用優(yōu)化路徑引導(dǎo)模型朝著最佳的身份一致性方向發(fā)展。
• 集成到擴(kuò)散去噪過(guò)程：HJB方程的解決方案被集成到擴(kuò)散去噪過(guò)程中，讓去噪路徑受到約束，有利于身份信息的保持。
• 多路徑處理：參考圖像基于三個(gè)路徑處理：VAE編碼、CLIP圖像編碼和Arcface面部編碼，將信息用在調(diào)制合成外觀和確保身份一致性。

StableAnimator的項(xiàng)目地址

• 項(xiàng)目官網(wǎng)：francis-rings.github.io/StableAnimator
• GitHub倉(cāng)庫(kù)：https://github.com/Francis-Rings/StableAnimator
• HuggingFace模型庫(kù)：https://huggingface.co/FrancisRing/StableAnimator
• arXiv技術(shù)論文：https://arxiv.org/pdf/2411.17697

StableAnimator的應(yīng)用場(chǎng)景

• 電影和視頻制作：生成或增強(qiáng)電影和視頻中的人物動(dòng)作，讓動(dòng)作場(chǎng)景更加流暢和逼真，同時(shí)減少實(shí)地拍攝的成本和風(fēng)險(xiǎn)。
• 游戲開(kāi)發(fā)：在游戲中創(chuàng)建具有真實(shí)動(dòng)作和表情的角色，提升玩家的沉浸感和游戲體驗(yàn)。
• 虛擬現(xiàn)實(shí)（VR）和增強(qiáng)現(xiàn)實(shí)（AR）：在VR和AR中創(chuàng)建逼真的虛擬角色，為用戶提供更加真實(shí)的互動(dòng)體驗(yàn)，如虛擬導(dǎo)游、虛擬助手等。
• 社交媒體和直播：開(kāi)發(fā)虛擬主播和影響者，在社交媒體上進(jìn)行直播和互動(dòng)，吸引更多粉絲和提高用戶參與度。
• 廣告和營(yíng)銷：定制個(gè)性化的廣告內(nèi)容，基于虛擬人物來(lái)吸引目標(biāo)受眾，提高廣告的吸引力和記憶度。