FaceShot – 同濟(jì)大合上海 AI Lab等推出的肖像動(dòng)畫(huà)生成框架

FaceShot是什么

FaceShot是由同濟(jì)大學(xué)、上海 AI Lab和南京理工大合開(kāi)發(fā)的一款創(chuàng)新型肖像動(dòng)畫(huà)生成框架。該系統(tǒng)采用外觀引導(dǎo)的地標(biāo)匹配模塊和基于坐標(biāo)的地標(biāo)重定位模塊，能夠?yàn)槎喾N角色生成準(zhǔn)確且穩(wěn)定的地標(biāo)序列。利用潛在擴(kuò)散模型的語(yǔ)義關(guān)聯(lián)性，F(xiàn)aceShot能夠跨越不同角色類(lèi)型生成豐富的面部動(dòng)作序列。通過(guò)將生成的地標(biāo)序列輸入到預(yù)訓(xùn)練的地標(biāo)驅(qū)動(dòng)動(dòng)畫(huà)模型中，F(xiàn)aceShot能夠生成高質(zhì)量的動(dòng)畫(huà)視頻。它突破了對(duì)真實(shí)肖像地標(biāo)的依賴，適用于任何風(fēng)格化角色及驅(qū)動(dòng)視頻，或作為插件與其他地標(biāo)驅(qū)動(dòng)動(dòng)畫(huà)模型兼容使用，大幅提升整體性能。

FaceShot的主要功能

• 角色動(dòng)畫(huà)生成：為各種角色類(lèi)型生成自然流暢的面部動(dòng)畫(huà)，同時(shí)保留角色的獨(dú)特特征。
• 跨領(lǐng)域動(dòng)畫(huà)：支持將人類(lèi)視頻驅(qū)動(dòng)的動(dòng)畫(huà)擴(kuò)展到非人類(lèi)角色（如玩具、動(dòng)物等），拓寬了肖像動(dòng)畫(huà)的應(yīng)用范圍。
• 無(wú)需訓(xùn)練：無(wú)需對(duì)每個(gè)角色或驅(qū)動(dòng)視頻進(jìn)行額外訓(xùn)練或調(diào)整，即可直接生成高質(zhì)量動(dòng)畫(huà)。
• 兼容性：能夠作為插件與任何地標(biāo)驅(qū)動(dòng)的動(dòng)畫(huà)模型無(wú)縫集成。

FaceShot的技術(shù)原理

• 外觀引導(dǎo)的地標(biāo)匹配模塊：基于潛在擴(kuò)散模型的語(yǔ)義關(guān)系，結(jié)合外觀先驗(yàn)知識(shí)，為任意角色生成精準(zhǔn)的面部地標(biāo)。通過(guò)DDIM逆過(guò)程從參考和目標(biāo)圖像中提取擴(kuò)散特征，并利用圖像提示減少不同領(lǐng)域間的外觀差異。采用余弦距離進(jìn)行地標(biāo)匹配，確保地標(biāo)在語(yǔ)義上的一致性，并引入外觀畫(huà)廊進(jìn)一步優(yōu)化匹配效果。
• 基于坐標(biāo)的地標(biāo)重定位模塊：通過(guò)坐標(biāo)系變換捕捉驅(qū)動(dòng)視頻中的微小面部動(dòng)作，從而生成與之對(duì)齊的地標(biāo)序列。該模塊分為全局和局部?jī)蓚€(gè)階段，全局負(fù)責(zé)面部的整體平移與旋轉(zhuǎn)，而局部則分別處理眼睛、嘴巴、鼻子、眉毛及面部邊界等部位的相對(duì)和點(diǎn)重定位。基于簡(jiǎn)單的坐標(biāo)變換公式，該模塊能夠精確捕捉面部的全局和局部，生成穩(wěn)定的地標(biāo)序列。
• 地標(biāo)驅(qū)動(dòng)的動(dòng)畫(huà)模型：該模塊將生成的地標(biāo)序列輸入預(yù)訓(xùn)練的動(dòng)畫(huà)模型（如MOFA-Video），生成最終動(dòng)畫(huà)視頻。通過(guò)將地標(biāo)序列作為附加條件輸入到動(dòng)畫(huà)模型的U-Net中，確保模型能夠精確跟蹤地標(biāo)序列中的。基于這種方式，動(dòng)畫(huà)模型能夠使用地標(biāo)序列生成與驅(qū)動(dòng)視頻一致的動(dòng)畫(huà)效果，保持角色的視覺(jué)身份，從而實(shí)現(xiàn)高質(zhì)量的肖像動(dòng)畫(huà)生成。

FaceShot的項(xiàng)目地址

• 項(xiàng)目官網(wǎng)：https://faceshot2024.github.io/faceshot/
• GitHub倉(cāng)庫(kù)：https://github.com/open-mmlab/FaceShot
• arXiv技術(shù)論文：https://arxiv.org/pdf/2503.00740

FaceShot的應(yīng)用場(chǎng)景

• 影視娛樂(lè)：為電影和電視劇中的角色創(chuàng)造生動(dòng)的動(dòng)畫(huà)，增強(qiáng)視覺(jué)體驗(yàn)。
• 游戲開(kāi)發(fā)：快速生成游戲角色動(dòng)畫(huà)，提高表現(xiàn)力和趣味性。
• 教育領(lǐng)域：使教育內(nèi)容更加生動(dòng)，提升學(xué)生學(xué)習(xí)興趣和課堂互動(dòng)性。
• 廣告營(yíng)銷(xiāo)：生成品牌吉祥物動(dòng)畫(huà)，增強(qiáng)品牌形象和用戶參與感。
• VR/AR應(yīng)用：生成虛擬角色動(dòng)畫(huà)，提升用戶的沉浸感和互動(dòng)體驗(yàn)。

常見(jiàn)問(wèn)題

• FaceShot適合哪些類(lèi)型的角色動(dòng)畫(huà)？ FaceShot能夠處理多種角色，從真實(shí)人類(lèi)到動(dòng)物、玩具等非人類(lèi)角色皆可。
• 使用FaceShot是否需要額外的訓(xùn)練？ 不需要，F(xiàn)aceShot的設(shè)計(jì)旨在無(wú)需針對(duì)每個(gè)角色或視頻進(jìn)行額外訓(xùn)練，即可生成高質(zhì)量動(dòng)畫(huà)。
• 如何將FaceShot集成到現(xiàn)有的動(dòng)畫(huà)工作流中？ FaceShot可作為插件與任何地標(biāo)驅(qū)動(dòng)的動(dòng)畫(huà)模型無(wú)縫集成，方便用戶使用。