Follow-Your-Emoji

Follow-Your-Emoji是一種由香港科技大學(xué)、騰訊混元與清華大學(xué)的研究者聯(lián)合開發(fā)的先進(jìn)人像動(dòng)畫框架。該框架基于擴(kuò)散模型，能夠?yàn)殪o態(tài)肖像添加動(dòng)態(tài)表情序列，實(shí)現(xiàn)生動(dòng)的面部動(dòng)畫效果。通過精確對(duì)齊表情與肖像，該技術(shù)不僅保持了身份特征的完整性，還有效避免了身份信息的泄露。Follow-Your-Emoji支持多種風(fēng)格的人像動(dòng)畫，包括現(xiàn)實(shí)主義、卡通、雕塑及動(dòng)物圖像，展現(xiàn)出極高的表現(xiàn)力和靈活性。

Follow-Your-Emoji是什么

Follow-Your-Emoji是一個(gè)基于擴(kuò)散模型的人物動(dòng)畫框架，通過該技術(shù)，可以將目標(biāo)表情序列動(dòng)態(tài)地應(yīng)用于參考肖像。這一創(chuàng)新解決方案由香港科技大學(xué)、騰訊混元及清華大學(xué)的研究團(tuán)隊(duì)共同研發(fā)。它通過表情感知標(biāo)志點(diǎn)來精確對(duì)齊表情與肖像，確保在保證身份特征的同時(shí)，有效避免身份信息的泄露。此外，采用面部精細(xì)損失函數(shù)，進(jìn)一步提升了模型對(duì)微妙表情變化的捕捉能力。該框架能夠?qū)崿F(xiàn)多種風(fēng)格的人像動(dòng)畫，包含真人、卡通、雕塑甚至動(dòng)物，展現(xiàn)出極高的控制性和表現(xiàn)力。

主要功能

• 動(dòng)態(tài)表情同步：利用擴(kuò)散模型，F(xiàn)ollow-Your-Emoji可以將預(yù)設(shè)或?qū)崟r(shí)捕捉的表情序列準(zhǔn)確地同步到靜態(tài)肖像上，實(shí)現(xiàn)如眨眼、微笑、皺眉等復(fù)雜表情的動(dòng)態(tài)變化。
• 身份特征保持：該框架設(shè)計(jì)了特別的機(jī)制，確保在動(dòng)畫過程中參考肖像的關(guān)鍵身份特征不被改變，避免在表情劇烈變化時(shí)產(chǎn)生身份信息的失真。
• 夸張表情表現(xiàn)：通過表情感知標(biāo)志點(diǎn)的技術(shù)，能夠捕捉并展現(xiàn)夸張的表情動(dòng)作，尤其適合卡通和漫畫風(fēng)格，增強(qiáng)動(dòng)畫的表現(xiàn)力。
• 多風(fēng)格適應(yīng)：Follow-Your-Emoji不僅限于現(xiàn)實(shí)風(fēng)格的肖像，還能夠適應(yīng)并動(dòng)畫化不同藝術(shù)風(fēng)格的肖像，如卡通、雕塑及動(dòng)物等，顯示出其廣泛的適用性。
• 時(shí)間連貫性：通過面部精細(xì)損失函數(shù)，框架在生成每一幀動(dòng)畫時(shí)考慮前后幀的連貫性，確保動(dòng)畫序列在時(shí)間上自然流暢。
• 長期動(dòng)畫生成：采用漸進(jìn)式生成策略，F(xiàn)ollow-Your-Emoji能夠生成在短期和長期播放中均能保持高質(zhì)量和穩(wěn)定的動(dòng)畫效果。
• 高度控制性：用戶可以詳細(xì)控制表情序列，從而精確調(diào)整動(dòng)畫輸出，滿足個(gè)性化創(chuàng)作的需求。

產(chǎn)品官網(wǎng)

• 官方項(xiàng)目主頁：https://follow-your-emoji.github.io/
• arXiv技術(shù)論文：https://arxiv.org/abs/2406.01900

應(yīng)用場景

Follow-Your-Emoji可以廣泛應(yīng)用于社交媒體、動(dòng)畫制作、游戲設(shè)計(jì)、虛擬現(xiàn)實(shí)等領(lǐng)域。用戶可以通過該技術(shù)為自己的肖像或角色添加生動(dòng)的面部表情，提升互動(dòng)性和趣味性。

常見問題

• Follow-Your-Emoji支持哪些風(fēng)格的人像動(dòng)畫？該框架支持多種風(fēng)格，包括現(xiàn)實(shí)主義、卡通、雕塑及動(dòng)物等。
• 如何確保身份信息的安全？框架采用了特殊機(jī)制，確保在表情變化時(shí)身份特征得以保留，防止信息泄露。
• 用戶能否自定義動(dòng)畫表情？是的，用戶可以通過提供不同的輸入表情序列，精確控制動(dòng)畫的輸出，實(shí)現(xiàn)個(gè)性化創(chuàng)作。

Follow-Your-Emoji的技術(shù)原理

1. 基于擴(kuò)散模型的框架：該技術(shù)使用先進(jìn)的擴(kuò)散模型（Stable Diffusion）作為基礎(chǔ)，能夠生成高質(zhì)量的圖像和視頻內(nèi)容。
2. 表情感知標(biāo)志點(diǎn)：利用MediaPipe等工具從動(dòng)態(tài)視頻中提取3D關(guān)鍵點(diǎn)，并將其投影到2D平面，從而指導(dǎo)動(dòng)畫過程。
3. 面部精細(xì)損失：引入新的損失函數(shù)，通過面部遮罩和表情遮罩引導(dǎo)模型關(guān)注微妙的面部表情細(xì)節(jié)。
4. 多風(fēng)格適應(yīng)性：該框架設(shè)計(jì)為能夠適應(yīng)不同風(fēng)格的肖像，確保自然的動(dòng)畫效果。
5. 漸進(jìn)式生成策略：采用從粗糙到精細(xì)的生成策略，確保動(dòng)畫的連貫性和穩(wěn)定性。
6. 時(shí)間注意力機(jī)制：在UNet網(wǎng)絡(luò)中加入時(shí)間注意力層，以保持動(dòng)畫幀之間的一致性。
7. 預(yù)訓(xùn)練與微調(diào)：使用大量的訓(xùn)練數(shù)據(jù)集對(duì)模型進(jìn)行預(yù)訓(xùn)練，并針對(duì)特定任務(wù)進(jìn)行微調(diào)。
8. 數(shù)據(jù)集和基準(zhǔn)建設(shè)：團(tuán)隊(duì)構(gòu)建了EmojiBench基準(zhǔn)，用于評(píng)估模型性能。
9. 推理與動(dòng)畫生成：模型結(jié)合表情感知標(biāo)志點(diǎn)和時(shí)間注意力機(jī)制，生成動(dòng)態(tài)肖像動(dòng)畫，同時(shí)保持身份特征。
10. 用戶控制與定制：用戶可通過輸入不同的表情序列，控制動(dòng)畫輸出，增強(qiáng)定制化效果。