HunyuanPortrait – 騰訊混元聯(lián)合清華等機(jī)構(gòu)推出的肖像動畫生成框架

HunyuanPortrait 是一款由騰訊 Hunyuan 團(tuán)隊與清華大學(xué)、中山大學(xué)及香港科技大學(xué)等多家機(jī)構(gòu)聯(lián)合研發(fā)的創(chuàng)新型框架，旨在通過擴(kuò)散模型生成高度可控且極為真實(shí)的肖像動畫。該技術(shù)能夠基于一張肖像圖像作為外觀參考，并結(jié)合視頻片段作為驅(qū)動模板，實(shí)現(xiàn)對參考肖像中人物的動畫化，依托驅(qū)動視頻中的面部表情和頭部姿勢。

HunyuanPortrait是什么

HunyuanPortrait 是騰訊 Hunyuan 團(tuán)隊與多所知名大學(xué)合作推出的一種基于擴(kuò)散模型的框架，專注于生成高度可控、真實(shí)感極強(qiáng)的肖像動畫。通過輸入一張肖像圖片作為外觀參考，配合驅(qū)動視頻片段，系統(tǒng)能夠?qū)⒁曨l中的面部表情和頭部姿勢映射到參考圖像中，從而實(shí)現(xiàn)自然流暢的動畫效果。該平臺在時間一致性和可控性方面表現(xiàn)優(yōu)異，展現(xiàn)出強(qiáng)大的泛化能力，能夠有效解耦不同圖像風(fēng)格下的外觀與，廣泛應(yīng)用于虛擬現(xiàn)實(shí)、游戲及人機(jī)交互等多個領(lǐng)域。

HunyuanPortrait的主要功能

• 高度可控的肖像動畫生成：利用單張肖像作為外觀參考，結(jié)合視頻驅(qū)動模板，精確轉(zhuǎn)移面部表情與頭部姿勢，生成自然流暢的動畫效果。
• 強(qiáng)大的身份一致性保持：在面部結(jié)構(gòu)及強(qiáng)度差異顯著的情況下，確保參考肖像的身份特征得以保持，避免出現(xiàn)身份失真現(xiàn)象。
• 逼真的面部動態(tài)捕捉：捕捉細(xì)膩的面部表情變化，包括眼神方向和嘴唇的同步，生成高度真實(shí)的肖像動畫。
• 時間一致性優(yōu)化：生成的視頻在時間上保持高度連貫和平滑，消除背景抖動和模糊等問題。
• 風(fēng)格泛化能力：能夠適應(yīng)多種圖像風(fēng)格，包括動漫和真實(shí)照片，展現(xiàn)出廣泛的適用性。

HunyuanPortrait的技術(shù)原理

• 隱式條件控制：通過隱式表示編碼信息，更精準(zhǔn)地捕捉復(fù)雜的面部與表情變化，避免因關(guān)鍵點(diǎn)提取不準(zhǔn)確帶來的偽影和失真。將編碼后的信息作為控制信號，基于注意力機(jī)制注入去噪 U-Net，實(shí)現(xiàn)對動畫生成過程的精細(xì)掌控。
• 穩(wěn)定的視頻擴(kuò)散模型：依托擴(kuò)散模型框架，在潛在空間中進(jìn)行擴(kuò)散與去噪處理，提升生成質(zhì)量與訓(xùn)練效率。通過 VAE 將圖像從 RGB 空間映射至潛在空間，利用 UNet 進(jìn)行去噪，生成高質(zhì)量的視頻幀。
• 增強(qiáng)的特征提取器：基于對強(qiáng)度的估計，增強(qiáng)特征的表示能力，提高對不同強(qiáng)度的適應(yīng)性。結(jié)合 ArcFace 和 DiNOv2 背景，采用多尺度適配器（IMAdapter）增強(qiáng)肖像的身份一致性，確保生成的動畫在各幀中保持一致的身份特征。
• 訓(xùn)練和推理策略：通過顏色抖動和姿態(tài)引導(dǎo)等技術(shù)豐富訓(xùn)練數(shù)據(jù)的多樣性，提升模型的泛化能力。采用多種增強(qiáng)訓(xùn)練策略，例如隨機(jī)移除某些骨骼邊緣，以提高模型在不同輸入條件下的穩(wěn)定性。
• 注意力機(jī)制：在 UNet 中引入多頭自注意力和交叉注意力機(jī)制，增強(qiáng)模型對空間與時間信息的感知能力，提高生成視頻的細(xì)節(jié)豐富度及時間一致性。

HunyuanPortrait的項(xiàng)目地址

• 項(xiàng)目官網(wǎng)：https://kkakkkka.github.io/HunyuanPortrait/
• GitHub倉庫：https://github.com/Tencent-Hunyuan/HunyuanPortrait
• HuggingFace模型庫：https://huggingface.co/tencent/HunyuanPortrait
• arXiv技術(shù)論文：https://arxiv.org/pdf/2503.18860

HunyuanPortrait的應(yīng)用場景

• 虛擬現(xiàn)實(shí)（VR）和增強(qiáng)現(xiàn)實(shí)（AR）：創(chuàng)建真實(shí)感十足的虛擬角色，提升用戶體驗(yàn)。
• 游戲開發(fā)：生成個性化的游戲角色，增強(qiáng)玩家的沉浸感。
• 人機(jī)交互：開發(fā)更加自然的虛擬助手與客服機(jī)器人，提升交互效果。
• 數(shù)字內(nèi)容創(chuàng)作：用于視頻制作、廣告及影視特效，快速生成高質(zhì)量的動畫內(nèi)容。
• 社交媒體和娛樂：用戶可將自己的照片轉(zhuǎn)化為動態(tài)表情包或虛擬形象，增加互動性。
• 教育和培訓(xùn)：創(chuàng)建個性化的虛擬教師或培訓(xùn)角色，提供更生動的教學(xué)體驗(yàn)。

常見問題

• HunyuanPortrait支持哪些圖像風(fēng)格？ HunyuanPortrait 能夠適應(yīng)多種圖像風(fēng)格，包括動漫風(fēng)格和真實(shí)照片風(fēng)格。
• 如何獲取HunyuanPortrait？ 用戶可以通過項(xiàng)目官網(wǎng)、GitHub倉庫或HuggingFace模型庫下載和使用該技術(shù)。
• HunyuanPortrait的應(yīng)用領(lǐng)域有哪些？ HunyuanPortrait 廣泛應(yīng)用于虛擬現(xiàn)實(shí)、游戲開發(fā)、人機(jī)交互、數(shù)字內(nèi)容創(chuàng)作、社交媒體及教育等多個領(lǐng)域。