Champ

AI工具1年前 (2024)發布 AI工具集

Champ是一款由阿里巴巴、復旦大學和學的研究者聯合開發的創新模型，旨在將靜態人物圖片轉換為生動的3D動畫視頻。該技術融合了先進的3D參數化模型（尤其是SMPL模型）與潛在擴散模型，能夠精準捕捉人體的形態與動態變化，創造出既自然又可控的動畫效果。Champ以其高質量的人類動畫視頻生成能力，正在引領視頻動畫領域的新潮流。

Champ是什么

Champ是一種基于3D技術的模型，專注于將人物圖片轉變為動態視頻動畫。它結合了3D參數化模型（特別是SMPL模型）和潛在擴散模型，能夠高效捕捉和再現人體的三維形態及動態變化，同時保持動畫的時間一致性和視覺真實感，從而生成高質量的人類動畫視頻。

Champ

Champ的官網入口

官方項目主頁：https://fudan-generative-vision.github.io/champ/#/
GitHub源碼庫：https://github.com/fudan-generative-vision/champ
arXiv研究論文：https://arxiv.org/abs/2403.14781

Champ的主要功能

從靜態圖片生成動態視頻動畫：Champ能夠將靜態的人物圖片轉化為動態的視頻，通過精準再現人體的形狀和動作，創造出真實且可控的動畫效果。
三維形狀與姿勢表示：Champ精確地表示和控制人體的三維形狀與姿勢，能夠更準確地提取源視頻中的人體幾何特征及信息。
跨身份動畫生成：Champ允許將一個視頻中的序列應用到另一個不同身份的參考圖像上，實現跨身份的動畫生成。
高質量視頻輸出：在生成視頻時，Champ確保角色與背景之間的一致性，并通過時間對齊模塊實現幀與幀之間的流暢過渡，從而生產出高質量的視頻。
結合文本生成圖像模型：Champ與文本生成圖像模型結合，用戶可以通過文本描述指定動畫中的角色外觀和動作，Champ據此生成相應的動畫視頻。

Champ的應用場景

Champ可以廣泛應用于影視制作、游戲開發、虛擬現實、社交媒體內容創作等領域，為用戶提供豐富的動畫創作工具，滿足多樣化的視覺表現需求。

常見問題

Champ支持哪些格式的輸入圖片？ 目前，Champ支持多種常見的圖片格式，包括JPEG、PNG等，用戶可以通過上傳這些格式的圖片進行動畫生成。

生成的視頻質量如何？ Champ能夠生成高質量的動畫視頻，確保人物與背景之間的協調性及流暢的表現。

是否需要專業技能才能使用Champ？ Champ設計為用戶友好，普通用戶也可以輕松操作，但對動畫創作有一定了解的用戶將能夠更好地利用其功能。

Champ的工作原理

Champ

3D人體參數化模型（SMPL）：
- 使用SMPL模型以表達人體的形狀與姿勢，該模型能夠有效捕捉人體的形狀和姿勢變化。
- 通過將SMPL模型擬合至參考圖像，獲取人體的形狀參數與姿勢參數。
從源視頻提取：
- 利用現有框架（如4D-Humans）從源視頻中提取連續的人體序列，這些序列包括描述視頻中人物動作的SMPL模型參數。
生成深度、法線和語義圖：
- 將SMPL模型渲染為深度圖、法線圖與語義圖，以詳細展現3D結構、表面方向及人體部位信息。
對齊與指導：
- 利用提取的SMPL模型參數，對參考圖像中的人物形狀與姿勢進行對齊，確保動畫中的人物與源視頻中的動作一致。
- 引入基于骨架的指導，以增強對復雜動作（如面部表情或手指動作）的表現。
多層融合：
- 通過自注意力機制，將深度、法線、語義和骨架信息的特征圖融合，生成綜合的指導信號。
潛在擴散模型：
- 利用潛在擴散模型作為生成框架，將指導信號與參考圖像的編碼特征結合，生成動畫幀。
- 在潛在空間中執行去噪過程，從帶噪聲的表示中逐步恢復出清晰的動畫幀。
訓練與推理：
- 在訓練階段，模型學習根據參考圖像和指導生成連貫的動畫序列。
- 在推理階段，模型依據新的參考圖像和序列生成動畫，展示其泛化能力。
視頻生成：
- 將生成的幀序列合成視頻，確保視頻中的人物與參考圖像視覺上的一致性，并保持自然流暢的動作。