Make-It-Animatable：中科大與騰訊聯(lián)手打造智能即時動畫生成資產(chǎn)系統(tǒng)

Make-It-Animatable是由中國科學(xué)技術(shù)大學(xué)與騰訊PCG聯(lián)合開發(fā)的一種數(shù)據(jù)驅(qū)動框架，能夠在短短一秒鐘內(nèi)將任何3D人形模型轉(zhuǎn)換為可用于角色動畫的狀態(tài)，無論其外觀或姿勢如何。該框架通過生成高質(zhì)量的混合權(quán)重、骨骼和姿勢變換，支持多種3D表示形式，包括網(wǎng)格和3D高斯斑點(diǎn)。與傳統(tǒng)方法相比，Make-It-Animatable在質(zhì)量和速度上均顯著提升，確保了對模型的準(zhǔn)確性和魯棒性，特別適用于非標(biāo)準(zhǔn)骨架結(jié)構(gòu)的角色。

什么是Make-It-Animatable

Make-It-Animatable是一個先進(jìn)的數(shù)據(jù)驅(qū)動框架，由中國科學(xué)技術(shù)大學(xué)與騰訊PCG共同推出。它能夠在不到一秒的時間內(nèi)使任何3D人形模型準(zhǔn)備好進(jìn)行角色動畫，無論模型的形態(tài)和姿勢如何。該框架的核心在于生成高質(zhì)量的混合權(quán)重和骨骼，同時支持多種3D表現(xiàn)形式，如網(wǎng)格和3D高斯斑點(diǎn)。通過從粗到細(xì)的表示和結(jié)構(gòu)感知建模策略，該框架確保了模型的準(zhǔn)確性和魯棒性，適用于多種骨架結(jié)構(gòu)的角色。

主要功能

• 即時動畫準(zhǔn)備：快速將任何3D人形模型轉(zhuǎn)換為可動畫的狀態(tài)，無論其形狀和姿勢如何。
• 自動生成動畫資產(chǎn)：自動創(chuàng)建高質(zhì)量的骨骼、混合權(quán)重和姿勢變換，為動畫制作提供所需數(shù)據(jù)。
• 支持多種3D數(shù)據(jù)格式：兼容包括3D網(wǎng)格和3D高斯斑點(diǎn)在內(nèi)的多種3D數(shù)據(jù)表示。
• 精細(xì)到粗糙的多級表示：采用從精細(xì)到粗糙的多級表示方法，提升模型關(guān)鍵區(qū)域的細(xì)節(jié)捕捉能力。
• 結(jié)構(gòu)感知建模：識別并適應(yīng)非標(biāo)準(zhǔn)骨架結(jié)構(gòu)，提升模型的適應(yīng)性與準(zhǔn)確度。

技術(shù)原理

• 基于粒子的形狀自編碼器：利用粒子自編碼器技術(shù)進(jìn)行3D形狀的編碼和解碼，支持多種3D表示。
• 從粗到細(xì)的表示策略：首先進(jìn)行粗略的形狀和關(guān)節(jié)位置預(yù)測，然后逐步細(xì)化以提高精度。
• 結(jié)構(gòu)感知的骨骼建模：結(jié)合骨骼的拓?fù)浣Y(jié)構(gòu)來提高骨骼預(yù)測的準(zhǔn)確性，尤其是處理復(fù)雜骨骼結(jié)構(gòu)時。
• 混合權(quán)重和骨骼位置預(yù)測：利用深度學(xué)習(xí)技術(shù)預(yù)測每個頂點(diǎn)的混合權(quán)重和骨骼位置，實(shí)現(xiàn)精準(zhǔn)的蒙皮效果。
• 姿勢變換的預(yù)測：預(yù)測模型從當(dāng)前姿勢向標(biāo)準(zhǔn)休息姿勢的變換，以便應(yīng)用多種動畫效果。

項(xiàng)目地址

• 項(xiàng)目官網(wǎng)：jasongzy.github.io/Make-It-Animatable
• GitHub倉庫：https://github.com/jasongzy/Make-It-Animatable
• arXiv技術(shù)論文：https://arxiv.org/pdf/2411.18197
• 在線體驗(yàn)Demo：https://make-it-animatable.jasongzy.com/

應(yīng)用場景

• 視頻游戲開發(fā)：迅速生成游戲角色動畫，降低手動調(diào)整骨骼和蒙皮所需的時間，從而提升游戲開發(fā)效率。
• 電影和電視制作：在影視作品中制作CG角色動畫，提升動畫的真實(shí)感和制作速度。
• 虛擬現(xiàn)實(shí)（VR）和增強(qiáng)現(xiàn)實(shí)（AR）：在VR和AR應(yīng)用中快速生成逼真的3D角色，增強(qiáng)用戶體驗(yàn)。
• 動畫電影和系列：動畫制作團(tuán)隊能夠迅速制作出高質(zhì)量的動畫序列，節(jié)省時間和成本。
• 模擬和訓(xùn)練軟件：在軍事或醫(yī)療模擬軟件中，快速生成逼真的角色動作，為模擬訓(xùn)練提供支持。

常見問題

• Make-It-Animatable支持哪些3D格式？：該框架支持多種3D格式，包括3D網(wǎng)格和3D高斯斑點(diǎn)。
• 如何提高模型的動畫質(zhì)量？：通過采用多級表示和結(jié)構(gòu)感知建模技術(shù)，Make-It-Animatable能有效提高模型動畫質(zhì)量。
• 使用Make-It-Animatable需要具備哪些技術(shù)背景？：雖然有一定的技術(shù)背景會有幫助，但該框架的設(shè)計旨在簡化動畫準(zhǔn)備過程，使更多用戶能夠輕松上手。
• 是否可以在不同的應(yīng)用場景中使用Make-It-Animatable？：是的，該框架適用于視頻游戲、電影制作、VR/AR應(yīng)用等多個領(lǐng)域。