UniRig – 清華聯(lián)合 VAST 開源的通用自動(dòng)骨骼綁定框架

UniRig是清華大學(xué)計(jì)算機(jī)系與VAST聯(lián)合開發(fā)的前沿自動(dòng)骨骼綁定框架，專為處理復(fù)雜且多樣化的3D模型而設(shè)計(jì)?；趶?qiáng)大的自回歸模型和骨骼點(diǎn)交叉注意力機(jī)制，UniRig能夠生成高質(zhì)量的骨骼結(jié)構(gòu)和精確的蒙皮權(quán)重，大幅提升動(dòng)畫制作的效率和質(zhì)量。

UniRig是什么

UniRig是由清華大學(xué)計(jì)算機(jī)系與VAST共同推出的一種創(chuàng)新性自動(dòng)骨骼綁定框架，旨在處理復(fù)雜多樣的3D模型。該框架利用大型自回歸模型和骨骼點(diǎn)交叉注意力機(jī)制，生成高質(zhì)量的骨骼結(jié)構(gòu)和蒙皮權(quán)重。UniRig引入了Rig-XL數(shù)據(jù)集，包含超過14,000個(gè)3D模型，涵蓋多種類型，廣泛應(yīng)用于訓(xùn)練和評(píng)估。與現(xiàn)有的學(xué)術(shù)和商業(yè)方法相比，UniRig在骨骼綁定和精度方面表現(xiàn)出顯著優(yōu)勢(shì)，能夠無縫適用于從動(dòng)漫角色到復(fù)雜有機(jī)和無機(jī)結(jié)構(gòu)的多種對(duì)象，極大地提升動(dòng)畫制作的效率。

UniRig的主要功能

• 自動(dòng)骨骼生成：為各類3D模型（如人類、動(dòng)物、虛構(gòu)角色等）自動(dòng)生成拓?fù)浣Y(jié)構(gòu)合理的骨骼樹。
• 蒙皮權(quán)重預(yù)測(cè)：預(yù)測(cè)每根骨骼對(duì)模型頂點(diǎn)的影響權(quán)重，確保在骨骼動(dòng)畫驅(qū)動(dòng)下，網(wǎng)格自然變形。
• 支持多樣化模型：適用于多種類型的3D模型，包括復(fù)雜的有機(jī)和無機(jī)結(jié)構(gòu)。
• 高效動(dòng)畫制作：顯著提高動(dòng)畫制作效率，減少手動(dòng)操作所需的時(shí)間和工作量。
• 動(dòng)態(tài)效果支持：生成支持物理模擬的骨骼屬性（如彈簧骨骼）。

UniRig的技術(shù)原理

• 骨骼樹標(biāo)記化：將骨骼樹結(jié)構(gòu)轉(zhuǎn)換為序列化標(biāo)記，以便自回歸模型高效處理。特殊標(biāo)記（如<type>）用于表示骨骼類型（如彈簧骨骼、模板骨骼），通過深度優(yōu)先搜索（DFS）算法提取線性骨骼鏈，緊湊表示骨骼結(jié)構(gòu)。骨骼樹標(biāo)記化能夠減少序列長(zhǎng)度，從而提高模型的訓(xùn)練和推理效率。
• 自回歸模型：基于Transformer構(gòu)建的自回歸模型（例如Skeleton Tree GPT）用于預(yù)測(cè)骨骼樹。模型逐個(gè)生成標(biāo)記以構(gòu)建骨骼樹，確保生成的骨骼結(jié)構(gòu)在拓?fù)渖嫌行АＤＰ偷妮斎氚◤?D網(wǎng)格采樣的點(diǎn)云和可選的類別信息，輸出為表示骨骼樹的標(biāo)記序列。
• 骨骼點(diǎn)交叉注意力機(jī)制：通過點(diǎn)云編碼器和骨骼編碼器分別提取點(diǎn)云和骨骼樹特征，利用交叉注意力機(jī)制結(jié)合特征，以預(yù)測(cè)蒙皮權(quán)重。
• 大規(guī)模數(shù)據(jù)集：為訓(xùn)練和評(píng)估UniRig，研究人員構(gòu)建了Rig-XL數(shù)據(jù)集，包含超過14,000個(gè)3D模型，涵蓋多種類別。數(shù)據(jù)集的多樣性和規(guī)模使UniRig能夠?qū)W習(xí)不同類型的骨骼結(jié)構(gòu)和蒙皮權(quán)重，提升模型的泛化能力。
• 物理模擬輔助訓(xùn)練：在訓(xùn)練過程中引入物理模擬，通過模擬骨骼在物理力（如重力、彈性力）下的，評(píng)估預(yù)測(cè)的蒙皮權(quán)重和骨骼屬性的合理性。間接監(jiān)督方法引導(dǎo)模型學(xué)習(xí)更逼真的蒙皮權(quán)重，從而提高動(dòng)畫的真實(shí)感。

UniRig的項(xiàng)目地址

• 項(xiàng)目官網(wǎng)：https://zjp-shadow.github.io/works/UniRig/
• GitHub倉庫：https://github.com/VAST-AI-Research/UniRig
• HuggingFace模型庫：https://huggingface.co/VAST-AI/UniRig
• arXiv技術(shù)論文：https://zjp-shadow.github.io/works/UniRig/static/supp/UniRig.pdf

UniRig的應(yīng)用場(chǎng)景

• 動(dòng)畫制作：快速生成骨骼和蒙皮權(quán)重，減少手動(dòng)操作，提升動(dòng)畫制作效率。
• 虛擬角色：為虛擬角色（如VTuber）生成自然流暢的骨骼綁定，支持實(shí)時(shí)動(dòng)畫。
• 游戲開發(fā)：快速生成角色和物體的骨骼綁定，支持動(dòng)態(tài)效果，增強(qiáng)游戲視覺效果。
• 3D內(nèi)容創(chuàng)作：適用于建筑設(shè)計(jì)、工業(yè)設(shè)計(jì)等領(lǐng)域，支持多樣化3D模型的骨骼綁定。
• 教育領(lǐng)域：作為教學(xué)工具，幫助學(xué)習(xí)者迅速掌握骨骼動(dòng)畫的基本概念。

常見問題

• UniRig如何使用？：用戶可以通過項(xiàng)目官網(wǎng)或GitHub倉庫獲取詳細(xì)的使用說明和示例代碼。
• UniRig支持哪些3D模型格式？：UniRig支持多種常見的3D模型格式，具體格式可參考項(xiàng)目文檔。
• UniRig的性能如何？：UniRig在多種測(cè)試中表現(xiàn)優(yōu)異，尤其在骨骼綁定和精度方面明顯優(yōu)于傳統(tǒng)方法。
• 如何參與UniRig的開發(fā)？：用戶可以通過GitHub提交問題和建議，亦可貢獻(xiàn)代碼或文檔。