UniRig – 清華聯合 VAST 開源的通用自動骨骼綁定框架

UniRig是清華大學計算機系與VAST聯合開發的前沿自動骨骼綁定框架，專為處理復雜且多樣化的3D模型而設計。基于強大的自回歸模型和骨骼點交叉注意力機制，UniRig能夠生成高質量的骨骼結構和精確的蒙皮權重，大幅提升動畫制作的效率和質量。

UniRig是什么

UniRig是由清華大學計算機系與VAST共同推出的一種創新性自動骨骼綁定框架，旨在處理復雜多樣的3D模型。該框架利用大型自回歸模型和骨骼點交叉注意力機制，生成高質量的骨骼結構和蒙皮權重。UniRig引入了Rig-XL數據集，包含超過14,000個3D模型，涵蓋多種類型，廣泛應用于訓練和評估。與現有的學術和商業方法相比，UniRig在骨骼綁定和精度方面表現出顯著優勢，能夠無縫適用于從動漫角色到復雜有機和無機結構的多種對象，極大地提升動畫制作的效率。

UniRig的主要功能

• 自動骨骼生成：為各類3D模型（如人類、動物、虛構角色等）自動生成拓撲結構合理的骨骼樹。
• 蒙皮權重預測：預測每根骨骼對模型頂點的影響權重，確保在骨骼動畫驅動下，網格自然變形。
• 支持多樣化模型：適用于多種類型的3D模型，包括復雜的有機和無機結構。
• 高效動畫制作：顯著提高動畫制作效率，減少手動操作所需的時間和工作量。
• 動態效果支持：生成支持物理模擬的骨骼屬性（如彈簧骨骼）。

UniRig的技術原理

• 骨骼樹標記化：將骨骼樹結構轉換為序列化標記，以便自回歸模型高效處理。特殊標記（如<type>）用于表示骨骼類型（如彈簧骨骼、模板骨骼），通過深度優先搜索（DFS）算法提取線性骨骼鏈，緊湊表示骨骼結構。骨骼樹標記化能夠減少序列長度，從而提高模型的訓練和推理效率。
• 自回歸模型：基于Transformer構建的自回歸模型（例如Skeleton Tree GPT）用于預測骨骼樹。模型逐個生成標記以構建骨骼樹，確保生成的骨骼結構在拓撲上有效。模型的輸入包括從3D網格采樣的點云和可選的類別信息，輸出為表示骨骼樹的標記序列。
• 骨骼點交叉注意力機制：通過點云編碼器和骨骼編碼器分別提取點云和骨骼樹特征，利用交叉注意力機制結合特征，以預測蒙皮權重。
• 大規模數據集：為訓練和評估UniRig，研究人員構建了Rig-XL數據集，包含超過14,000個3D模型，涵蓋多種類別。數據集的多樣性和規模使UniRig能夠學習不同類型的骨骼結構和蒙皮權重，提升模型的泛化能力。
• 物理模擬輔助訓練：在訓練過程中引入物理模擬，通過模擬骨骼在物理力（如重力、彈性力）下的，評估預測的蒙皮權重和骨骼屬性的合理性。間接監督方法引導模型學習更逼真的蒙皮權重，從而提高動畫的真實感。

UniRig的項目地址

• 項目官網：https://zjp-shadow.github.io/works/UniRig/
• GitHub倉庫：https://github.com/VAST-AI-Research/UniRig
• HuggingFace模型庫：https://huggingface.co/VAST-AI/UniRig
• arXiv技術論文：https://zjp-shadow.github.io/works/UniRig/static/supp/UniRig.pdf

UniRig的應用場景

• 動畫制作：快速生成骨骼和蒙皮權重，減少手動操作，提升動畫制作效率。
• 虛擬角色：為虛擬角色（如VTuber）生成自然流暢的骨骼綁定，支持實時動畫。
• 游戲開發：快速生成角色和物體的骨骼綁定，支持動態效果，增強游戲視覺效果。
• 3D內容創作：適用于建筑設計、工業設計等領域，支持多樣化3D模型的骨骼綁定。
• 教育領域：作為教學工具，幫助學習者迅速掌握骨骼動畫的基本概念。

常見問題

• UniRig如何使用？：用戶可以通過項目官網或GitHub倉庫獲取詳細的使用說明和示例代碼。
• UniRig支持哪些3D模型格式？：UniRig支持多種常見的3D模型格式，具體格式可參考項目文檔。
• UniRig的性能如何？：UniRig在多種測試中表現優異，尤其在骨骼綁定和精度方面明顯優于傳統方法。
• 如何參與UniRig的開發？：用戶可以通過GitHub提交問題和建議，亦可貢獻代碼或文檔。