Being-M0 – 北大聯合人民大學推出的人形機器人通用動作生成模型

Being-M0 是一款由北京大學、中國人民大學等機構聯合研發的創新型大規模人形機器人動作生成模型。該模型基于業內首個百萬級動作數據集 MotionLib，通過獨特的 MotionBook 編碼技術，將動作序列轉化為二維圖像，從而實現高效的表示和生成。Being-M0 的推出證明了大數據與大模型在動作生成領域的可行性，顯著提升了動作生成的多樣性和語義對齊精度，成功實現了從人類動作到多款人形機器人的高效遷移，為通用動作智能的發展奠定了基礎。

Being-M0是什么

Being-M0 是由北京大學、中國人民大學等多家機構共同開發的首個大規模人形機器人通用動作生成模型。該模型基于全球首個百萬級動作數據集 MotionLib，采用創新的 MotionBook 編碼技術，將動作序列高效地轉化為二維圖像。Being-M0 的研究展示了大數據和大模型在動作生成領域的技術優勢，顯著提高了動作生成的多樣性和語義對齊精度，推動了從人類動作到多種人形機器人的高效遷移，為通用動作智能的實現提供了堅實基礎。

Being-M0的主要功能

• 文本驅動的動作生成：根據用戶輸入的自然語言描述生成相應的人類動作序列。
• 動作遷移：將生成的動作遷移到多種人形機器人平臺，例如 Unitree H1、H1-2、G1 等，使機器人能夠執行類似的人類動作。
• 多模態數據支持：Being-M0 支持包括 RGB 視頻、深度信息等多種模態數據，能夠處理多人交互場景，為復雜環境下的動作生成提供支持。

Being-M0的技術原理

• 大規模數據集 MotionLib：建立在業內首個百萬級動作生成數據集 MotionLib 之上，該數據集包含超過 120 萬條動作序列，是現有最大公開數據集的 15 倍。數據集通過自動化處理流程，從公開數據源和在線平臺收集并進行了細致的標注。
• MotionBook 編碼技術：采用 MotionBook 編碼技術，將動作序列建模為單通道二維動作圖像，在時間軸和關節軸上分別構建的編碼空間，全面保留的多維結構特征。通過降維投影消除傳統的 codebook 查找環節，使動作詞表容量提升兩個數量級。
• 優化與學習的雙階段解決方案：在動作遷移方面，采用優化與學習的雙階段解決方案。優化階段通過多目標優化方法生成符合機器人學約束的動作序列；學習階段則運用輕量級 MLP 網絡學習從人體動作到人形機器人動作的映射關系，實現高效的動作遷移。

Being-M0的項目地址

• 項目官網：https://beingbeyond.github.io/Being-M0/
• arXiv技術論文：https://arxiv.org/pdf/2410.03311

Being-M0的應用場景

• 人形機器人控制：使機器人能夠根據文本指令完成特定動作。
• 動畫制作：快速生成高質量的動作序列，顯著提高制作效率。
• 虛擬現實與增強現實：實時生成互動動作，增強用戶的沉浸體驗。
• 人機交互：提升機器人對人類指令的理解能力，增強協作效果。
• 分析與康復：輔助員訓練及患者的康復過程。

常見問題

• Being-M0是否適用于所有類型的機器人？：Being-M0 可以與多種人形機器人平臺兼容，支持多樣化的應用場景。
• 如何獲取數據集 MotionLib？：MotionLib 數據集可通過項目官網獲取，具體的獲取方式請參見相關文檔。
• Being-M0的生成速度如何？：由于采用了先進的編碼和優化技術，Being-M0 在動作生成速度上表現出色，能夠滿足實時應用的需求。