EnerVerse

AI工具9個月前發布 AI工具集

539 0 0

EnerVerse – 智元機器人推出的首個機器人4D世界模型

EnerVerse 是智元機器人團隊推出的首款機器人4D世界模型，旨在通過生成未來的具身空間來引導機器人完成復雜任務。該模型采用自回歸擴散技術，結合稀疏記憶機制和錨定視角，大幅提升了4D生成能力及動作規劃效果。實驗表明，EnerVerse 在機器人動作規劃的任務中已達到了領先水平。目前，EnerVerse 的項目主頁和相關論文已上線，模型與數據集也即將開源。

EnerVerse是什么

EnerVerse 是智元機器人團隊研發的首個機器人4D世界模型，旨在通過生成未來的具身空間來指導機器人完成復雜任務。該模型運用自回歸擴散模型，并結合稀疏記憶機制及錨定視角，顯著增強了4D生成能力和動作規劃性能。實驗結果顯示，EnerVerse 在機器人動作規劃任務中表現出色，達到了當前最優水平。目前，其項目主頁和論文已經上線，模型與數據集也將很快開源。

EnerVerse

EnerVerse的主要功能

未來空間生成：EnerVerse 使用自回歸擴散模型，能夠生成未來的具身空間，幫助機器人在任務指導和實時觀察的基礎上進行未來動作規劃。
高效動作規劃：在生成網絡的下游，EnerVerse 加入了由多層Transformer構成的Diffusion策略頭，能夠在逆擴散的第一步即輸出未來動作序列，確保動作預測的實時性。

EnerVerse的技術原理

自回歸擴散模型
- 逐塊生成：EnerVerse 采用逐塊生成的自回歸擴散模型，通過擴散模型為未來的具身空間建模。這種逐步生成每個時刻空間信息的方法使機器人在執行復雜任務時，能夠整合來自多個時刻的環境數據，而不僅僅依賴局部信息。
- 擴散模型架構：該模型基于結合時空注意力的UNet結構，每個空間塊內部通過卷積與雙向注意力建模，而塊與塊之間則通過單向因果邏輯保持時間一致性。
稀疏記憶機制
- 記憶管理：借鑒大語言模型的上下文記憶，EnerVerse 在訓練階段對歷史幀進行高比例隨機掩碼處理，并在推理階段以較大時間間隔更新記憶隊列。這種機制有效降低了計算開銷，同時顯著提升了長程任務的生成能力。
錨定視角
- 視角靈活性：FAV 使機器人能夠根據場景靈活調整視角，克服了固定多視角在狹窄或遮擋環境中的局限性。例如，在廚房等復雜場景中，FAV可以輕松應對動態遮擋。
- 空間一致性：EnerVerse 基于光線投射原理，使用視線方向圖作為視角控制條件，并將2D空間注意力擴展為跨視角的3D空間注意力，以確保生成視頻的幾何一致性。
Diffusion策略頭
- 高效動作預測：在生成網絡的下游，加入了由多層Transformer組成的Diffusion策略頭，能夠在逆擴散的第一步即輸出未來動作序列，確保動作預測的實時性。
- 稀疏記憶支持：在動作預測推理中，稀疏記憶隊列存儲真實或重建的FAV觀測結果，以提升模型對長程任務的規劃能力。

EnerVerse的項目地址

項目官網：https://sites.google.com/view/enerverse/home
arXiv技術論文：https://arxiv.org/pdf/2501.01895

EnerVerse的應用場景

環境感知與決策：在自動駕駛領域，EnerVerse 能通過生成未來空間輔助車輛實現環境感知與決策。
機器人操作與裝配：在工業生產線上，EnerVerse 能指導機器人完成復雜的裝配任務。通過未來空間的生成，機器人能夠更好地理解零件之間的空間關系和裝配順序，從而提升裝配效率和精度。
質量檢測與維護：EnerVerse 還可用于工業設備的質量檢測和維護。機器人利用生成的未來空間進行全面檢查，及時發現潛在故障及問題。
家庭服務：在家庭環境中，EnerVerse 幫助服務機器人更好地理解和規劃任務。例如，在整理房間、搬運物品等任務中，機器人能夠通過生成未來空間預測物品的擺放位置和移動路徑。
醫療輔助：在醫療領域，EnerVerse 可以輔助醫療機器人進行手術操作或康復訓練。通過生成未來空間，機器人能夠更準確地規劃手術步驟或康復動作。