GR00T-Teleop – 英偉達發布通過 Apple Vision Pro 捕捉人類動作的技術

GR00T-Teleop是什么

GR00T-Teleop是NVIDIA Isaac GR00T的一項創新技術，專注于捕獲遠程操作數據。它利用NVIDIA CloudXR技術與Apple Vision Pro頭顯連接，采用專門設計的人形遠程操作自定義CloudXR運行時，將手部跟蹤數據實時傳輸至模擬平臺，如Isaac Lab。同時，將機器人環境的沉浸式視圖反饋至設備。這種高效的設置使得操作者能夠直觀地與機器人進行交互，便于收集高質量的遠程操作數據，為后續的合成軌跡生成和機器人訓練奠定基礎。

GR00T-Teleop的主要功能

• 設備連接：運用NVIDIA CloudXR技術，實現與如Apple Vision Pro等高保真頭顯設備的實時連接，確保與模擬環境的順暢交互。
• 數據流傳輸：將設備捕獲的手部跟蹤數據實時傳輸至模擬平臺（如Isaac Lab），并將機器人環境的沉浸式視圖反饋至設備，使操作者能夠即時看到機器人視角下的場景。
• 遠程操作控制：基于操作者的手部動作，實現對機器人的自然、互動式控制，讓操作者能夠遠程操控機器人執行多種任務。
• 數據收集：在遙控過程中，記錄和收集高質量的遙操作數據，包括手部動作和機器人軌跡，為后續的合成軌跡生成和機器人學習提供重要的數據支持。

GR00T-Teleop的技術原理

• NVIDIA CloudXR技術：借助CloudXR實現設備與模擬平臺之間的低延遲、高帶寬數據傳輸，將計算任務卸載至云端或邊緣服務器，使設備能夠處理更復雜的場景與數據流，同時確保流暢的用戶體驗。
• 手部跟蹤技術：通過頭顯設備內置的手部跟蹤傳感器（如光學和紅外傳感器），實時捕捉操作者的手部動作和姿態，精確識別手部的三維位置、旋轉角度和手指的彎曲程度，將手部動作映射至機器人模型。
• 模擬平臺集成：與Isaac Lab等模擬平臺密切集成，將手部跟蹤數據實時輸入模擬環境，驅動機器人模型的。模擬平臺使用物理引擎和學算法，計算機器人各關節的軌跡和姿態變化，生成與操作者手部動作相對應的機器人，并渲染出環境視圖。

GR00T-Teleop的項目地址

• 項目官網：https://developer.nvidia.com/blog/

GR00T-Teleop的應用場景

• 機器人訓練：收集人類操作數據，幫助機器人學習模仿人類動作，從而提升其自主性和適應能力。
• 復雜任務執行：協助機器人完成需要精細操作的任務，如醫療手術支持和精密制造等。
• 危險環境操作：在核輻射、深海或太空等危險環境中，遠程操控機器人執行特定任務。
• 遠程協作與教學：實現專家與操作者的實時互動，用于遠程設備維護指導或機器人教學演示。
• 仿真訓練：結合虛擬現實技術，在模擬環境中訓練操作者操作機器人，例如軍事訓練中的虛擬戰場任務。

常見問題

• GR00T-Teleop適合哪些行業使用？：GR00T-Teleop適用于醫療、制造、科研、軍事等多個行業，特別是在需要遠程操控和高精度操作的場景中表現優越。
• 如何獲取GR00T-Teleop的技術支持？：用戶可以通過訪問項目官網獲取相關文檔、教程和技術支持。
• GR00T-Teleop的系統要求是什么？：使用GR00T-Teleop的設備需滿足特定的硬件和軟件要求，具體信息可在官網查閱。