HOVER是英偉達推出的一款1.5M小型模型，代表了“Humanoid Versatile Controller”（人形機器人多功能控制器）。該模型利用150萬參數實現對復雜機器人動作的控制，能夠靈活適應多種任務，例如導航、桌面操作及移動操作等。HOVER的獨特之處在于其通過全身模仿構建通用抽象，為多種任務提供了通用的技能，并在多模式策略蒸餾框架的幫助下，將不同的控制模式整合，實現模式間的無縫切換，提升了人形機器人在未來應用中的效率與靈活性。

HOVER是什么

HOVER是英偉達開發的1.5M小型模型，全名為“Humanoid Versatile Controller”，即人形機器人的多功能全身神經控制器。該模型利用150萬個參數對機器人進行復雜動作的控制，能夠適應導航、桌面操作和移動等多種任務，且每種任務都有其特定的控制需求。HOVER的核心創新在于利用全身模仿來實現各種任務的通用抽象，提供了通用的技能，便于學習多種全身控制模式。通過多模式策略蒸餾框架，HOVER將不同的控制模式整合到一個統一的策略中，從而實現模式之間的無縫切換，并保留每種模式的優勢，提升了人形機器人未來應用的效率和靈活性。

HOVER的主要功能

• 多模式控制：HOVER能夠在不同的控制模式之間進行無縫切換，如導航、桌面操作、移動操作等，每種模式有其特定的控制需求。
• 學位置跟蹤：支持對機器人關鍵部位3D位置的精確跟蹤，實現的精確復制。
• 關節角度跟蹤：能夠跟蹤每個電機的目標關節角度，從而實現復雜的肢體動作。
• 根跟蹤：跟蹤機器人的根速度、高度和方向，確保動態動作的平衡和穩定。
• 統一命令空間：設計了一個統一的命令空間，適用于各種控制設備，包括操縱桿、動作捕捉系統、外骨骼和虛擬現實頭顯。
• 策略蒸餾：從Oracle策略中提取和蒸餾多種控制技能，整合為單一的“通用策略”，提升控制效率和靈活性。

HOVER的技術原理

• 本體感覺與命令屏蔽：基于本體感覺（機器人自身狀態感知）與命令屏蔽（選擇性激活不同命令空間）來確定任務命令，支持控制機器人的上半身與下半身。
• 多模式策略蒸餾框架：利用策略蒸餾技術，將大規模人類數據中學習的Oracle策略轉化為適應多種控制模式的單一策略。
• DAgger框架：通過DAgger（數據集聚合）框架對齊學生策略與Oracle策略的動作，基于監督學習優化學生策略。
• 模擬訓練：HOVER的訓練過程在NVIDIA Isaac模擬套件中進行，該套件基于GPU加速，可快速模擬長時間訓練，并將模型遷移至現實世界，無需額外微調。
• 統一命令空間設計：命令空間設計兼具通用性和原子性，覆蓋大多數現有控制配置，并支持各種模式的任意組合。
• 重定向：將人類動作數據集重定向為機器人動作數據集，通過關鍵點匹配與參數優化實現。

HOVER的項目地址

• 項目官網：hover-versatile-humanoid.github.io
• arXiv技術論文：https://arxiv.org/pdf/2410.21229

HOVER的應用場景

• 導航與移動：HOVER能夠控制人形機器人在復雜環境中進行導航和移動，例如在不平坦地面上行走或在狹窄空間中穿行，適用于搜索救援、導覽服務等場景。
• 桌面操作：在需要精細操作的桌面任務中，如電子元件組裝或實驗室工作，HOVER能夠精確控制機器人的上肢和手部關節，實現復雜的手眼協調操作。
• 移動操作（Loco-manipulation）：在移動過程中抓取和搬運物體，HOVER能夠協調機器人全身動作，實現流暢的搬運和操作。
• 人機交互：支持多種輸入設備（如VR頭顯、動作捕捉系統和外骨骼），使機器人能夠模仿人類動作與行為，適合娛樂、教育和培訓等領域。
• 遠程操作與仿真：在遠程操作場景中，HOVER能夠實時響應操作者的指令，執行精確的遠程任務，如遠程手術輔助或危險環境作業。