HOVER

HOVER是英偉達推出的一款1.5M小型模型，代表了“Humanoid Versatile Controller”（人形機器人多功能控制器）。該模型利用150萬參數(shù)實現(xiàn)對復(fù)雜機器人動作的控制，能夠靈活適應(yīng)多種任務(wù)，例如導(dǎo)航、桌面操作及移動操作等。HOVER的獨特之處在于其通過全身模仿構(gòu)建通用抽象，為多種任務(wù)提供了通用的技能，并在多模式策略蒸餾框架的幫助下，將不同的控制模式整合，實現(xiàn)模式間的無縫切換，提升了人形機器人在未來應(yīng)用中的效率與靈活性。

HOVER是什么

HOVER是英偉達開發(fā)的1.5M小型模型，全名為“Humanoid Versatile Controller”，即人形機器人的多功能全身神經(jīng)控制器。該模型利用150萬個參數(shù)對機器人進行復(fù)雜動作的控制，能夠適應(yīng)導(dǎo)航、桌面操作和移動等多種任務(wù)，且每種任務(wù)都有其特定的控制需求。HOVER的核心創(chuàng)新在于利用全身模仿來實現(xiàn)各種任務(wù)的通用抽象，提供了通用的技能，便于學(xué)習(xí)多種全身控制模式。通過多模式策略蒸餾框架，HOVER將不同的控制模式整合到一個統(tǒng)一的策略中，從而實現(xiàn)模式之間的無縫切換，并保留每種模式的優(yōu)勢，提升了人形機器人未來應(yīng)用的效率和靈活性。

HOVER的主要功能

• 多模式控制：HOVER能夠在不同的控制模式之間進行無縫切換，如導(dǎo)航、桌面操作、移動操作等，每種模式有其特定的控制需求。
• 學(xué)位置跟蹤：支持對機器人關(guān)鍵部位3D位置的精確跟蹤，實現(xiàn)的精確復(fù)制。
• 關(guān)節(jié)角度跟蹤：能夠跟蹤每個電機的目標(biāo)關(guān)節(jié)角度，從而實現(xiàn)復(fù)雜的肢體動作。
• 根跟蹤：跟蹤機器人的根速度、高度和方向，確保動態(tài)動作的平衡和穩(wěn)定。
• 統(tǒng)一命令空間：設(shè)計了一個統(tǒng)一的命令空間，適用于各種控制設(shè)備，包括操縱桿、動作捕捉系統(tǒng)、外骨骼和虛擬現(xiàn)實頭顯。
• 策略蒸餾：從Oracle策略中提取和蒸餾多種控制技能，整合為單一的“通用策略”，提升控制效率和靈活性。

HOVER的技術(shù)原理

• 本體感覺與命令屏蔽：基于本體感覺（機器人自身狀態(tài)感知）與命令屏蔽（選擇性激活不同命令空間）來確定任務(wù)命令，支持控制機器人的上半身與下半身。
• 多模式策略蒸餾框架：利用策略蒸餾技術(shù)，將大規(guī)模人類數(shù)據(jù)中學(xué)習(xí)的Oracle策略轉(zhuǎn)化為適應(yīng)多種控制模式的單一策略。
• DAgger框架：通過DAgger（數(shù)據(jù)集聚合）框架對齊學(xué)生策略與Oracle策略的動作，基于監(jiān)督學(xué)習(xí)優(yōu)化學(xué)生策略。
• 模擬訓(xùn)練：HOVER的訓(xùn)練過程在NVIDIA Isaac模擬套件中進行，該套件基于GPU加速，可快速模擬長時間訓(xùn)練，并將模型遷移至現(xiàn)實世界，無需額外微調(diào)。
• 統(tǒng)一命令空間設(shè)計：命令空間設(shè)計兼具通用性和原子性，覆蓋大多數(shù)現(xiàn)有控制配置，并支持各種模式的任意組合。
• 重定向：將人類動作數(shù)據(jù)集重定向為機器人動作數(shù)據(jù)集，通過關(guān)鍵點匹配與參數(shù)優(yōu)化實現(xiàn)。

HOVER的項目地址

• 項目官網(wǎng)：hover-versatile-humanoid.github.io
• arXiv技術(shù)論文：https://arxiv.org/pdf/2410.21229

HOVER的應(yīng)用場景

• 導(dǎo)航與移動：HOVER能夠控制人形機器人在復(fù)雜環(huán)境中進行導(dǎo)航和移動，例如在不平坦地面上行走或在狹窄空間中穿行，適用于搜索救援、導(dǎo)覽服務(wù)等場景。
• 桌面操作：在需要精細(xì)操作的桌面任務(wù)中，如電子元件組裝或?qū)嶒炇夜ぷ鳎琀OVER能夠精確控制機器人的上肢和手部關(guān)節(jié)，實現(xiàn)復(fù)雜的手眼協(xié)調(diào)操作。
• 移動操作（Loco-manipulation）：在移動過程中抓取和搬運物體，HOVER能夠協(xié)調(diào)機器人全身動作，實現(xiàn)流暢的搬運和操作。
• 人機交互：支持多種輸入設(shè)備（如VR頭顯、動作捕捉系統(tǒng)和外骨骼），使機器人能夠模仿人類動作與行為，適合娛樂、教育和培訓(xùn)等領(lǐng)域。
• 遠(yuǎn)程操作與仿真：在遠(yuǎn)程操作場景中，HOVER能夠?qū)崟r響應(yīng)操作者的指令，執(zhí)行精確的遠(yuǎn)程任務(wù)，如遠(yuǎn)程手術(shù)輔助或危險環(huán)境作業(yè)。