從人類示范到機器人智慧：揭開高效模仿學習的神秘面紗

詳解穹徹智能IROS 2024的最新成果RISE~

原標題：上交大盧策吾教授團隊博士生方泓杰：基于人類示范數據的高效機器人模仿學習 | 具身智能前沿講座預告
文章來源：智猩猩GenAI
內容字數：3806字

基于人類示范數據的高效機器人模仿學習

近年來，機器人模仿學習技術在基于人類示范數據的領域取得了顯著進展。這一進展為機器人的操控策略提供了新的可能性，但仍面臨諸多挑戰，特別是在如何提高示范數據收集效率和實現通用操控策略方面。

1. 人類示范數據的挑戰

盡管模仿學習技術展現出巨大潛力，但在真實世界中收集有效的人類示范數據仍然是一個耗時且昂貴的過程。如何提高數據收集的效率，對發展高效的模仿學習算法至關重要。

2. RH20T數據集的發布

為此，上海交通大學盧策吾教授團隊推出了RH20T數據集，包含超過11萬個豐富的機器人操控軌跡。這些軌跡通過人類遙操作收集，涵蓋多種技能和場景，為模仿學習提供了豐富的資源。與RH20T相關的研究成果已被收錄于RSS 2023和ICRA 2024。

3. 引入低成本外骨骼系統

為了降低雙臂數據采集的成本，盧策吾教授團隊與上海AI Lab聯合引入了AirExo外骨骼系統。該系統能在野外環境中高效采集雙臂操作數據，使得機器人在僅需3分鐘的遙控演示和采集的野外數據下，學習效果超越20分鐘的遙控演示。這一成果已在ICRA 2024上發表。

4. 基于3D感知的模仿學習策略RISE

穹徹智能與盧策吾教授團隊共同提出了基于3D感知的真實世界機器人操控策略RISE。RISE通過有效提取空間信息，顯著提升了機器人在不同物置和相機視角下的泛化能力。這一策略在多個機器人操作任務中表現優于傳統的2D和3D方法，增強了其在真實環境中的魯棒性，相關論文在IROS 2024上發布。

5. 高效且通用的操控策略CAGE

為進一步提高數據利用效率，團隊還提出了CAGE策略。該策略能夠利用僅50條單平臺單相機視角采集的數據，無需預訓練，便可實現技能的遷移。這一成果為復雜環境中的機器人操控策略提供了強有力的支持。

總結

通過大規模數據集的發布、低成本的外骨骼系統以及先進的感知技術，上海交通大學及其合作團隊在機器人模仿學習領域取得了重要進展。這些研究不僅提升了人類示范數據的利用效率，也為機器人在復雜環境中的應用奠定了基礎。未來的研究將繼續致力于實現更加高效和通用的機器人操控策略。

聯系作者

文章來源：智猩猩GenAI
作者微信：
作者簡介：智猩猩旗下矩陣賬號之一，聚焦大模型開啟的通用人工智能浪潮。