機器人數據采集難題！上海AI Lab提出具身技能學習數據采集系統FastUMI | 講座預告

在機器人操作領域，如何讓機器人以更低成本、更高效率學習復雜的操作技能？高質量的數據是推動機器人學習進步的關鍵。傳統的遙操作成本高且勞動強度大，而動捕技術等基于視覺的數據收集方法，缺乏表示機器人手臂與其環境之間復雜交互的能力。斯坦福大學提出的通用操作接口（UMI），是一種數據收集和策略學習框架，允許將技能從人類演示直接轉移到可部署的機器人策略，解決了人類示范數據收集中的挑戰，并支持在各種場景中進行動作策略學習，但它仍然存在兩個局限性：1）與特定機器人硬件的強耦合性；2）系統中使用開源SLAM2帶來的復雜性。為此，上海人工智能實驗室聯合中國電信人工智能研究院、西交利物浦大學等，提出與硬件解耦、可擴展且用戶友好的具身技能學習數據采集系統Fast-UMI。其中，上海人工智能實驗室青年研究員丁琰為項目負責人。Fast-UMI是一種interface-mediated的操作系統，由兩個關鍵組件組成：一個由人類操作的手持設備，用于收集數據；一個可安裝在機器人上的機載設備，在策略推斷期間使用。Fast-UMI采用解耦設計，兼容多種夾具，同時保持一致的觀察視角，使得在手持設備上收集的數據訓練的模型可以直接應用于真實機器人。通過使用現有的商業硬件產品直接獲取末端執行器的位置，規避了復雜的SLAM部署和校準的需求，從而簡化了數據處理流程。Fast-UMI還提供了支持軟件工具，便于高效收集和轉換機器人學習數據，是一種快速采集、即插即用、用戶友好的工具。此外，丁琰博士等研究人員基于20種日常任務，收集了超過10，000條高質量演示數據，總結出一套高效采集方法，解決了實際應用中的常見問題，并深入分析了如何提升數據的適用性與可靠性。12月13日上午10點，智猩猩邀請到Fast-UMI的項目負責人、上海人工智能實驗室青年研究員丁琰參與「智猩猩具身智能前沿講座」第17講，以《FastUMI：與硬件解耦且用戶友好的具身技能學習數據采集系統》為主題帶來直播講解。講者丁琰上海人工智能實驗室青年研究員丁琰是上海人工智能實驗室的青年研究員，2024年獲得紐約州立大學賓漢姆頓分校計算機科學博士學位，擁有扎實的學術背景和豐富的真機操作經驗。他的研究聚焦于移動操作機器人的規劃與技能學習，致力于推動機器人高效改造現實世界。在機器人領域，丁博士已在ICRA、IROS、RAL、AURO等高水平會議和期刊發表多篇高水平論文，其中多篇一作作品引用量過百。此外，他主導開發了開源機器人項目BestMan和FastUMI，專注于推動機器人技術的實際落地與應用。個人主頁：https://yding25.com/第 17 講主 題《FastUMI：與硬件解耦且用戶友好的具身技能學習數據采集系統》提 綱1、現有的機器人數據采集系統介紹2、通用操作界面UMI優點和局限性3、利用Fast-UMI實現高效收集和轉換機器人學習數據4、基于20種日常任務的高質量數據采集經驗總結直 播 信 息直播時間：12月13日上午10點成果論文成果1標題：《Fast-UMI: A Scalable and Hardware-Independent U niversal Manipulation Interface (Short Version)》鏈接：https://arxiv.org/pdf/2409.19499項目地址：https://fastumi.com/論文成果2標題：《BestMan: A Modular Mobile Manipulator Platform for EmbodiedAI with Unified Simulation-Hardware APIs》鏈接：https://arxiv.org/abs/2410.13407項目地址：https://bestmanrobot.com/如何報名有講座直播觀看需求的朋友，可以添加小助手“莓莓”進行報名。已添加過“莓莓”的老朋友，可以給“莓莓”私信，發送“具身智能17”進行報名。對于通過報名的朋友，之后將邀請入群進行觀看和交流。點個“在看”和大家一起聊聊???