具身智能再創新高：李飛飛團隊ReKep榮獲CoRL-LEAP最佳論文獎！

原標題：李飛飛團隊ReKep榮獲CoRL-LEAP研討會最佳論文獎，具身智能又下一城！
文章來源：新智元
內容字數：10260字

1. 引言

李飛飛團隊在CoRL-LEAP研討會上獲得最佳論文獎的研究「關系關鍵點約束ReKep」，為機器人協調行動能力的提升提供了新思路。該研究旨在解決機器人在復雜環境中與物體交互時的操控挑戰。

2. ReKep的核心理念

ReKep通過將操作行為轉化為一系列對語義關鍵點的約束函數，利用分層優化程序實時解決機器人感知與動作循環的問題。研究表明，利用預訓練的大型視覺模型（LVM）和視覺語言模型（VLM）可以自動生成ReKep，顯著降低了手動指定的需求。

3. 系統實現與應用

團隊在輪式單臂平臺和固定雙臂平臺上進行實驗，展示了ReKep在打包鞋子、折疊衣物、放置書籍和倒茶等任務中的應用。這些任務展示了機器人的復雜操控能力，無需特定的任務數據或環境模型。

4. 關鍵點約束的定義

關鍵點約束是指在特定任務中定義的3D點，通過Python函數映射到數值，表示關鍵點之間的空間關系。研究團隊將操作任務分解為多個階段，并為每個階段指定子目標約束和路徑約束，以實現復雜的操控行為。

5. 優化過程與實時解決方案

研究者將控制問題公式化為離散時間軌跡優化，為每個階段尋找滿足子目標的末端執行器姿態，實時求解優化問題。通過使用SciPy和局部優化器，系統能夠在大約10Hz的頻率下進行實時決策。

6. 自動生成ReKep的流程

團隊設計了一個流水線，通過RGB圖像和語言指令自動生成關鍵點和ReKep。采用DINOv2進行特征提取，并結合VLM生成任務相關的約束，從而實現開放環境中的任務執行。

7. 實驗結果與評估

實驗評估了七項不同任務的成功率，結果表明ReKep的表現優于基線模型VoxPoser。通過對不同任務的外部干擾測試，ReKep展示了良好的適應性和魯棒性。

8. 結論與未來展望

ReKep為機器人操控提供了一種結構化、靈活的任務表示方法，展現出實時性能和廣泛適用性。盡管存在依賴剛性假設和點跟蹤的挑戰，研究團隊依然對未來的優化與自動化充滿信心。

聯系作者

文章來源：新智元
作者微信：
作者簡介：智能+中國主平臺，致力于推動中國從互聯網+邁向智能+新紀元。重點關注人工智能、機器人等前沿領域發展，關注人機融合、人工智能和機器人對人類社會與文明進化的影響，領航中國新智能時代。