李飛飛團隊提出ReKep，讓機器人具備空間智能，還能整合GPT-4o

AIGC動態歡迎閱讀

原標題：李飛飛團隊提出ReKep，讓機器人具備空間智能，還能整合GPT-4o
關鍵字：報告,關鍵,階段,任務,目標
文章來源：機器之心
內容字數：0字

內容摘要：

機器之心報道
編輯：Panda視覺與機器人學習的深度融合。當兩只機器手絲滑地互相合作疊衣服、倒茶、將鞋子打包時，加上最近老上頭條的 1X 人形機器人 NEO，你可能會產生一種感覺：我們似乎開始進入機器人時代了。事實上，這些絲滑動作正是先進機器人技術 + 精妙框架設計 + 多模態大模型的產物。
我們知道，有用的機器人往往需要與環境進行復雜精妙的交互，而環境則可被表示成空間域和時間域上的約束。
舉個例子，如果要讓機器人倒茶，那么機器人首先需要抓住茶壺手柄并使之保持直立，不潑灑出茶水，然后平穩移動，一直到讓壺口與杯口對齊，之后以一定角度傾斜茶壺。這里，約束條件不僅包含中間目標（如對齊壺口與杯口），還包括過渡狀態（如保持茶壺直立）；它們共同決定了機器人相對于環境的動作的空間、時間和其它組合要求。
然而，現實世界紛繁復雜，如何構建這些約束是一個極具挑戰性的問題。
近日，李飛飛團隊在這一研究方向取得了一個突破，提出了關系關鍵點約束（ReKep/Relational Keypoint Constraints）。簡單來說，該方法就是將任務表示成一個關系關鍵點序列。并且，這套框架還能很好地與 GPT-4

原文鏈接：李飛飛團隊提出ReKep，讓機器人具備空間智能，還能整合GPT-4o