具身智能體三維感知新鏈條，TeleAI &上海AI Lab提出多視角融合具身模型「SAM-E」

AIGC動態1年前 (2024)發布機器之心

AIGC動態歡迎閱讀

原標題：具身智能體三維感知新鏈條，TeleAI &上海AI Lab提出多視角融合具身模型「SAM-E」
關鍵字：動作,任務,視角,模型,操作
文章來源：機器之心
內容字數：7401字

內容摘要：

AIxiv專欄是機器之心發布學術、技術內容的欄目。過去數年，機器之心AIxiv專欄接收報道了2000多篇內容，覆蓋全球各大高校與企業的頂級實驗室，有效促進了學術交流與傳播。如果您有優秀的工作想要分享，歡迎投稿或者聯系報道。投稿郵箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com當我們拿起一個機械手表時，從正面會看到表盤和指針，從側面會看到表冠和表鏈，打開手表背面會看到復雜的齒輪和機芯。每個視角都提供了不同的信息，將這些信息綜合起來才能理解操作對象的整體三維。
想讓機器人在現實生活中學會執行復雜任務，首先需要使機器人理解操作對象和作對象的屬性，以及相應的三維操作空間，包括物置、形狀、物體之間的遮擋關系，以及對象與環境的關系等。
其次，機器人需要理解自然語言指令，對未來動作進行長期規劃和高效執行。使機器人具備從環境感知到動作預測的能力是具有挑戰性的。
近期，中國電信人工智能研究院（TeleAI）李學龍教授團隊聯合上海人工智能實驗室、清華大學等單位，模擬人「感知—記憶—思維—想象」的認知過程，提出了多視角融合驅動的通用具身操作算法

原文鏈接：具身智能體三維感知新鏈條，TeleAI &上海AI Lab提出多視角融合具身模型「SAM-E」