用GPT-4V和人類演示訓練機器人：眼睛學會了，手也能跟上

AIGC動態歡迎閱讀

原標題：用GPT-4V和人類演示訓練機器人：眼睛學會了，手也能跟上

關鍵字：任務,視頻,機器人,物體,分析器

文章來源：機器之心

內容字數：7831字

內容摘要：機器之心報道編輯：趙陽微軟提出使用人手視頻直接教機器人完成任務的新方法，這種方法使用 GPT-4V 分解視頻中的動作，結合大語言模型生成對應的行為表述并作為任務列表，訓練機器人只需要動動手就能完成。如何將語言 / 視覺輸入轉換為機器人動作？訓練自定義模型的方法已經過時，基于最近大語言模型（LLM）和視覺語言模型（VLM）的技術進展，通過 prompt 工程使用 ChatGPT 或 GPT-4 等通用模型才是時下熱門的方法。這種方法繞過了海量數據的收集和對模型的訓練過程，展示出了強大的靈活性，而且對不同機器人硬件更具適應性，并增強了系統對研究和工業應用的可重用性。特別是最近出現了通用視覺大模型（VLM），如 GPT-4V，將這些視覺系統集成到任務規劃中，為開發基于多模態人類指令的任務規劃器提供了可能性。在近期微軟的一篇論文中，研究者利用 GPT-4V 和 GPT-4（圖 1）分別作為最新…

原文鏈接：點此閱讀原文：用GPT-4V和人類演示訓練機器人：眼睛學會了，手也能跟上

聯系作者

文章來源：機器之心

作者微信：almosthuman2014

作者簡介：專業的人工智能媒體和產業服務平臺