騰訊發(fā)布實(shí)體任務(wù)規(guī)劃基準(zhǔn)，GPT-4V也頻頻出錯(cuò)！邁向大模型與物理世界交互！

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：騰訊發(fā)布實(shí)體任務(wù)規(guī)劃基準(zhǔn)，GPT-4V也頻頻出錯(cuò)！邁向大模型與物理世界交互！
關(guān)鍵字：任務(wù),模型,目標(biāo),騰訊,視覺
文章來源：夕小瑤科技說
內(nèi)容字?jǐn)?shù)：8400字

內(nèi)容摘要：

夕小瑤科技說 原創(chuàng)作者 | 智商掉了一地、Python多模態(tài)大型語言模型（MLLM）目前主要通過數(shù)字化的方式與信息世界進(jìn)行交互，涉及自然語言處理、計(jì)算機(jī)視覺和多模態(tài)生成任務(wù)等領(lǐng)域。然而，將這些模型引入物理世界時(shí)，我們要求它們不僅能夠在虛擬環(huán)境中執(zhí)行任務(wù)，還要具備理解和參與現(xiàn)實(shí)生活場景的能力。從機(jī)器人執(zhí)行物理任務(wù)到語言模型在實(shí)際環(huán)境中規(guī)劃任務(wù)的能力，大型模型與物理世界的交互將為人工智能的發(fā)展開辟嶄新的篇章。
MLLM 能夠有效整合不同來源的信息，包括實(shí)時(shí)任務(wù)進(jìn)展、視覺觀察以及開放式語言指令等多樣化的上下文輸入。這種整合能力使模型能夠更全面地理解周圍環(huán)境，并且能夠根據(jù)任務(wù)目標(biāo)生成相應(yīng)路徑規(guī)劃。具體來說:
實(shí)時(shí)任務(wù)進(jìn)展：提供了關(guān)于任務(wù)當(dāng)前狀態(tài)的關(guān)鍵信息；
視覺觀察：使模型能夠感知環(huán)境中的物體、狀態(tài)變化和空間關(guān)系；
開放式語言指令：為模型提供了任務(wù)的高層描述和指導(dǎo)。
騰訊提出的 EgoPlan-Bench 通過考慮任務(wù)的高層目標(biāo)、當(dāng)前視覺觀察和語言指令，使模型能夠預(yù)測下一個(gè)可行的動(dòng)作。這種規(guī)劃能力讓模型仿佛具有自主思考和執(zhí)行任務(wù)的能力，能夠逐步執(zhí)行動(dòng)作。與傳統(tǒng)的自我中心視頻問答基準(zhǔn)不同，Ego

原文鏈接：騰訊發(fā)布實(shí)體任務(wù)規(guī)劃基準(zhǔn)，GPT-4V也頻頻出錯(cuò)！邁向大模型與物理世界交互！

聯(lián)系作者

文章來源：夕小瑤科技說
作者微信：xixiaoyaoQAQ
作者簡介：更快的AI前沿，更深的行業(yè)洞見。聚集25萬AI應(yīng)用開發(fā)者、算法工程師和研究人員。一線作者均來自清北、國外頂級AI實(shí)驗(yàn)室和互聯(lián)網(wǎng)大廠，兼?zhèn)涿襟wsense與技術(shù)深度。