14 項任務測下來，GPT4V、Gemini等多模態大模型竟都沒什么視覺感知能力？

AIGC動態1年前 (2024)發布機器之心

AIGC動態歡迎閱讀

原標題：14 項任務測下來，GPT4V、Gemini等多模態大模型竟都沒什么視覺感知能力？
關鍵字：騰訊,解讀,視覺,模型,任務
文章來源：機器之心
內容字數：5437字

內容摘要：

AIxiv專欄是機器之心發布學術、技術內容的欄目。過去數年，機器之心AIxiv專欄接收報道了2000多篇內容，覆蓋全球各大高校與企業的頂級實驗室，有效促進了學術交流與傳播。如果您有優秀的工作想要分享，歡迎投稿或者聯系報道。投稿郵箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com2023-2024年，以 GPT-4V、Gemini、Claude、LLaVA 為代表的多模態大模型（Multimodal LLMs）已經在文本和圖像等多模態內容處理方面表現出了空前的能力，成為技術新浪潮。
然而，對于這些模型的評測多集中于語言上的任務，對于視覺的要求多為簡單的物體識別。相對的，計算機視覺最初試圖解讀圖像作為3D場景的投影，而不僅僅處理2D平面“模式”的數組。
為響應這一情況，本文提出了BLINK，這是一個新的測試集，包含了重新構想的傳統計算機視覺問題，使我們能夠更全面評估多模態大模型的視覺感知能力，帶你揭開GPT4V、Gemini等大模型的視覺界限秘密。
作者相信BLINK將激勵社區幫助多模態LLMs達到與人類同等級別的視覺感知能力。論文鏈接

原文鏈接：14 項任務測下來，GPT4V、Gemini等多模態大模型竟都沒什么視覺感知能力？