VLM集體「失明」？視力測試慘敗，GPT-4o、Claude 3.5全都不及格

AIGC動態(tài)歡迎閱讀

原標題：VLM集體「失明」？視力測試慘敗，GPT-4o、Claude 3.5全都不及格
關鍵字：模型,任務,視覺,正方形,字母
文章來源：新智元
內容字數：0字

內容摘要：

新智元報道編輯：編輯部
【新智元導讀】視覺大語言模型在最基礎的視覺任務上集體「翻車」，即便是簡單的圖形識別都能難倒一片，或許這些最先進的VLM還沒有發(fā)展出真正的視覺能力？最新一輪的語言模型，如GPT-4o和Gemini 1.5 Pro，在發(fā)布時都被定義為「原生多模態(tài)」，能夠理解圖像、音頻、文本等多種形式的輸入。
這些多模態(tài)LLM在相關的介紹、營銷，甚至是學術論文中，都使用了「視覺能力」（visual capability）、「視覺理解」（visual understanding）這樣的表述。
這似乎是想表達，模型在某種意義上是可以看見并理解事物的，而且這種能力已經能與人類相匹配。
那么我們開一個腦洞：如果對視覺語言模型進行視力測試，它們會是標準視力5.2或是大近視眼，還是壓根啥也看不見？
一項新研究表明，大語言模型實際上并沒有像期望的擁有類人的視覺能力。事實是，它們根本就是「盲人」。
奧本大學和阿爾伯塔大學的研究人員在一系列非常簡單的視覺任務上測試了4個當今最先進的多模態(tài)模型，發(fā)現結果并不如人意。
這些任務對人類來說極其簡單，比如兩個形狀是否重疊、圖片中有多少個五邊形，或者單詞中的哪

原文鏈接：VLM集體「失明」？視力測試慘敗，GPT-4o、Claude 3.5全都不及格

聯系作者

文章來源：新智元
作者微信：AI_era
作者簡介：智能+中國主平臺，致力于推動中國從互聯網+邁向智能+新紀元。重點關注人工智能、機器人等前沿領域發(fā)展，關注人機融合、人工智能和機器人對人類社會與文明進化的影響，領航中國新智能時代。