AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：中科大等意外發(fā)現(xiàn)：大模型不看圖也能正確回答視覺問題！
關(guān)鍵字：模型,語言,樣本,問題,基準(zhǔn)
文章來源：量子位
內(nèi)容字?jǐn)?shù)：4717字

內(nèi)容摘要：

陳林 投稿 凹非寺量子位 | 公眾號(hào) QbitAI大模型不看圖，竟也能正確回答視覺問題？！
中科大、香港中文大學(xué)、上海AI Lab的研究團(tuán)隊(duì)團(tuán)隊(duì)意外發(fā)現(xiàn)了這一離奇現(xiàn)象。
他們首先看到像GPT-4V、GeminiPro、Qwen1.5-72B、Yi-VL-34B以及LLaVA-Next-34B等大模型，不管是閉源還是開源，語言模型還是多模態(tài)，竟然只根據(jù)在多模態(tài)基準(zhǔn)MMMU測(cè)試中的問題和選項(xiàng)文本，就能獲得不錯(cuò)的成績(jī)。
△藍(lán)色表示能看到圖的LVLMs，橘色和綠色分別表示只接收問題和選項(xiàng)文本的LLMs和LVLMs（LLM：大語言模型；LVLMs：多模態(tài)大模型）
不知道的還以為是大模型的隱藏技能被發(fā)現(xiàn)了。
有網(wǎng)友發(fā)出靈魂拷問：我們?cè)u(píng)估多模態(tài)模型的方確嗎？
這一結(jié)果也激起了研究者們的好奇，于是他們決定對(duì)此展開進(jìn)一步探究。
大模型隱藏技能被發(fā)現(xiàn)？針對(duì)現(xiàn)有的評(píng)估樣本和評(píng)估過程，研究人員認(rèn)為造成這種現(xiàn)象的兩個(gè)主要問題。
第一，一些多模態(tài)評(píng)估樣本缺少對(duì)視覺內(nèi)容的依賴性。
這種問題反映了現(xiàn)有的benchmark中的不合理之處。這個(gè)問題包含了兩種情況：
一種是有些評(píng)估樣本的答案可以被蘊(yùn)含在了題目和選項(xiàng)中從

原文鏈接：中科大等意外發(fā)現(xiàn)：大模型不看圖也能正確回答視覺問題！

聯(lián)系作者

文章來源：量子位
作者微信：QbitAI
作者簡(jiǎn)介：追蹤人工智能新趨勢(shì)，關(guān)注科技行業(yè)新突破