AIGC動態(tài)歡迎閱讀

原標題：陳丹琦團隊圖表解讀新基準：新王Claude3.5剛及格，但已是模型最強推理表現(xiàn)
關(guān)鍵字：模型,圖表,問題,任務(wù),能力
文章來源：量子位
內(nèi)容字數(shù)：0字

內(nèi)容摘要：

克雷西 發(fā)自 凹非寺量子位 | 公眾號 QbitAIClaude 3.5 Sonnet的圖表推理能力，比GPT-4o高出了27.8%。
針對多模態(tài)大模型在圖表任務(wù)上的表現(xiàn)，陳丹琦團隊提出了新的測試基準。
新Benchmark比以往更有區(qū)分度，也讓一眾傳統(tǒng)測試中的高分模型暴露出了真實能力。
該數(shù)據(jù)集名為CharXiv，內(nèi)容全部選自arXiv論文中的真實圖表，共計2323張。
相比此前的FigureQA等測試基準，CharXiv涵蓋的任務(wù)類型更加廣泛，而且不按套路出牌，難度大幅增加。
為了宣傳這套新Benchmark，研究團隊還寫出了一首神曲，并制作了視頻宣傳片。
這段魔性的宣傳片，讓有些網(wǎng)友表示已經(jīng)被成功“”，腦海中充滿了（歌詞中的）“2323張圖表”。
導(dǎo)師陳丹琦也感到印象十分深刻，直言這是自己見過最fancy的視頻。
那么，CharXiv究竟新在哪，又難在哪呢？
來自學術(shù)論文的圖表測試集團隊指出，過去的表格測試標準太過簡單，而且不能反映模型的真實水平。
比如FigureQA、DVQA 和ChartQA的子集，只要稍作簡單修改，模型的成績就能下降超過1/3。
究其原因，作者認為

原文鏈接：陳丹琦團隊圖表解讀新基準：新王Claude3.5剛及格，但已是模型最強推理表現(xiàn)

聯(lián)系作者

文章來源：量子位
作者微信：QbitAI
作者簡介：追蹤人工智能新趨勢，關(guān)注科技行業(yè)新突破