AIGC動態歡迎閱讀
原標題:大模型版“5年高考3年模擬”來了!6141道數學題,還是多模態的那種|微軟&UCLA&UW聯合出品
文章來源:量子位
內容字數:11565字
內容摘要:Pan Lu投稿量子位 | 公眾號 QbitAI大模型的“5年高考3年模擬”數學題來了,還是加強強強版!微軟、加州大學洛杉磯分校(UCLA)、華盛頓大學(UW)聯合打造全新多模態數學推理基準數據集。名為“MathVista”。涵蓋各種題型共6141個問題,來源于28個現有的多模態數據集和3個新標注的數據集。這下想要知道一個大模型數學水平怎么樣,直接讓它來做這份試卷。12個最新的大模型已經搶先體驗了一把試題難度。一份112頁的詳細評測報告連同數據集一起發布。報告顯示,面對MathVista中豐富的任務類型、推理方式和圖像類型,即使是當前最先進的GPT-4V做起來都有“挫敗感”,準確率為49.9%,和人類還有10.4%的差距。Bard排名第二,準確率為34.8%,差距再次拉大。此外,報告中還深入分析了GPT-4V在自我驗證、自洽性和多輪對話能力的研究潛力等。詳細內容我們接著往下看。MathVi…
原文鏈接:點此閱讀原文:大模型版“5年高考3年模擬”來了!6141道數學題,還是多模態的那種|微軟&UCLA&UW聯合出品
聯系作者
文章來源:量子位
作者微信:QbitAI
作者簡介:追蹤人工智能新趨勢,關注科技行業新突破
? 版權聲明
文章版權歸作者所有,未經允許請勿轉載。
相關文章
暫無評論...