最強的GPT-4V都考不過？基于大學考試的測試基準MMMU誕生了

AIGC動態歡迎閱讀

原標題：最強的GPT-4V都考不過？基于大學考試的測試基準MMMU誕生了

關鍵字：解讀,模型,基準,錯誤,問題

文章來源：機器之心

內容字數：8986字

內容摘要：機器之心報道編輯：Panda目前最好的大型多模態模型 GPT-4V 與大學生誰更強？我們還不知道，但近日一個新的基準數據集 MMMU 以及基于其的基準測試或許能給我們提供一點線索，如下排行榜所示。看起來，GPT-4V 在一些科目上已經強過掛科的大學生了。當然這個數據集的創造目的并不為了擊敗大學生，而是為了提供一個兼具深度與廣度的多模態 AI 測試基準，助力人工智能系統的開發，尤其是通用人工智能（Artificial General Intelligence，AGI）。隨著大型語言模型（LLM）快速發展，人們對 AGI 這一頗具爭議的概念進行了廣泛討論。簡單來說，AGI 是指在大多數任務上都與人類相當或超越人類的人工智能系統。由于缺乏公認的可操作定義，人們一直都很難就 AGI 開展更加坦誠和建設性的討論。為了解決這個問題，Morris 等人的論文《Levels of AGI: Operati…

原文鏈接：點此閱讀原文：最強的GPT-4V都考不過？基于大學考試的測試基準MMMU誕生了

聯系作者

文章來源：機器之心

作者微信：almosthuman2014

作者簡介：專業的人工智能媒體和產業服務平臺