AIGC動態歡迎閱讀

原標題：更適合中文LMM體質的基準CMMMU來了：超過30個細分學科，12K專家級題目
關鍵字：錯誤,模型,題目,問題,能力
文章來源：機器之心
內容字數：6245字

內容摘要：

機器之心專欄
機器之心編輯部近期，隨著多模態大模型（LMM） 的能力不斷進步，評估 LMM 性能的需求也日益增長。與此同時，在中文環境下評估 LMM 的高級知識和推理能力的重要性更加突出。
在這一背景下，M-A-P 開源社區、港科大、滑鐵盧大學、零一萬物等聯合推出了面向中文大規模多學科多模態理解和推理基準 CMMMU（Chinese Massive Multi-discipline Multimodal Understanding and Reasoning），用于評估基本模型在中文各種任務中的專家級多模式理解能力。
CMMMU 涵蓋 6 個大類學科，包括藝術、商業、健康和醫學、科學、人文與社會科學、技術與工程，跨越 30 多個細分領域學科。下圖給出了每個細分領域學科的一個題目示例。CMMMU 是第一個在中文背景下的多模態基準，也是現有少數的考察 LMM 復雜理解和推理能力的多模態基準之一。數據集構建
數據采集
數據采集分為三個階段，第一階段由研究者們為每一個科目收集滿足版權許可要求的題目來源（網頁或者書籍），同時避免題源重復，然后第二階段，研究者們將題源轉發給眾包標注者以進行進一步的

原文鏈接：更適合中文LMM體質的基準CMMMU來了：超過30個細分學科，12K專家級題目

聯系作者

文章來源：機器之心
作者微信：almosthuman2014
作者簡介：專業的人工智能媒體和產業服務平臺