更適合中文LMM體質(zhì)的基準CMMMU來了：超過30個細分學科，12K專家級題目

AIGC動態(tài)歡迎閱讀

原標題：更適合中文LMM體質(zhì)的基準CMMMU來了：超過30個細分學科，12K專家級題目
關(guān)鍵字：錯誤,模型,題目,問題,能力
文章來源：機器之心
內(nèi)容字數(shù)：6245字

內(nèi)容摘要：

機器之心專欄
機器之心編輯部近期，隨著多模態(tài)大模型（LMM） 的能力不斷進步，評估 LMM 性能的需求也日益增長。與此同時，在中文環(huán)境下評估 LMM 的高級知識和推理能力的重要性更加突出。
在這一背景下，M-A-P 開源社區(qū)、港科大、滑鐵盧大學、零一萬物等聯(lián)合推出了面向中文大規(guī)模多學科多模態(tài)理解和推理基準 CMMMU（Chinese Massive Multi-discipline Multimodal Understanding and Reasoning），用于評估基本模型在中文各種任務(wù)中的專家級多模式理解能力。
CMMMU 涵蓋 6 個大類學科，包括藝術(shù)、商業(yè)、健康和醫(yī)學、科學、人文與社會科學、技術(shù)與工程，跨越 30 多個細分領(lǐng)域?qū)W科。下圖給出了每個細分領(lǐng)域?qū)W科的一個題目示例。CMMMU 是第一個在中文背景下的多模態(tài)基準，也是現(xiàn)有少數(shù)的考察 LMM 復雜理解和推理能力的多模態(tài)基準之一。數(shù)據(jù)集構(gòu)建
數(shù)據(jù)采集
數(shù)據(jù)采集分為三個階段，第一階段由研究者們?yōu)槊恳粋€科目收集滿足版權(quán)許可要求的題目來源（網(wǎng)頁或者書籍），同時避免題源重復，然后第二階段，研究者們將題源轉(zhuǎn)發(fā)給眾包標注者以進行進一步的

原文鏈接：更適合中文LMM體質(zhì)的基準CMMMU來了：超過30個細分學科，12K專家級題目

聯(lián)系作者

文章來源：機器之心
作者微信：almosthuman2014
作者簡介：專業(yè)的人工智能媒體和產(chǎn)業(yè)服務(wù)平臺