多模態(tài)模型評(píng)測(cè)框架lmms-eval發(fā)布！全面覆蓋，低成本，零污染

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：多模態(tài)模型評(píng)測(cè)框架lmms-eval發(fā)布！全面覆蓋，低成本，零污染
關(guān)鍵字：模型,數(shù)據(jù),報(bào)告,測(cè)試,問題
文章來源：機(jī)器之心
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

AIxiv專欄是機(jī)器之心發(fā)布學(xué)術(shù)、技術(shù)內(nèi)容的欄目。過去數(shù)年，機(jī)器之心AIxiv專欄接收?qǐng)?bào)道了2000多篇內(nèi)容，覆蓋全球各大高校與企業(yè)的頂級(jí)實(shí)驗(yàn)室，有效促進(jìn)了學(xué)術(shù)交流與傳播。如果您有優(yōu)秀的工作想要分享，歡迎投稿或者聯(lián)系報(bào)道。投稿郵箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com隨著大模型研究的深入，如何將其推廣到更多的模態(tài)上已經(jīng)成為了學(xué)術(shù)界和產(chǎn)業(yè)界的熱點(diǎn)。最近發(fā)布的閉源大模型如 GPT-4o、Claude 3.5 等都已經(jīng)具備了超強(qiáng)的圖像理解能力，LLaVA-NeXT、MiniCPM、InternVL 等開源領(lǐng)域模型也展現(xiàn)出了越來越接近閉源的性能。
在這個(gè)「畝產(chǎn)八萬斤」，「10 天一個(gè) SoTA」的時(shí)代，簡(jiǎn)單易用、標(biāo)準(zhǔn)透明、可復(fù)現(xiàn)的多模態(tài)評(píng)估框架變得越來越重要，而這并非易事。
為解決以上問題，來自南洋理工大學(xué) LMMs-Lab 的研究人員聯(lián)合開源了 LMMs-Eval，這是一個(gè)專為多模態(tài)大型模型設(shè)計(jì)的評(píng)估框架，為多模態(tài)模型（LMMs）的評(píng)測(cè)提供了一站式、高效的解決方案。代碼倉庫: https://github.com/Evolvin

原文鏈接：多模態(tài)模型評(píng)測(cè)框架lmms-eval發(fā)布！全面覆蓋，低成本，零污染