AGI-Eval官網(wǎng)入口網(wǎng)址，AGI-Eval是上海交通大學(xué)、同濟(jì)大學(xué)、華東師范大學(xué)、DataWhale等高校和機(jī)構(gòu)合作發(fā)布的大模型評(píng)測(cè)社區(qū)，旨在打造公正、可信、科學(xué)、全面的評(píng)測(cè)生態(tài)，以“評(píng)測(cè)助力，讓AI成為人類(lèi)更好的伙伴”為使命。專(zhuān)門(mén)設(shè)計(jì)用于評(píng)估基礎(chǔ)模型在人類(lèi)認(rèn)知和問(wèn)題解決相關(guān)任務(wù)中的一般能力。

LLMEval3官網(wǎng)入口網(wǎng)址，LLMEval是由復(fù)旦大學(xué)NLP實(shí)驗(yàn)室推出的大模型評(píng)測(cè)基準(zhǔn)，最新的LLMEval-3聚焦于專(zhuān)業(yè)知識(shí)能力評(píng)測(cè)，涵蓋哲學(xué)、經(jīng)濟(jì)學(xué)、法學(xué)、教育學(xué)、文學(xué)、歷史學(xué)、理學(xué)、工學(xué)、農(nóng)學(xué)、醫(yī)學(xué)、軍事學(xué)、管理學(xué)、藝術(shù)學(xué)等教育部劃定的13個(gè)學(xué)科門(mén)類(lèi)、50余個(gè)二級(jí)學(xué)科，共計(jì)約20W道標(biāo)準(zhǔn)生成式問(wèn)答題目。

HELM官網(wǎng)入口網(wǎng)址，HELM是由斯坦福大學(xué)推出的大模型評(píng)測(cè)體系，該評(píng)測(cè)方法主要包括場(chǎng)景、適配、指標(biāo)三個(gè)模塊，每次評(píng)測(cè)的運(yùn)行都需要指定一個(gè)場(chǎng)景，一個(gè)適配模型的提示，以及一個(gè)或多個(gè)指標(biāo)。

FlagEval官網(wǎng)入口網(wǎng)址，F(xiàn)lagEval（天秤）由智源研究院將聯(lián)合多個(gè)高校團(tuán)隊(duì)打造，是一種采用“能力—任務(wù)—指標(biāo)”三維評(píng)測(cè)框架的大模型評(píng)測(cè)平臺(tái)，旨在提供全面、細(xì)致的評(píng)測(cè)結(jié)果。

PubMedQA官網(wǎng)入口網(wǎng)址，PubMedQA是一個(gè)生物醫(yī)學(xué)研究問(wèn)答數(shù)據(jù)集，包含了1K專(zhuān)家標(biāo)注，61.2K 個(gè)未標(biāo)注和 211.3K 個(gè)人工生成的QA實(shí)例，該排行榜目前已收錄18個(gè)模型的醫(yī)學(xué)測(cè)試得分。

MMBench官網(wǎng)入口網(wǎng)址，MMBench是一個(gè)多模態(tài)基準(zhǔn)測(cè)試，該體系開(kāi)發(fā)了一個(gè)綜合評(píng)估流程，從感知到認(rèn)知能力逐級(jí)細(xì)分評(píng)估，覆蓋20項(xiàng)細(xì)粒度能力，從互聯(lián)網(wǎng)與權(quán)威基準(zhǔn)數(shù)據(jù)集采集約3000道單項(xiàng)選擇題。打破常規(guī)一問(wèn)一答基于規(guī)則匹配提取選項(xiàng)進(jìn)行評(píng)測(cè)，循環(huán)打亂選項(xiàng)驗(yàn)證輸出結(jié)果的一致性，基于ChatGPT精準(zhǔn)匹配模型回復(fù)至選項(xiàng)。