CMMLU

LLMEval3官網(wǎng)入口網(wǎng)址，LLMEval是由復(fù)旦大學(xué)NLP實驗室推出的大模型評測基準(zhǔn)，最新的LLMEval-3聚焦于專業(yè)知識能力評測，涵蓋哲學(xué)、經(jīng)濟(jì)學(xué)、法學(xué)、教育學(xué)、文學(xué)、歷史學(xué)、理學(xué)、工學(xué)、農(nóng)學(xué)、醫(yī)學(xué)、軍事學(xué)、管理學(xué)、藝術(shù)學(xué)等教育部劃定的13個學(xué)科門類、50余個二級學(xué)科，共計約20W道標(biāo)準(zhǔn)生成式問答題目。

H2O EvalGPT官網(wǎng)入口網(wǎng)址，H2O EvalGPT 是 H2O.ai 用于評估和比較 LLM 大模型的開放工具，它提供了一個平臺來了解模型在大量任務(wù)和基準(zhǔn)測試中的性能。無論你是想使用大模型自動化工作流程或任務(wù)，H2O EvalGPT 都可以提供流行、開源、高性能大模型的詳細(xì)排行榜，幫助你為項目選擇最有效的模型完成具體任務(wù)。

Open LLM Leaderboard官網(wǎng)入口網(wǎng)址，Open LLM Leaderboard 是最大的大模型和數(shù)據(jù)集社區(qū) HuggingFace 推出的開源大模型排行榜單，基于 Eleuther AI Language Model Evaluation Harness（Eleuther AI語言模型評估框架）封裝。

SuperCLUE官網(wǎng)入口網(wǎng)址，SuperCLUE 是一個中文通用大模型綜合性評測基準(zhǔn)，從三個不同的維度評價模型的能力：基礎(chǔ)能力、專業(yè)能力和中文特性能力。

MMBench官網(wǎng)入口網(wǎng)址，MMBench是一個多模態(tài)基準(zhǔn)測試，該體系開發(fā)了一個綜合評估流程，從感知到認(rèn)知能力逐級細(xì)分評估，覆蓋20項細(xì)粒度能力，從互聯(lián)網(wǎng)與權(quán)威基準(zhǔn)數(shù)據(jù)集采集約3000道單項選擇題。打破常規(guī)一問一答基于規(guī)則匹配提取選項進(jìn)行評測，循環(huán)打亂選項驗證輸出結(jié)果的一致性，基于ChatGPT精準(zhǔn)匹配模型回復(fù)至選項。

OpenCompass官網(wǎng)入口網(wǎng)址，OpenCompass是由上海人工智能實驗室（上海AI實驗室）于2023年8月正式推出的大模型開放評測體系，通過完整開源可復(fù)現(xiàn)的評測框架，支持大語言模型、多模態(tài)模型各類模型的一站式評測，并定期公布評測結(jié)果榜單。