H2O EvalGPT官網(wǎng)入口網(wǎng)址，H2O EvalGPT 是 H2O.ai 用于評(píng)估和比較 LLM 大模型的開(kāi)放工具，它提供了一個(gè)平臺(tái)來(lái)了解模型在大量任務(wù)和基準(zhǔn)測(cè)試中的性能。無(wú)論你是想使用大模型自動(dòng)化工作流程或任務(wù)，H2O EvalGPT 都可以提供流行、開(kāi)源、高性能大模型的詳細(xì)排行榜，幫助你為項(xiàng)目選擇最有效的模型完成具體任務(wù)。

MMLU官網(wǎng)入口網(wǎng)址，MMLU 全稱(chēng) Massive Multitask Language Understanding，是一種針對(duì)大模型的語(yǔ)言理解能力的測(cè)評(píng)，是目前最著名的大模型語(yǔ)義理解測(cè)評(píng)之一，由UC Berkeley大學(xué)的研究人員在2020年9月推出。

HELM官網(wǎng)入口網(wǎng)址，HELM是由斯坦福大學(xué)推出的大模型評(píng)測(cè)體系，該評(píng)測(cè)方法主要包括場(chǎng)景、適配、指標(biāo)三個(gè)模塊，每次評(píng)測(cè)的運(yùn)行都需要指定一個(gè)場(chǎng)景，一個(gè)適配模型的提示，以及一個(gè)或多個(gè)指標(biāo)。

FlagEval官網(wǎng)入口網(wǎng)址，F(xiàn)lagEval（天秤）由智源研究院將聯(lián)合多個(gè)高校團(tuán)隊(duì)打造，是一種采用“能力—任務(wù)—指標(biāo)”三維評(píng)測(cè)框架的大模型評(píng)測(cè)平臺(tái)，旨在提供全面、細(xì)致的評(píng)測(cè)結(jié)果。

LLMEval3官網(wǎng)入口網(wǎng)址，LLMEval是由復(fù)旦大學(xué)NLP實(shí)驗(yàn)室推出的大模型評(píng)測(cè)基準(zhǔn)，最新的LLMEval-3聚焦于專(zhuān)業(yè)知識(shí)能力評(píng)測(cè)，涵蓋哲學(xué)、經(jīng)濟(jì)學(xué)、法學(xué)、教育學(xué)、文學(xué)、歷史學(xué)、理學(xué)、工學(xué)、農(nóng)學(xué)、醫(yī)學(xué)、軍事學(xué)、管理學(xué)、藝術(shù)學(xué)等教育部劃定的13個(gè)學(xué)科門(mén)類(lèi)、50余個(gè)二級(jí)學(xué)科，共計(jì)約20W道標(biāo)準(zhǔn)生成式問(wèn)答題目。

Open LLM Leaderboard官網(wǎng)入口網(wǎng)址，Open LLM Leaderboard 是最大的大模型和數(shù)據(jù)集社區(qū) HuggingFace 推出的開(kāi)源大模型排行榜單，基于 Eleuther AI Language Model Evaluation Harness（Eleuther AI語(yǔ)言模型評(píng)估框架）封裝。