Chatbot Arena

Chatbot Arena 也被成為機(jī)器人競(jìng)技場(chǎng)，它是由LMSYS Org 創(chuàng)建的一個(gè) 大語言模型（LLM）對(duì)比競(jìng)技平臺(tái)，通過對(duì)比后并將這個(gè)大語言模型（LLM）進(jìn)行排名。最新一期大語言模型（LLM）排行榜出爐，GPT4 依舊是獨(dú)領(lǐng)，排在第二位的是 Claude-v1 模型，GPT 3.5 turbo 排名第四。
 目前該平臺(tái)通過三種評(píng)分機(jī)制，來對(duì)比哪個(gè)機(jī)器人實(shí)力最強(qiáng)。這三個(gè)機(jī)制分別是Arena Elo rating 、MT-bench 、MMLU 其中第一個(gè)Arena Elo rating 評(píng)分系統(tǒng)類似于王者榮耀中的elo匹配機(jī)制，它把各家的機(jī)器人當(dāng)做玩家，讓他們之間隨機(jī)對(duì)戰(zhàn)，通過4萬多名用戶投票來進(jìn)行elo評(píng)級(jí)。

• Chatbot Arena?– 一個(gè)眾包、隨機(jī)的戰(zhàn)斗平臺(tái)。我們使用 40K+ 用戶投票來計(jì)算 Elo 評(píng)級(jí)。
• MT-Bench?– 一組具有挑戰(zhàn)性的多回合問題。我們使用 GPT-4 對(duì)模型響應(yīng)進(jìn)行評(píng)分。
• MMLU（5-shot）——衡量模型在 57 項(xiàng)任務(wù)上的多任務(wù)準(zhǔn)確性的測(cè)試。