SuperBench大模型綜合能力評測報告

AIGC動態歡迎閱讀

原標題：SuperBench大模型綜合能力評測報告
關鍵字：模型,能力,代碼,中文,任務
文章來源：人工智能學家
內容字數：16875字

內容摘要：

在2023年的“百模大戰”中，眾多實踐者推出了各類模型，這些模型有的是原創的，有的是針對開源模型進行微調的；有些是通用的，有些則是行業特定的。如何能合理地評價這些模型的能力，成為關鍵問題。
盡管國內外存在多個模型能力評測榜單，但它們的質量參差不齊，排名差異顯著，這主要是因為評測數據和測試方法尚不成熟和科學。我們認為，好的評測方法應當具備開放性、動態性、科學性和權威性。
為提供客觀、科學的評測標準，清華大學基礎模型研究中心聯合中關村實驗室研制了SuperBench大模型綜合能力評測框架，旨在推動大模型技術、應用和生態的健康發展。
SuperBench介紹請查看以往推送：2024年，如何避免「國內百模，家家第一」亂象？
近期，我們發布了2024年3月的《SuperBench大模型綜合能力評測報告》。在此評測中，我們選定了14個海內外具有代表性的模型進行測試。對于閉源模型，我們選取API和網頁兩種調用模式中得分較高的一種進行評測。根據我們的評測結果，我們得出以下幾個主要結論：● 整體來說，GPT-4系列模型和Claude-3等國外模型在多個能力上依然處于領先地位，國內頭部大模型GLM-4和文

原文鏈接：SuperBench大模型綜合能力評測報告

聯系作者

文章來源：人工智能學家
作者微信：AItists
作者簡介：致力成為權威的人工智能科技媒體和前沿科技研究機構