「大型語言模型評測」綜述

AIGC動態歡迎閱讀

原標題：「大型語言模型評測」綜述
關鍵字：模型,語言,任務,能力,報告
文章來源：人工智能學家
內容字數：10906字

內容摘要：

來源：專知
大語言模型(LargeLanguageModels,LLMs)在多種自然語言處理(NaturalLanguageProcessing,NLP)任 務中展現出了卓越性能,并為實現通用語言智能提供了可能。然而隨著其應用范圍的擴大,如何準確、全面地評估 大語言模型已經成為了一個亟待解決的問題。現有評測基準和方法仍存在許多不足,如評測任務不合理和評測結 果不可解釋等。同時,隨著模型魯棒性和公平性等其它能力或屬性的關注度提升,對更全面、更具解釋性的評估方 法的需求日益凸顯。該文深入分析了大語言模型評測的現狀和挑戰,總結了現有評測范式,分析了現有評測的不 足,介紹了大語言模型相關的評測指標和評測方法,并探討了大語言模型評測的一些新方向。
http://jcip.cipsc.org.cn/CN/Y2024/V38/I1/1自2017年 Google提出 Transformer以來,自 然語言處理的研究已逐步統一到這種具有靈活堆疊 擴展能力的編解碼框架下。特別是,人們可以基于 Transformer的編碼端和解碼端,通過無監督的方 式,使用大規模數據預訓練具有通用語言能力的基 礎模型,如基

原文鏈接：「大型語言模型評測」綜述

聯系作者

文章來源：人工智能學家
作者微信：AItists
作者簡介：致力成為權威的人工智能科技媒體和前沿科技研究機構