別讓大模型被基準評估坑了！測試集亂入預訓練，分數虛高，模型變傻

AIGC動態歡迎閱讀

原標題：別讓大模型被基準評估坑了！測試集亂入預訓練，分數虛高，模型變傻

關鍵字：報告,模型,基準,數據,測試

文章來源：量子位

內容字數：4437字

內容摘要：明敏 發自 凹非寺量子位 | 公眾號 QbitAI“別讓大模型被基準評估給坑了”。這是一項最新研究的題目，來自人民大學信息學院、高瓴人工智能學院和伊利諾伊大學厄巴納-香檳分校。研究發現，基準測試中相關數據意外被用于模型訓練的現象，變得越來越常見了。因為預訓練語料中包含很多公開文本資料，而評估基準也建立在這些信息之上，本來這種情況就在所難免。現在隨著大模型試圖搜集更多公開數據，問題正在加重。要知道，…

原文鏈接：點此閱讀原文：別讓大模型被基準評估坑了！測試集亂入預訓練，分數虛高，模型變傻

聯系作者

文章來源：量子位

作者微信：QbitAI

作者簡介：追蹤人工智能新趨勢，關注科技行業新突破