來自淘天團隊“中文簡短問答”測試基準

原標題：史上最嚴“中文真實性評估”：OpenAI o1第1豆包第2，其它全部不及格
文章來源：量子位
內容字數：12883字

中文簡短問答基準的提出及其重要性

隨著大語言模型（LLM）的快速發展，評估其真實性能力的標準變得愈發重要。淘寶天貓集團的研究者們提出了中文簡短問答（Chinese SimpleQA），這是首個全面的中文基準，具備“中文、多樣性、高質量、靜態、易于評估”五個特性。該基準旨在幫助開發者理解模型在中文環境中的真實性表現，并推動基礎模型的進步。

基準的特征與數據收集

中文簡短問答基準包含3000個高質量問題，涵蓋“中國文化”、“人文”、“工程與技術”、“生活與文化”、“社會”和“自然科學”等六個主題。數據收集過程結合了自動生成與人工驗證，確保問題和答案的質量。這些問題均為客觀且唯一，且不會隨時間變化，確保其有效性和挑戰性。

評估現有模型的發現

研究顯示，只有少數模型（如o1-preview和Doubao-pro-32k）達到及格分數，提示許多模型仍需改進。結果表明，模型規模越大，性能越好。此外，檢索增強生成（RAG）技術顯著提高了模型的真實性，縮小了不同模型之間的性能差距。

模型性能的進一步分析

作者評估了17個閉源和24個開源大語言模型，發現“mini”系列模型的表現普遍較差，而中文社區模型在“中國文化”主題上表現優于一些主流模型。模型的校準、測試時間與準確性之間的關系也被深入探討，強調了RAG在提升模型性能中的關鍵作用。

結論與未來方向

中文簡短問答基準的提出，為評估大語言模型的真實性能力提供了新的工具。研究者們將在未來繼續探索提升模型真實性的方法，并考慮將該基準擴展到多語言和多模態設置，以適應更廣泛的應用需求。

更多信息請查閱論文：中文簡短問答基準論文.

聯系作者

文章來源：量子位
作者微信：
作者簡介：追蹤人工智能新趨勢，關注科技行業新突破