“大海撈針”out！“數星星”成測長文本能力更精準方法，來自鵝廠

AIGC動態歡迎閱讀

原標題：“大海撈針”out！“數星星”成測長文本能力更精準方法，來自鵝廠
關鍵字：模型,騰訊,星星,測試,研究人員
文章來源：量子位
內容字數：4579字

內容摘要：

克雷西 發自 凹非寺量子位 | 公眾號 QbitAI大模型長文本能力測試，又有新方法了！
騰訊MLPD實驗室，用全新開源的“數星星”方法替代了傳統的“大海撈針”測試。
相比之下，新方法更注重對模型處理長依賴關系能力的考察，對模型的評估更加全面精準。
利用這種方法，研究人員對GPT-4和國內知名的Kimi Chat進行了“數星星”測試。
結果，在不同的實驗條件下，兩款模型各有勝負，但都體現出了很強的長文本能力。
△橫軸系以2為底的對數坐標那么，“數星星”究竟是怎樣的一種測試呢？
比“大海撈針”更加精準首先，研究人員選擇了一段長文本做為上下文，測試過程中長度逐漸遞增，最大為128k。
然后，根據不同的測試難度需求，整段文本會被劃分成N段，并向其中插入M個包含“星星”的句子。
實驗過程中，研究人員選擇了《紅樓夢》作為上下文文本，向其中加入了“小企鵝數了x顆星星”這樣的句子，每個句子中的x都各不相同。
然后，模型會被要求找到所有這樣的句子，并以JSON格式輸出其中所有的數字，且只輸出數字。
得到模型的輸出之后，研究人員會將這些數字和Ground Truth進行對比，最終計算出模型輸出的正確率。

原文鏈接：“大海撈針”out！“數星星”成測長文本能力更精準方法，來自鵝廠

聯系作者

文章來源：量子位
作者微信：QbitAI
作者簡介：追蹤人工智能新趨勢，關注科技行業新突破