這是 GPT-4 變笨的新解釋

AIGC動態歡迎閱讀

原標題：這是 GPT-4 變笨的新解釋
關鍵字：任務,模型,數據,示例,迪士尼
文章來源：愛范兒
內容字數：5270字

內容摘要：

文章來源：機器之心 編輯：蛋醬
自發布以來，曾被認為是世界上最強大的 GPT-4 也經歷了多場「信任危機」。
如果說今年早些時候那次「間歇式降智」與 OpenAI 重新設計 GPT-4 架構有關，前段時間的「變懶」傳聞就更搞笑了，有人測出只要告訴 GPT-4「現在是寒假」，它就會變得懶懶散散，仿佛進入了一種冬眠狀態。
大模型變懶、變笨，具體是指模型在新任務上的零樣本性能變差。盡管上述原因聽起來很有趣，但問題到底怎么解決呢？
在最近的一篇論文中，加州大學圣克魯斯分校研究者的新發現或可解釋 GPT-4 性能下降的深層原因：「我們發現，在訓練數據創建日期之前發布的數據集上，LLM 的表現出奇地好于之后發布的數據集?！?br />它們在「見過的」任務上表現出色，而在新任務上則表現糟糕。這意味著，LLM 只是基于近似檢索的模仿智能方法，主要是記憶東西，而沒有任何程度的理解。
說白了，就是 LLM 的泛化能力「沒有說的那么強」—— 基礎不扎實，實戰總有出紕漏的時候。
造成這種結果的一大原因是「任務污染」，這是數據污染的其中一種形式。我們以前熟知的數據污染是測試數據污染，即在預訓練數據中包含測試數據示例和標簽

原文鏈接：這是 GPT-4 變笨的新解釋

聯系作者

文章來源：愛范兒
作者微信：ifanr
作者簡介：Keep Patching 無限更新