AIGC動態歡迎閱讀

原標題：大模型“自學”后能力反下降，Llama/Mistral都沒逃過
關鍵字：問題,能力,多樣性,人工智能,答案
文章來源：量子位
內容字數：0字

內容摘要：

PengFei Liu 投稿量子位 | 公眾號 QbitAIAI經過多輪“自我提升”，能力不增反降？
上海交通大學GAIR團隊最新研究表明，在常識理解、數學推理和代碼生成等復雜任務中，AI經過多輪“自我提升”后，可能會出現一種稱為“自我提升逆轉”（self-improvement reversal）的現象。
LLaMA-2-7B、Mistral-7B、LLaMA-8B都沒逃過。
這就像一個學生刷題刷到”走火入魔”——雖然考試成績提高了，但實際解決問題的能力反而可能下降！
更值得警惕的是，這種訓練還可能導致AI的回答變得千篇一律，失去了原有的創造力和適應新情況的能力。好比一個學生只會應付考試，遇到真實世界的問題就束手無策。
要知道，OpenAI最近被曝光的項目“草莓”，據說還在使用post-training階段的自我提升來提升模型復雜推理能力……
目前該研究《Progress or Regress？Self-Improvement Reversal in Post-training》已獲得了 ICML 2024 （AI for Math Workshop） 的Honorable Ment

原文鏈接：大模型“自學”后能力反下降，Llama/Mistral都沒逃過

聯系作者

文章來源：量子位
作者微信：
作者簡介：