AI慢思考蒸餾進快思考，Llama2躍升至GPT-4水平，不寫過程也能做對題

AIGC動態歡迎閱讀

原標題：AI慢思考蒸餾進快思考，Llama2躍升至GPT-4水平，不寫過程也能做對題
關鍵字：系統,模型,數據,任務,方法
文章來源：量子位
內容字數：0字

內容摘要：

克雷西 發自 凹非寺量子位 | 公眾號 QbitAI《思考快與慢》中人類的兩種思考方式，屬實是被Meta給玩明白了。
研究人員通過把AI的“慢思考”結果蒸餾進“快思考”，讓Llama2表現提升了257%，變得比GPT4還能打，同時還能降低推理成本。
這里的快慢兩種思考方式，指的就是2002年諾貝爾經濟學獎得主丹尼爾·卡尼曼推廣的系統1和系統2——
簡單說，系統1是簡單無意識的直覺，速度更快；系統2則是復雜有意識的推理，準確性更強。
Meta所做的“蒸餾”，就是用系統2生成數據，然后對用系統1推理的模型進行微調。
有網友看了后表示，這種模式和人類很像，一旦解決了一個難題，再解決（相似的問題）就變得簡單了。
將系統2蒸餾到系統1對于大模型而言，模仿人類的“系統2”的方式有很多種，在模型中所處的環節也不盡相同，這里作者一共研究了四種：
CoT，即Chain of Thought，思維鏈，從提示詞入手讓模型逐步思考；
S2A，即System 2 Attention，由Meta自己提出，直接修改了模型的注意力機制，屏蔽與任務無關的信息；
RaR，即Rephase and Respond，先對問題

原文鏈接：AI慢思考蒸餾進快思考，Llama2躍升至GPT-4水平，不寫過程也能做對題

聯系作者

文章來源：量子位
作者微信：QbitAI
作者簡介：追蹤人工智能新趨勢，關注科技行業新突破