將慢思考蒸餾進快思考，Meta 把 Llama2 躍升至 GPT-4 水平

AIGC動態歡迎閱讀

原標題：將慢思考蒸餾進快思考，Meta 把 Llama2 躍升至 GPT-4 水平
關鍵字：系統,模型,解讀,數據,任務
文章來源：Founder Park
內容字數：0字

內容摘要：

《思考快與慢》中人類的兩種思考方式，屬實是被Meta給玩明白了。
研究人員通過把AI的“慢思考”結果蒸餾進“快思考”，讓Llama2表現提升了257%，變得比GPT4還能打，同時還能降低推理成本。
這里的快慢兩種思考方式，指的就是2002年諾貝爾經濟學獎得主丹尼爾·卡尼曼推廣的系統1和系統2——
簡單說，系統1是簡單無意識的直覺，速度更快；
系統2則是復雜有意識的推理，準確性更強。
Meta所做的“蒸餾”，就是用系統2生成數據，然后對用系統1推理的模型進行微調。
有網友看了后表示，這種模式和人類很像，一旦解決了一個難題，再解決（相似的問題）就變得簡單了。
文章轉載自「量子位」
01將系統2蒸餾到系統1對于大模型而言，模仿人類的“系統2”的方式有很多種，在模型中所處的環節也不盡相同，這里作者一共研究了四種：CoT，即Chain of Thought，思維鏈，從提示詞入手讓模型逐步思考；
S2A，即System 2 Attention，由Meta自己提出，直接修改了模型的注意力機制，屏蔽與任務無關的信息；
RaR，即Rephase and Respond，先對問題進行重新表述，再根據重述后

原文鏈接：將慢思考蒸餾進快思考，Meta 把 Llama2 躍升至 GPT-4 水平

聯系作者

文章來源：Founder Park
作者微信：Founder-Park
作者簡介：來自極客公園，專注與科技創業者聊「真問題」。