更像人腦的新型注意力機制，Meta讓大模型自動屏蔽任務無關信息，準確率提高27%

AIGC動態歡迎閱讀

原標題：更像人腦的新型注意力機制，Meta讓大模型自動屏蔽任務無關信息，準確率提高27%

關鍵字：模型,注意力,機制,準確率,提示

文章來源：量子位

內容字數：4573字

內容摘要：克雷西 發自 凹非寺量子位 | 公眾號 QbitAI關于大模型注意力機制，Meta又有了一項新研究。通過調整模型注意力，屏蔽無關信息的干擾，新的機制讓大模型準確率進一步提升。而且這種機制不需要微調或訓練，只靠Prompt就能讓大模型的準確率上升27%。作者把這種注意力機制命名為“System 2 Attention”（S2A），它來自于2002年諾貝爾經濟學獎得主丹尼爾·卡尼曼的暢銷書《思考，快與慢》中提到的心理學概念——雙系統思維模式中的“系統2”。所謂系統2是指復雜有意識的推理，與之相對的是系統1，即簡單無意識的直覺。S2A通過提示詞對Transformer中的注意力機制進行了“調節”，使模型整體上的思考方式更接近系統2。有網友形容，這種機制像是給AI加了一層“護目鏡”。此外，作者還在論文標題中說，不只是大模型，這種思維模式或許人類自己也需要學習。那么，這種方法具體是如何實現的呢？避免…

原文鏈接：點此閱讀原文：更像人腦的新型注意力機制，Meta讓大模型自動屏蔽任務無關信息，準確率提高27%

聯系作者

文章來源：量子位

作者微信：QbitAI

作者簡介：追蹤人工智能新趨勢，關注科技行業新突破