AIGC動態歡迎閱讀

原標題：歷時8年終發Science，他證明老鼠有類人的想象力

關鍵字：模型,報告,注意力,機制,準確率

文章來源：人工智能學家

內容字數：4067字

內容摘要：來源：量子位關于大模型注意力機制，Meta又有了一項新研究。通過調整模型注意力，屏蔽無關信息的干擾，新的機制讓大模型準確率進一步提升。而且這種機制不需要微調或訓練，只靠Prompt就能讓大模型的準確率上升27%。作者把這種注意力機制命名為“System 2 Attention”（S2A），它來自于2002年諾貝爾經濟學獎得主丹尼爾·卡尼曼的暢銷書《思考，快與慢》中提到的心理學概念——雙系統思維模式中的“系統2”。所謂系統2是指復雜有意識的推理，與之相對的是系統1，即簡單無意識的直覺。S2A通過提示詞對Transformer中的注意力機制進行了“調節”，使模型整體上的思考方式更接近系統2。有網友形容，這種機制像是給AI加了一層“護目鏡”。此外，作者還在論文標題中說，不只是大模型，這種思維模式或許人類自己也需要學習。那么，這種方法具體是如何實現的呢？避免大模型被“誤導”傳統大模型常用的Tran…

原文鏈接：點此閱讀原文：歷時8年終發Science，他證明老鼠有類人的想象力

聯系作者

文章來源：人工智能學家

作者微信：AItists

作者簡介：致力成為權威的人工智能科技媒體和前沿科技研究機構