AIGC動態(tài)歡迎閱讀

原標題：Meta對Transformer架構(gòu)下手了：新注意力機制更懂推理

關(guān)鍵字：上下文,注意力,提示,變體,機制

文章來源：機器之心

內(nèi)容字數(shù)：5038字

內(nèi)容摘要：機器之心報道編輯：杜偉、陳萍作者表示，這種全新注意力機制（Sytem 2 Attention）或許你也需要呢。大型語言模型（LLM）很強已經(jīng)是一個不爭的事實，但它們有時仍然容易犯一些簡單的錯誤，表現(xiàn)出較弱的推理能力。舉個例子，LLM 可能會因不相關(guān)的上下文或者輸入提示中固有的偏好或意見做出錯誤的判斷。后一種情況表現(xiàn)出的問題被叫做「阿諛奉承」，即模型與輸入保持一致。有沒有方法來緩解這類問題呢？有些學者試圖通過添加更多監(jiān)督訓練數(shù)據(jù)或通過強化學習策略來解決，但這些無法從根本上解決問題。近日 Meta 研究者在論文《System 2 Attention (is something you might need too)》中認為，根本問題在于 Transformer 本身固有的構(gòu)建方式，尤其是其注意力機制。也就是說，軟注意力既傾向于將概率分配給大部分上下文（包括不相關(guān)的部分），也傾向于過度關(guān)注重復的…

原文鏈接：點此閱讀原文：Meta對Transformer架構(gòu)下手了：新注意力機制更懂推理

聯(lián)系作者

文章來源：機器之心

作者微信：almosthuman2014

作者簡介：專業(yè)的人工智能媒體和產(chǎn)業(yè)服務平臺