LLM為何頻頻翻車算術題？最新研究追蹤單個神經元，「大腦短路」才是根源

AIGC動態歡迎閱讀

原標題：LLM為何頻頻翻車算術題？最新研究追蹤單個神經元，「大腦短路」才是根源
關鍵字：神經元,模型,算術,啟發式,算法
文章來源：新智元
內容字數：0字

內容摘要：

新智元報道編輯：peter東 喬楊
【新智元導讀】大模型在數學問題上的表現不佳，原因在于采取啟發式算法進行數算的，通過定位到多層感知機（MLP）中的單個神經元，可以對進行數算的具體過程進行解釋。由于缺少對運行邏輯的解釋，大模型一向被人稱為「黑箱」，但近來的不少研究已能夠在單個神經元層面上解釋大模型的運行機制。
例如Claude在2023年發表的一項研究，將大模型中大約500個神經元分解成約4000個可解釋特征。
而10月28日的一項研究，以算術推理作為典型任務，借鑒類似的研究方法，確定了大模型中的一個模型子集，能解釋模型大部分的基本算術邏輯行為。
論文地址：https://arxiv.org/abs/2410.21272
該研究首先定位了Llama3-8B/70B, Pythia-6.9B及GPT-J四個模型中負責算術計算的模型子集。
如圖1所示，少數注意力頭對大模型面對算術問題的正確率有顯著影響。第一個 MLP（多層感知機） 明顯影響操作數和操作符位置，而中間層和后期層的 MLP 將token信息投影到最后位置，提升正確答案的出現概率。
圖1：Llama3-8B中發現算術相

原文鏈接：LLM為何頻頻翻車算術題？最新研究追蹤單個神經元，「大腦短路」才是根源

聯系作者

文章來源：新智元
作者微信：
作者簡介：