AAAI 2025 | 大模型會組合關系推理嗎？打開黑盒，窺探Transformer腦回路

本工作由北京郵電大學和彩云科技合作完成。

原標題：AAAI 2025 | 大模型會組合關系推理嗎？打開黑盒，窺探Transformer腦回路
文章來源：機器之心
內容字數：6537字

大型語言模型組合關系推理能力研究：Generalized Associative Recall (GAR) 基準測試

本文介紹了北京郵電大學和彩云科技合作完成的一項研究，該研究針對大型語言模型(LLM)的組合關系推理(CRR)能力進行了深入探究，并提出了一個新的基準測試——廣義關聯回憶(GAR)。

1. GAR基準測試：評估LLM組合推理能力

目前LLM評估任務存在兩大問題：要么過于簡單，無法反映復雜推理場景；要么過于復雜，不利于研究模型內部機制。GAR基準測試整合了知識回憶、關聯回憶、間接賓語識別等經典任務，并通過多種任務形式(肯定/否定句、生成/分類)和難度等級，系統地評估LLM的推理能力。其特點在于挑戰性高，即使最先進的LLM表現也不理想，且任務相對簡單，便于研究模型內部機制。

2. 現有模型在GAR上的表現

實驗結果表明，任務難度顯著影響模型表現，推理步驟或復雜度增加會導致準確率下降。研究還發現了“組合性差距”現象：模型能很好地回答子問題，但無法組合這些答案得出最終結論。模型規模與性能并非簡單的正相關，更大模型的組合性差距反而可能更明顯。盡管GAR對LLM具有挑戰性，但對人類而言卻非常容易，這揭示了LLM在CRR方面存在根本性缺陷，并非僅僅是知識缺失導致的。

3. 模型內部推理機制研究

研究者采用歸因補丁方法，分析模型推理過程中的關鍵計算單元，特別是注意力頭的作用。發現Vicuna-33B模型中存在一組通用的核心回路，可被不同任務重復利用。研究者識別出兩類關鍵注意力頭：“True head”和“False head”，分別表示“真”和“假”的概念，并在不同任務和模型中扮演重要角色。這些注意力頭形成的閉環結構，與GAR任務構建時的關系環一致，保證了可預測性。

4. 干預關鍵注意力頭提升LLM表現

研究者通過干預True/False注意力頭，驗證了其通用性和有效性。實驗表明，干預這些注意力頭可以顯著提升模型在判別任務中的準確率。這表明True/False頭編碼了真假概念，并在GAR任務中起到了判斷語句真偽的關鍵作用。

5. 研究意義

這項研究首次明確指出了LLM在組合關系推理任務中的核心缺陷，并揭示了模型內部的關鍵推理機制。這加深了對LLM工作原理的理解，并為模型改進提供了方向，例如優化注意力機制和設計更具多樣性的基準測試。

聯系作者

文章來源：機器之心
作者微信：
作者簡介：專業的人工智能媒體和產業服務平臺