揭開大模型思維的神秘面紗：如何在無推理的世界中找到靈感

LLM 實際上可以從預(yù)訓(xùn)練數(shù)據(jù)中學(xué)習(xí)出一種通用推理方法。

原標題：大模型不會推理，為什么也能有思路？有人把原理搞明白了
文章來源：機器之心
內(nèi)容字數(shù)：7216字

大語言模型的推理能力：程序性知識的驅(qū)動

近日，倫敦大學(xué)學(xué)院（UCL）等機構(gòu)發(fā)布了一項研究，探討了大語言模型（LLM）在推理任務(wù)中采用的泛化策略。該研究的核心發(fā)現(xiàn)是，大模型的推理能力實際上是基于預(yù)訓(xùn)練數(shù)據(jù)中的程序性知識，而非簡單的檢索答案。這一結(jié)論可能會改變我們對大模型推理的理解。

研究背景

自大模型問世以來，學(xué)術(shù)界對其推理能力的本質(zhì)進行了廣泛討論。盡管一些研究者認為大模型在推理時只是從參數(shù)中檢索中間步驟的答案，但新的研究表明，模型實際上是在利用預(yù)訓(xùn)練階段獲得的程序性知識。

實驗設(shè)計與發(fā)現(xiàn)

研究者們對包含500萬個文檔的數(shù)據(jù)集進行了分析，評估了兩個不同規(guī)模模型（7B和35B）在處理事實問題和數(shù)學(xué)推理時的表現(xiàn)。以下是研究的五大主要發(fā)現(xiàn)：

文檔影響力正相關(guān)：對相同推理任務(wù)的查詢，文檔的影響力得分之間存在顯著的正相關(guān)性，表明這些文檔與相似問題相關(guān)。
推理時依賴程度較低：模型在推理時對每個文檔的依賴程度顯著低于回答事實問題時，說明推理過程更依賴于一組通用文檔。
答案出現(xiàn)頻率差異：事實問題的答案在相關(guān)文檔現(xiàn)的頻率遠高于推理問題，后者的答案幾乎未在相關(guān)文檔中找到。
推理文檔形式：對推理查詢有影響力的文檔通常采用逐步推理形式，提供算術(shù)和代碼解決方案。
數(shù)據(jù)來源差異：事實查詢的主要數(shù)據(jù)來源包括，而推理查詢則主要依賴數(shù)學(xué)、StackExchange和代碼。

研究結(jié)論

研究表明，大語言模型通過應(yīng)用程序性知識進行推理，而非簡單檢索。這意味著在預(yù)訓(xùn)練過程中，關(guān)注高質(zhì)量和多樣化的程序數(shù)據(jù)可能比覆蓋所有情況更為有效。這一發(fā)現(xiàn)對未來人工智能的發(fā)展具有重要意義，可能會推動我們重新審視模型設(shè)計的方向。