本期通訊 23188 字，可免費(fèi)試讀至 9%。

原標(biāo)題：Ilya 「Scaling What」的答案會(huì)是程序性知識(shí)嗎？
文章來源：機(jī)器之心
內(nèi)容字?jǐn)?shù)：4658字

程序性知識(shí)與LLM推理能力的探討

在近年來大規(guī)模語言模型（LLM）的發(fā)展中，關(guān)于其是否具備真實(shí)推理能力的辯論從未停止。Ilya Sutskever在最近的訪談中提到“Scaling the right thing matters more now than ever”，這引發(fā)了對(duì)推理層Scaling Law的深入探討。

1. 程序性知識(shí)的定義

程序性知識(shí)（procedural knowledge）是指執(zhí)行特定任務(wù)或解決問題所需的步驟和方法。在LLM的背景下，它指的是模型從預(yù)訓(xùn)練數(shù)據(jù)中學(xué)習(xí)到的一系列邏輯步驟或計(jì)算過程，用于執(zhí)行推理任務(wù)。

2. LLM的推理能力研究

多項(xiàng)研究表明，經(jīng)過預(yù)訓(xùn)練的LLM在零樣本條件下展現(xiàn)出處理陌生任務(wù)的能力，尤其在抽象模式歸納方面表現(xiàn)驚人。然而，也有研究質(zhì)疑其推理能力，認(rèn)為LLM的“推理”過程實(shí)際上可能只是模式匹配。

3. 數(shù)據(jù)對(duì)推理能力的影響

研究發(fā)現(xiàn)，LLM在處理事實(shí)問題時(shí)依賴于特定文檔進(jìn)行答案檢索，而在推理問題上則采取不同的策略。模型利用從預(yù)訓(xùn)練數(shù)據(jù)中學(xué)到的程序性知識(shí)，生成答案時(shí)并非單純檢索，而是綜合多種文檔的信息進(jìn)行推理。

4. 代碼預(yù)訓(xùn)練的潛力

UCL和Cohere的研究指出，代碼預(yù)訓(xùn)練在多項(xiàng)任務(wù)中均發(fā)揮了重要作用，這引發(fā)了一個(gè)新的問題：是否可能存在一種預(yù)訓(xùn)練數(shù)據(jù)（如代碼）能夠讓LLM學(xué)習(xí)到多種任務(wù)的解決方案？

5. 結(jié)論與未來研究方向

盡管LLM在推理能力方面的爭(zhēng)論仍在繼續(xù)，但程序性知識(shí)的作用愈發(fā)明顯。未來的研究可進(jìn)一步探索如何利用不同類型的預(yù)訓(xùn)練數(shù)據(jù)來提升LLM的推理能力，特別是在處理復(fù)雜任務(wù)時(shí)。

聯(lián)系作者

文章來源：機(jī)器之心
作者微信：
作者簡(jiǎn)介：專業(yè)的人工智能媒體和產(chǎn)業(yè)服務(wù)平臺(tái)