大模型是否有自知之明？新研究發現LLM可以知曉自己的知識范圍

只要規模夠大，它們就能夠知道自己對某個主題的了解程度。

原標題：大模型是否有自知之明？新研究發現LLM可以知曉自己的知識范圍
文章來源：機器之心
內容字數：6764字

大型語言模型：擁有“自知之明”的AI？

近年來，“AI是否具有自我意識”的討論持續不斷。近期，一項由Chandar Research Lab 和 Mila – 魁北克人工智能研究所等機構的研究為這個問題提供了新的視角。研究發現，大型語言模型（LLM）在規模足夠大的情況下，具備“知識意識”，即能夠感知自己對某個主題的了解程度。

1. 研究方法：三階段測試

為了探究LLM的知識意識，研究團隊設計了一個三階段實驗：首先，生成一系列新的日記文檔作為測試數據，確保模型在預訓練階段從未接觸過；其次，利用預訓練目標微調語言模型，使其“記住”這些文檔；最后，測試模型回憶所有相關文檔的能力。通過分析模型記憶和回想信息的能力，評估其“自知之明”。

2. 實驗結果：規模與架構的影響

研究使用了多種架構和參數規模的模型進行實驗，包括OPT和Flan-T5。結果顯示，模型的性能與模型大小和數據集大小密切相關。隨著模型規模的增大，其準確回憶文檔的能力顯著提高。然而，不同架構的模型達到這一能力的速率不同。OPT模型的性能提升比Pythia模型更快，而Flan-T5模型則呈現出獨特的模式，只有在達到一定規模后才表現出性能提升。

實驗還發現，信息分布方式對模型性能有影響。將同一人撰寫的日記條目合并成單個文檔，模型的性能顯著提高，這表明模型在處理分散信息時存在額外的難度。這可能是因為分散的信息影響了模型參數中信息的存儲和整合方式。

3. 文檔數量的影響

研究團隊還考察了需要回憶的文檔數量對模型性能的影響。結果表明，即使需要回憶的文檔數量增加，模型的性能并沒有下降，這暗示模型具有足夠的容量。進一步分析發現，較大的模型能夠更準確地識別需要回憶的文檔數量，而較小的模型則表現出隨機性。

4. 結論與分析

這項研究表明，足夠規模的LLM確實具備“知識意識”，能夠感知自己的知識范圍。當模型規模足夠大時，其回憶的文檔通常長度正確且沒有錯誤。然而，較小模型則難以準確回憶正確數量的文檔。研究團隊認為，這可能是因為較小模型缺乏執行此任務所需的回路能力。Flan-T5模型的獨特表現可能與其編碼器-解碼器架構有關。

5. 對自我意識的暗示？

這項研究揭示了LLM的“知識意識”，但這是否暗示了LLM具備自我意識？目前仍是一個開放性問題。研究結果表明LLM能夠感知自身知識的邊界，但這與真正的自我意識還有很大區別。 進一步研究需要探究LLM的內在機制，才能更深入地理解其認知能力。

聯系作者

文章來源：機器之心
作者微信：
作者簡介：專業的人工智能媒體和產業服務平臺