世界模型又近了？MIT驚人研究：LLM已模擬現實世界，絕非隨機鸚鵡！

AIGC動態歡迎閱讀

原標題：世界模型又近了？MIT驚人研究：LLM已模擬現實世界，絕非隨機鸚鵡！
關鍵字：模型,指令,語言,語義,探針
文章來源：新智元
內容字數：0字

內容摘要：

新智元報道編輯：編輯部
【新智元導讀】MIT CSAIL的研究人員發現，LLM的「內心深處」已經發展出了對現實的模擬，模型對語言和世界的理解，絕不僅僅是簡單的「鸚鵡學舌」。也就說，在未來，LLM會比今天更深層地理解語言。LLM離世界模型，究竟有多遠？
去年，MIT的一篇文章發現了驚人的結論：在LLM內部，存在一個世界模型。
LLM不僅學習了表面的統計數據，還學習了包括空間和時間等基本緯度的世界模型。
Llama-2-70B竟然能夠描繪出研究人員真實世界的文字地圖
不僅如此，MIT最近又發現：在LLM的深處，發展出了一種對現實的模擬，它們對語言的理解，已經遠遠超出了簡單的模仿！
論文地址：https://arxiv.org/abs/2305.11169
具體來說，MIT計算機科學和人工智能實驗室 （CSAIL）的兩名學者發現——
盡管只用「預測下一個token」這種看似只包含純粹統計概率的目標，來訓練LLM學習編程語言，模型依舊可以學習到程序中的形式化語義。
這表明，語言模型可能會發展自己對現實的理解，以此作為提高其生成能力的一種方式。
因此，LLM在未來的某一天，可能會比今天更深層次

原文鏈接：世界模型又近了？MIT驚人研究：LLM已模擬現實世界，絕非隨機鸚鵡！

聯系作者

文章來源：新智元
作者微信：
作者簡介：