普林斯頓DeepMind用數學證明：LLM不是隨機鸚鵡！「規模越大能力越強」有理論根據

AIGC動態歡迎閱讀

原標題：普林斯頓DeepMind用數學證明：LLM不是隨機鸚鵡！「規模越大能力越強」有理論根據
關鍵字：節點,技能,能力,模型,文本
文章來源：新智元
內容字數：7663字

內容摘要：

新智元報道編輯：拉燕
【新智元導讀】普林斯頓大學和DeepMind的科學家用嚴謹的數學方法證明了大語言模型不是隨機鸚鵡，規模越大能力一定越大。今天故事的主角是兩位科學家，Sanjeev Arora和Anirudh Goyal。
Arora來自普林斯頓大學，而Goyal則來自谷歌DeepMind。
他們湊到一起，只想探究一個問題。
那就是，LLM，究竟是只會嘰嘰喳喳學舌的隨機鸚鵡，還是真學會了什么，搖身一變成為了具有涌現能力的智能體？
AI先驅Hinton和吳恩達曾經也聊過這個問題，但彼時并沒有得出什么明確的結論。
不過Hinton表示，在這個問題的回答上如果我們不能達成，那么在AI會產生多大危害這個問題上也不可能達成。
而Arora和Goyal的觀點是，LLM并不是只會學舌的鸚鵡。具體來說，他們不認為LLM的輸出內容只是從海量的訓練數據中隨機組合而來的。
兩個人為此合寫了一篇論文。
論文地址：https://arxiv.org/abs/2307.15936
則是，經過大量訓練，LLM的規模變得越來越大，它們的相關能力會得到切實的提升，并開發出新的能力。
這可不是一般的排列

原文鏈接：普林斯頓DeepMind用數學證明：LLM不是隨機鸚鵡！「規模越大能力越強」有理論根據

聯系作者

文章來源：新智元
作者微信：AI_era
作者簡介：智能+中國主平臺，致力于推動中國從互聯網+邁向智能+新紀元。重點關注人工智能、機器人等前沿領域發展，關注人機融合、人工智能和機器人對人類社會與文明進化的影響，領航中國新智能時代。