蘋果一篇論文得罪大模型圈？Transformer不會推理，只是高級模式匹配器！所有LLM都判

AIGC動態歡迎閱讀

原標題：蘋果一篇論文得罪大模型圈？Transformer不會推理，只是高級模式匹配器！所有LLM都判
關鍵字：模型,乘法,問題,研究者,多少錢
文章來源：新智元
內容字數：0字

內容摘要：

新智元報道編輯：peter東 Aeneas
【新智元導讀】蘋果研究者發現：無論是OpenAI GPT-4o和o1，還是Llama、Phi、Gemma和Mistral等開源模型，都未被發現任何形式推理的證據，而更像是復雜的模式匹配器。無獨有偶，一項多位數乘法的研究也被拋出來，越來越多的證據證實：LLM不會推理！LLM真的會推理嗎？
最近，蘋果研究員發文質疑道：LLM根本沒有不會推理，所謂的推理能力只是復雜的模式匹配罷了。
論文地址：https://arxiv.org/abs/2410.05229
這項研究也在AI社區引起了廣泛討論。
谷歌DeepMind科學家Denny Zhou表示，自己ICML 2023的一片論文中，也發現了類似現象。
Meta AI研究者田淵棟表示，梯度下降可能無法學習到這樣的權重。
巧的是，AI2等機構在23年的一篇研究也被翻出，證實模型根本沒有學會數學推理，只是在「照背」答案而已。
網友們搜羅了越來越多的學術證據，一致證明：LLM可能根本不會推理！
圖靈三巨頭之一的LeCun，也在最近的萬字演講表示，Meta現在已經完全放棄純語言模型，因為僅靠文本訓練，它永遠

原文鏈接：蘋果一篇論文得罪大模型圈？Transformer不會推理，只是高級模式匹配器！所有LLM都判

聯系作者

文章來源：新智元
作者微信：
作者簡介：