LeCun引戰(zhàn)，LLM根本不會(huì)推理！大模型「涌現(xiàn)」，終究離不開上下文學(xué)習(xí)

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：LeCun引戰(zhàn)，LLM根本不會(huì)推理！大模型「涌現(xiàn)」，終究離不開上下文學(xué)習(xí)

關(guān)鍵字：模型,能力,指令,研究人員,任務(wù)

文章來源：新智元

內(nèi)容字?jǐn)?shù)：10929字

內(nèi)容摘要：新智元報(bào)道編輯：潤拉燕【新智元導(dǎo)讀】前段時(shí)間，LeCun轉(zhuǎn)發(fā)了2篇長文，集中討論了LLM的規(guī)劃推理能力和涌現(xiàn)能力的來源。作者認(rèn)為，LLM本身不具有規(guī)劃推理能力，而涌現(xiàn)出來的能力，根源應(yīng)該都是上下文學(xué)習(xí)的結(jié)果。大語言模型到底會(huì)不會(huì)推理？涌現(xiàn)出來的各種能力到底來源是什么？前段時(shí)間，LeCun在自己上轉(zhuǎn)發(fā)了好幾篇文章，集中討論了這個(gè)問題：「自回歸LLM無法制定計(jì)劃（并且無法真正推理）」。而LeCun轉(zhuǎn)發(fā)第二篇論文，則討論了LLM涌現(xiàn)能力。原推表示，不管大伙相不相信LLM的涌現(xiàn)能力，這篇文章都值得一讀：「經(jīng)過了超過1000次的系列實(shí)驗(yàn)，我們證明了大語言模型所謂的涌現(xiàn)能力，其實(shí)僅僅是上下文學(xué)習(xí)而已。」LLM真的能推理和規(guī)劃嗎？Subbarao Kambhampat的文章認(rèn)為，網(wǎng)上對于LLM能夠推理和規(guī)劃的說法，本身不太站得住腳，但是學(xué)界對于這個(gè)問題，也開始進(jìn)行了很嚴(yán)肅地研究。至少以他之前針對GP…

原文鏈接：點(diǎn)此閱讀原文：LeCun引戰(zhàn)，LLM根本不會(huì)推理！大模型「涌現(xiàn)」，終究離不開上下文學(xué)習(xí)

聯(lián)系作者

文章來源：新智元

作者微信：AI_era

作者簡介：智能+中國主平臺(tái)，致力于推動(dòng)中國從互聯(lián)網(wǎng)+邁向智能+新紀(jì)元。重點(diǎn)關(guān)注人工智能、機(jī)器人等前沿領(lǐng)域發(fā)展，關(guān)注人機(jī)融合、人工智能和機(jī)器人對人類社會(huì)與文明進(jìn)化的影響，領(lǐng)航中國新智能時(shí)代。