大模型對(duì)語言有自己的理解！MIT論文揭示大模型“思維過程” | ICML 24

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：大模型對(duì)語言有自己的理解！MIT論文揭示大模型“思維過程” | ICML 24
關(guān)鍵字：模型,語義,程序,探測(cè)器,狀態(tài)
文章來源：量子位
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

克雷西 發(fā)自 凹非寺量子位 | 公眾號(hào) QbitAI大模型對(duì)現(xiàn)實(shí)世界，可以形成自己的理解！
MIT的一項(xiàng)研究發(fā)現(xiàn)，隨著模型能力越強(qiáng)，它對(duì)現(xiàn)實(shí)的理解可能不僅是簡(jiǎn)單模仿。
比如大模型沒有聞過氣味，是否就意味著它不能理解氣味？
研究發(fā)現(xiàn)，它可以自發(fā)模擬一些概念，方便理解。
這項(xiàng)研究意味著，大模型未來有希望更深入理解語言和世界，論文已被頂會(huì)ICML 24接收。
這篇論文的作者是MIT計(jì)算機(jī)與人工智能實(shí)驗(yàn)室（CSAIL）華裔博士生Charles Jin和他的導(dǎo)師Martin Rinard教授。
研究當(dāng)中，作者讓大模型只學(xué)習(xí)代碼文本，結(jié)果發(fā)現(xiàn)模型逐漸掌握了其背后的含義。
Rinard教授表示，這項(xiàng)研究直接針對(duì)現(xiàn)代人工智能的一個(gè)核心問題——
大模型的能力僅僅是由于大規(guī)模的統(tǒng)計(jì)相關(guān)性，還是對(duì)它們要處理的現(xiàn)實(shí)問題產(chǎn)生了有意義的理解？
△來源：MIT官網(wǎng)同時(shí)這項(xiàng)研究也引發(fā)了不少討論。
有網(wǎng)友表示，雖然大模型對(duì)語言的理解可能和人類不同，但這項(xiàng)研究至少說明了模型做的絕不僅僅是對(duì)訓(xùn)練數(shù)據(jù)的記憶。
讓大模型學(xué)習(xí)純代碼為了探究大模型能否產(chǎn)生語義層面的理解，作者構(gòu)建了一個(gè)由程序代碼及其對(duì)應(yīng)輸入輸出組成的合成數(shù)據(jù)集。

原文鏈接：大模型對(duì)語言有自己的理解！MIT論文揭示大模型“思維過程” | ICML 24

聯(lián)系作者

文章來源：量子位
作者微信：
作者簡(jiǎn)介：