AIGC動態(tài)歡迎閱讀

原標題：MIT大牛新發(fā)現(xiàn)：LLM和人類大腦結(jié)構(gòu)類似，存在腦葉分區(qū)！
關(guān)鍵字：報告,特征,向量,研究者,結(jié)構(gòu)
文章來源：夕小瑤科技說
內(nèi)容字數(shù)：0字

內(nèi)容摘要：

夕小瑤科技說 分享來源 | 新智元LLM居然長「腦子」了？
就在剛剛，MIT傳奇大牛Max Tegmark團隊的新作，再次炸翻AI圈。
論文地址：https://arxiv.org/abs/2410.19750
他們發(fā)現(xiàn)，LLM學習的概念中，居然顯示出令人驚訝的幾何結(jié)構(gòu)——
首先，它們形成一種類似人類大腦的「腦葉」；其次，它們形成了一種「語義晶體」，比初看起來更精確；并且，LLM的概念云更具分形特征，而非圓形。
具體而言，這篇論文探討了LLM中稀疏自編碼器（SAE）的特征向量表示的。
Max Tegmark團隊的研究結(jié)果表明，SAE特征所代表的概念宇宙在多個空間尺度上展現(xiàn)出有趣的結(jié)構(gòu)，從語義關(guān)系的原子層面到整個特征空間的大規(guī)模組織。
這就為我們理解LLM的內(nèi)部表征和處理機制，提供了全新的見解。
總之，這個研究實在太過震撼！網(wǎng)友直言：如果LLM和人腦相似，這實在是給人一種不好的預感……
所以，美麗的自然法則并不獨屬于人類，硅基也從屬于這一法則。
這個發(fā)現(xiàn)證明了：數(shù)學才是一切的基礎(chǔ)，而非人類構(gòu)造。
LLM的三個層面：原子，大腦和星系團隊發(fā)現(xiàn)，SAE特征的概念宇宙在三個層面上都具有有趣的結(jié)構(gòu)

原文鏈接：MIT大牛新發(fā)現(xiàn)：LLM和人類大腦結(jié)構(gòu)類似，存在腦葉分區(qū)！

聯(lián)系作者

文章來源：夕小瑤科技說
作者微信：
作者簡介：