AI自己「長(zhǎng)出」了類(lèi)似大腦的「腦葉」？新研究揭示LLM特征的驚人幾何結(jié)構(gòu)

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：AI自己「長(zhǎng)出」了類(lèi)似大腦的「腦葉」？新研究揭示LLM特征的驚人幾何結(jié)構(gòu)
關(guān)鍵字：報(bào)告,特征,作者,結(jié)構(gòu),向量
文章來(lái)源：機(jī)器之心
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

機(jī)器之心報(bào)道
編輯：張倩、蛋醬大型語(yǔ)言模型在學(xué)習(xí)概念時(shí)竟然會(huì)形成令人驚訝的幾何結(jié)構(gòu)，比如代碼和數(shù)學(xué)特征會(huì)形成一個(gè)「葉（lobe）」，類(lèi)似于我們?cè)谧龃殴舱窆δ艹上駮r(shí)看到的大腦功能性腦葉。這說(shuō)明什么呢？?論文通訊作者、MIT 物理學(xué)教授 Max Tegmark 的推文。值得注意的是，Max Tegmark 也是著名的 KAN 論文的作者之一，是 KAN 論文一作 ZimingLiu 的導(dǎo)師。
在過(guò)去的一年，學(xué)術(shù)界在理解大型語(yǔ)言模型如何工作方面取得了突破性進(jìn)展：稀疏自編碼器（SAE）在其激活空間中發(fā)現(xiàn)了大量可解釋為概念的點(diǎn)（「特征」）。最近，此類(lèi) SAE 點(diǎn)云已公開(kāi)發(fā)布，因此研究其在不同尺度上的結(jié)構(gòu)正當(dāng)其時(shí)。
最近，來(lái)自 MIT 的一個(gè)團(tuán)隊(duì)公布了他們的研究成果。論文標(biāo)題：The Geometry of Concepts: Sparse Autoencoder Feature Structure
論文鏈接：https://arxiv.org/pdf/2410.19750
具體來(lái)說(shuō)，他們發(fā)現(xiàn) SAE 特征的概念宇宙在三個(gè)層面上具有有趣的結(jié)構(gòu)：
第一個(gè)是「原子」小尺度層面。在這個(gè)層面上，作者發(fā)現(xiàn)

原文鏈接：AI自己「長(zhǎng)出」了類(lèi)似大腦的「腦葉」？新研究揭示LLM特征的驚人幾何結(jié)構(gòu)