大模型內(nèi)部也有功能分區(qū)，MIT團(tuán)隊(duì)揭示其“大腦”結(jié)構(gòu)

AIGC動態(tài)歡迎閱讀

原標(biāo)題：大模型內(nèi)部也有功能分區(qū)，MIT團(tuán)隊(duì)揭示其“大腦”結(jié)構(gòu)
關(guān)鍵字：特征,向量,模型,概念,幾何
文章來源：人工智能學(xué)家
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

來源：DeepTech深科技
AI 的“大腦”究竟長什么樣？
近期，來自美國麻省理工學(xué)院的研究團(tuán)隊(duì)通過稀疏自編碼器（SAE，Sparse Autoencoder）在大語言模型的激活空間中發(fā)現(xiàn)了大量可解釋的向量點(diǎn)，這些向量點(diǎn)代表了模型所掌握的各種概念。
研究人員對這些概念空間（向量點(diǎn)）的結(jié)構(gòu)進(jìn)行了深入分析，從“原子”“大腦”“星系”三個(gè)不同的空間尺度揭示了其獨(dú)特的幾何特征。
這項(xiàng)研究的重要意義在于，它在試圖搞清楚大模型是如何在內(nèi)部組織知識的。研究成果以預(yù)印本的形式發(fā)表。（來源：arXiv）
就像理解人類大腦結(jié)構(gòu)幫助我們理解人類思維一樣，分析模型內(nèi)部的概念結(jié)構(gòu)有助于我們理解人工智能是如何工作的。這些發(fā)現(xiàn)不僅有理論價(jià)值，也可能幫助我們設(shè)計(jì)出更好的語言模型。
在最微觀的“原子”尺度上，研究發(fā)現(xiàn)概念空間中存在“晶體”結(jié)構(gòu)。這些晶體幾何結(jié)構(gòu)代表的是語義關(guān)系（semantic relations），呈現(xiàn)出平行四邊形或梯形的形態(tài)。
這種幾何理解為詞匯和語義賦予了擁有數(shù)學(xué)特征的向量空間。
更通俗的解釋是，它們可以呈現(xiàn)出一種經(jīng)典的概念（詞）類比關(guān)系：女人-男人≈ 女王-。
從向量的角度來看，從“女人”

原文鏈接：大模型內(nèi)部也有功能分區(qū)，MIT團(tuán)隊(duì)揭示其“大腦”結(jié)構(gòu)