大模型內部也有功能分區，MIT團隊揭示其“大腦”結構

AIGC動態歡迎閱讀

原標題：大模型內部也有功能分區，MIT團隊揭示其“大腦”結構
關鍵字：特征,向量,模型,概念,幾何
文章來源：人工智能學家
內容字數：0字

內容摘要：

來源：DeepTech深科技
AI 的“大腦”究竟長什么樣？
近期，來自美國麻省理工學院的研究團隊通過稀疏自編碼器（SAE，Sparse Autoencoder）在大語言模型的激活空間中發現了大量可解釋的向量點，這些向量點代表了模型所掌握的各種概念。
研究人員對這些概念空間（向量點）的結構進行了深入分析，從“原子”“大腦”“星系”三個不同的空間尺度揭示了其獨特的幾何特征。
這項研究的重要意義在于，它在試圖搞清楚大模型是如何在內部組織知識的。研究成果以預印本的形式發表。（來源：arXiv）
就像理解人類大腦結構幫助我們理解人類思維一樣，分析模型內部的概念結構有助于我們理解人工智能是如何工作的。這些發現不僅有理論價值，也可能幫助我們設計出更好的語言模型。
在最微觀的“原子”尺度上，研究發現概念空間中存在“晶體”結構。這些晶體幾何結構代表的是語義關系（semantic relations），呈現出平行四邊形或梯形的形態。
這種幾何理解為詞匯和語義賦予了擁有數學特征的向量空間。
更通俗的解釋是，它們可以呈現出一種經典的概念（詞）類比關系：女人-男人≈ 女王-。
從向量的角度來看，從“女人”

原文鏈接：大模型內部也有功能分區，MIT團隊揭示其“大腦”結構