MLP一夜掉！MIT加州理工等性KAN破記錄，發(fā)現(xiàn)數(shù)學(xué)定理碾壓DeepMind

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：MLP一夜掉！MIT加州理工等性KAN破記錄，發(fā)現(xiàn)數(shù)學(xué)定理碾壓DeepMind
關(guān)鍵字：函數(shù),參數(shù),變量,研究人員,解釋性
文章來源：新智元
內(nèi)容字?jǐn)?shù)：11271字

內(nèi)容摘要：

新智元報(bào)道編輯：桃子 LRS
【新智元導(dǎo)讀】無需懷念MLP，新網(wǎng)絡(luò)KAN基于柯爾莫哥洛夫-阿諾德定理，帶著更少的參數(shù)、更強(qiáng)的性能、更好的可解釋性來了，深度學(xué)習(xí)架構(gòu)革新進(jìn)入新時(shí)代！一夜之間，機(jī)器學(xué)習(xí)范式要變天了！
當(dāng)今，統(tǒng)治深度學(xué)習(xí)領(lǐng)域的基礎(chǔ)架構(gòu)便是，多層感知器（MLP）——將激活函數(shù)放置在神經(jīng)元上。
那么，除此之外，我們是否還有新的路線可走？就在今天，來自MIT、加州理工、東北大學(xué)等機(jī)構(gòu)的團(tuán)隊(duì)重磅發(fā)布了，全新的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)——Kolmogorov–Arnold Networks（KAN）。
研究人員對(duì)MLP做了一個(gè)簡單的改變，即將可學(xué)習(xí)的激活函數(shù)從節(jié)點(diǎn)（神經(jīng)元）移到邊（權(quán)重）上！
論文地址：https://arxiv.org/pdf/2404.19756
這個(gè)改變乍一聽似乎毫無根據(jù)，但它與數(shù)學(xué)中的「逼近理論」（approximation theories）有著相當(dāng)深刻的聯(lián)系。
事實(shí)證明，Kolmogorov-Arnold表示對(duì)應(yīng)兩層網(wǎng)絡(luò)，在邊上，而非節(jié)點(diǎn)上，有可學(xué)習(xí)的激活函數(shù)。
正是從表示定理得到啟發(fā)，研究人員用神經(jīng)網(wǎng)絡(luò)顯式地，將Kolmogorov-Arnold表示參數(shù)化。
值得一

原文鏈接：MLP一夜掉！MIT加州理工等性KAN破記錄，發(fā)現(xiàn)數(shù)學(xué)定理碾壓DeepMind

聯(lián)系作者

文章來源：新智元
作者微信：AI_era
作者簡介：智能+中國主平臺(tái)，致力于推動(dòng)中國從互聯(lián)網(wǎng)+邁向智能+新紀(jì)元。重點(diǎn)關(guān)注人工智能、機(jī)器人等前沿領(lǐng)域發(fā)展，關(guān)注人機(jī)融合、人工智能和機(jī)器人對(duì)人類社會(huì)與文明進(jìn)化的影響，領(lǐng)航中國新智能時(shí)代。