MLP一夜掉！MIT加州理工等性KAN破記錄，發現數學定理碾壓DeepMind

AIGC動態歡迎閱讀

原標題：MLP一夜掉！MIT加州理工等性KAN破記錄，發現數學定理碾壓DeepMind
關鍵字：函數,參數,變量,研究人員,解釋性
文章來源：新智元
內容字數：11271字

內容摘要：

新智元報道編輯：桃子 LRS
【新智元導讀】無需懷念MLP，新網絡KAN基于柯爾莫哥洛夫-阿諾德定理，帶著更少的參數、更強的性能、更好的可解釋性來了，深度學習架構革新進入新時代！一夜之間，機器學習范式要變天了！
當今，統治深度學習領域的基礎架構便是，多層感知器（MLP）——將激活函數放置在神經元上。
那么，除此之外，我們是否還有新的路線可走？就在今天，來自MIT、加州理工、東北大學等機構的團隊重磅發布了，全新的神經網絡結構——Kolmogorov–Arnold Networks（KAN）。
研究人員對MLP做了一個簡單的改變，即將可學習的激活函數從節點（神經元）移到邊（權重）上！
論文地址：https://arxiv.org/pdf/2404.19756
這個改變乍一聽似乎毫無根據，但它與數學中的「逼近理論」（approximation theories）有著相當深刻的聯系。
事實證明，Kolmogorov-Arnold表示對應兩層網絡，在邊上，而非節點上，有可學習的激活函數。
正是從表示定理得到啟發，研究人員用神經網絡顯式地，將Kolmogorov-Arnold表示參數化。
值得一

原文鏈接：MLP一夜掉！MIT加州理工等性KAN破記錄，發現數學定理碾壓DeepMind

聯系作者

文章來源：新智元
作者微信：AI_era
作者簡介：智能+中國主平臺，致力于推動中國從互聯網+邁向智能+新紀元。重點關注人工智能、機器人等前沿領域發展，關注人機融合、人工智能和機器人對人類社會與文明進化的影響，領航中國新智能時代。