
AIGC動態歡迎閱讀
原標題:全新神經網絡架構KAN一夜爆火!200參數頂30萬,MIT華人一作,輕松復現Nature封面AI數學研究
關鍵字:函數,表示,定理,參數,連續函數
文章來源:量子位
內容字數:4349字
內容摘要:
白交 衡宇 發自 凹非寺量子位 | 公眾號 QbitAI一種全新的神經網絡架構KAN,誕生了!
與傳統的MLP架構截然不同,且能用更少的參數在數學、物理問題上取得更高精度。
比如,200個參數的KANs,就能復現DeepMind用30萬參數的MLPs發現數學定理研究。
不僅準確性更高,并且還發現了新的公式。要知道后者可是登上Nature封面的研究啊~
在函數擬合、偏微分方程求解,甚至處理凝聚態物理方面的任務都比MLP效果要好。
而在大模型問題的解決上,KAN天然就能規避掉災難性遺忘問題,并且注入人類的習慣偏差或領域知識非常容易。
來自MIT、加州理工學院、東北大學等團隊的研究一出,瞬間引爆一整個科技圈:Yes We KAN!
甚至直接引出關于能否替代掉Transformer的MLP層的探討,有人已經準備開始嘗試……
有網友表示:這看起來像是機器學習的下一步。
讓機器學習每個特定神經元的最佳激活,而不是由我們人類決定使用什么激活函數。
還有人表示:可能正處于某些歷史發展的中間。
GitHub上也已經開源,也就短短兩三天時間就收獲1.1kStar。
對MLP“進行一個簡單的更改”跟MLP最
原文鏈接:全新神經網絡架構KAN一夜爆火!200參數頂30萬,MIT華人一作,輕松復現Nature封面AI數學研究
聯系作者
文章來源:量子位
作者微信:QbitAI
作者簡介:追蹤人工智能新趨勢,關注科技行業新突破
? 版權聲明
文章版權歸作者所有,未經允許請勿轉載。
相關文章
暫無評論...

粵公網安備 44011502001135號