KAN網絡技術最全解析——最熱KAN能否干掉MLP和Transformer？

AIGC動態歡迎閱讀

原標題：KAN網絡技術最全解析——最熱KAN能否干掉MLP和Transformer？
關鍵字：函數,知乎,多項式,算子,表征
文章來源：算法邦
內容字數：8852字

內容摘要：

導讀本文來自知乎，已獲授權，作者為陳巍博士。本文對KAN網絡進行了深入解析，涉及KAN網絡的基本思路、架構與縮放、可解釋性。
陳巍博士，千芯科技董事長，曾擔任華X系相關自然語言處理企業的首席科學家，大模型算法-芯片協同設計專家，國際計算機學會（ACM）會員、中國計算機學會（CCF）專業會員。主要研究領域包括大模型（Finetune、Agent、RAG）、存算一體、GPGPU。
原文鏈接：https://zhuanlan.zhihu.com/p/695830208KAN網絡結構思路來自Kolmogorov-Arnold表示定理。MLP 在節點（“神經元”）上具有固定的激活函數，而 KAN 在邊（“權重”）上具有可學習的激活函數。在數據擬合和 PDE 求解中，較小的 KAN 可以比較大的 MLP 獲得更好的準確性。
相對MLP，KAN也具備更好的可解釋性，適合作為數學和物理研究中的輔助模型，幫助發現和尋找更基礎的數值規律。（點贊是我們分享的動力）
MLP與KAN對比
與傳統的MLP 相比，KAN 有4個主要特點：
1）激活函數位于“邊”而不是節點（Node）上；
2）激活函數是可學習的而不

原文鏈接：KAN網絡技術最全解析——最熱KAN能否干掉MLP和Transformer？

聯系作者

文章來源：算法邦
作者微信：allplusai
作者簡介：智猩猩矩陣賬號之一，聚焦生成式AI，重點關注模型與應用。