KAN結合Transformer，真有團隊搞出了解決擴展缺陷的KAT

AIGC動態歡迎閱讀

原標題：KAN結合Transformer，真有團隊搞出了解決擴展缺陷的KAT
關鍵字：函數,模型,作者,參數,初始化
文章來源：機器之心
內容字數：0字

內容摘要：

機器之心報道
編輯：小舟、陳陳Transformer 是現代深度學習的基石。傳統上，Transformer 依賴多層感知器 (MLP) 層來混合通道之間的信息。
前段時間，來自 MIT 等機構的研究者提出了一種非常有潛力的替代方法 ——KAN。該方法在準確性和可解釋性方面表現優于 MLP。而且，它能以非常少的參數量勝過以更大參數量運行的 MLP。
KAN的發布，引起了AI社區大量的關注與討論，同時也伴隨很大的爭議。而此類研究，又有了新的進展。
最近，來自新加坡國立大學的研究者提出了 Kolmogorov–Arnold Transformer（KAT），用 Kolmogorov-Arnold Network（KAN）層取代 MLP 層，以增強模型的表達能力和性能。論文標題：Kolmogorov–Arnold Transformer
論文地址：https://arxiv.org/pdf/2409.10594
項目地址：https://github.com/Adamdad/kat
KAN 原論文第一作者 Ziming Liu 也轉發點贊了這項新研究。將 KAN 集成到 Transformer

原文鏈接：KAN結合Transformer，真有團隊搞出了解決擴展缺陷的KAT

聯系作者

文章來源：機器之心
作者微信：
作者簡介：