AIGC動態歡迎閱讀
原標題:反轉了?在一場新較量中,號稱替代MLP的KAN只贏一局
關鍵字:函數,數據,參數,解讀,表示
文章來源:機器之心
內容字數:0字
內容摘要:
機器之心報道
機器之心編輯部KAN 在符號表示中領先,但 MLP 仍是多面手。
多層感知器 (Multi-Layer Perceptrons,MLP) ,也被稱為全連接前饋神經網絡,是當今深度學習模型的基本組成部分。MLP 的重要性無論怎樣強調都不為過,因為它是機器學習中用于逼近非線性函數的默認方法。
然而,MLP 也存在某些局限性,例如難以解釋學習到的表示,以及難以靈活地擴展網絡規模。
KAN(Kolmogorov–Arnold Networks)的出現,為傳統 MLP 提供了一種創新的替代方案。該方法在準確性和可解釋性方面優于 MLP,而且,它能以非常少的參數量勝過以更大參數量運行的 MLP。
那么,問題來了,KAN 、MLP 到底該選哪一種?有人支持 MLP,因為 KAN 只是一個普通的 MLP,根本替代不了,但也有人則認為 KAN 更勝一籌,而當前對兩者的比較也是局限在不同參數或 FLOP 下進行的,實驗結果并不公平。
為了探究 KAN 的潛力,有必要在公平的設置下全面比較 KAN 和 MLP 了。
為此,來自新加坡國立大學的研究者在控制了 KAN 和 MLP 的參數或 FLO
原文鏈接:反轉了?在一場新較量中,號稱替代MLP的KAN只贏一局
聯系作者
文章來源:機器之心
作者微信:
作者簡介:
? 版權聲明
文章版權歸作者所有,未經允許請勿轉載。
相關文章
暫無評論...