爆火后反轉(zhuǎn)？「一夜干掉MLP」的KAN：其實(shí)我也是MLP

AIGC動(dòng)態(tài)1年前 (2024)發(fā)布機(jī)器之心

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：爆火后反轉(zhuǎn)？「一夜干掉MLP」的KAN：其實(shí)我也是MLP
關(guān)鍵字：解釋性,作者,參數(shù),論文,線(xiàn)性
文章來(lái)源：機(jī)器之心
內(nèi)容字?jǐn)?shù)：8473字

內(nèi)容摘要：

機(jī)器之心報(bào)道
編輯：蛋醬、張倩KAN 作者：我想傳達(dá)的信息不是「KAN 很棒」，而是「嘗試批判性地思考當(dāng)前的架構(gòu)，并尋求從根本上不同的替代方案，這些方案可以完成有趣、有用的事情。」多層感知器（MLP），也被稱(chēng)為全連接前饋神經(jīng)網(wǎng)絡(luò)，是當(dāng)今深度學(xué)習(xí)模型的基礎(chǔ)構(gòu)建塊。MLP 的重要性無(wú)論怎樣強(qiáng)調(diào)都不為過(guò)，因?yàn)樗鼈兪菣C(jī)器學(xué)習(xí)中用于逼近非線(xiàn)性函數(shù)的默認(rèn)方法。
但是最近，來(lái)自 MIT 等機(jī)構(gòu)的研究者提出了一種非常有潛力的替代方法 ——KAN。該方法在準(zhǔn)確性和可解釋性方面表現(xiàn)優(yōu)于 MLP。而且，它能以非常少的參數(shù)量勝過(guò)以更大參數(shù)量運(yùn)行的 MLP。比如，作者表示，他們用 KAN 重新發(fā)現(xiàn)了結(jié)理論中的數(shù)學(xué)規(guī)律，以更小的網(wǎng)絡(luò)和更高的自動(dòng)化程度重現(xiàn)了 DeepMind 的結(jié)果。具體來(lái)說(shuō)，DeepMind 的 MLP 有大約 300000 個(gè)參數(shù)，而 KAN 只有大約 200 個(gè)參數(shù)。
這些驚人的結(jié)果讓 KAN 迅速走紅，吸引了很多人對(duì)其展開(kāi)研究。很快，有人提出了一些質(zhì)疑。其中，一篇標(biāo)題為《KAN is just MLP》的 Colab 文檔成為了議論的焦點(diǎn)。KAN 只是一個(gè)普通的 MLP？
上述文檔的作者

原文鏈接：爆火后反轉(zhuǎn)？「一夜干掉MLP」的KAN：其實(shí)我也是MLP