LeCun新作：神經(jīng)網(wǎng)絡(luò)在實踐中的靈活性到底有多大？

AIGC動態(tài)歡迎閱讀

原標(biāo)題：LeCun新作：神經(jīng)網(wǎng)絡(luò)在實踐中的靈活性到底有多大？
關(guān)鍵字：數(shù)據(jù),模型,神經(jīng)網(wǎng)絡(luò),樣本,標(biāo)簽
文章來源：新智元
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

新智元報道編輯：alan
【新智元導(dǎo)讀】神經(jīng)網(wǎng)絡(luò)擬合數(shù)據(jù)的能力受哪些因素影響？CNN一定比Transformer差嗎？ReLU和SGD還有哪些神奇的作用？近日，LeCun參與的一項工作向我們展示了神經(jīng)網(wǎng)絡(luò)在實踐中的靈活性。人工智能在今天百花齊放，大模型靠規(guī)模稱王，小模型則憑數(shù)據(jù)取勝。
當(dāng)然我們也希望，可以付出更少的資源，并達(dá)到相同的效果。
很早之前，谷歌就有相關(guān)研究，探索了在固定算力的情況下，如何分配模型參數(shù)量和訓(xùn)練數(shù)據(jù)量，以達(dá)到最好的性能。
近日，LeCun參與的一項工作從另一個角度向我們展示了，神經(jīng)網(wǎng)絡(luò)在實踐中的靈活性到底有多大？
論文地址：https://arxiv.org/pdf/2406.11463
這個靈活性指的是，神經(jīng)網(wǎng)絡(luò)擬合訓(xùn)練數(shù)據(jù)（樣本數(shù)量）的能力，在實際應(yīng)用中受到哪些因素的影響。
比如我們第一時間想到的可能就是模型的參數(shù)量。
人們普遍認(rèn)為，神經(jīng)網(wǎng)絡(luò)可以擬合至少與自身參數(shù)一樣多的訓(xùn)練樣本。
這就像是解一個線性方程組，有多少個參數(shù)（或者方程）、多少個未知數(shù)，從而判斷解的數(shù)量。
然而神經(jīng)網(wǎng)絡(luò)實際上要復(fù)雜的多，盡管在理論上能夠進(jìn)行通用函數(shù)逼近，但在實踐中，我們訓(xùn)練的模型容

原文鏈接：LeCun新作：神經(jīng)網(wǎng)絡(luò)在實踐中的靈活性到底有多大？

聯(lián)系作者

文章來源：新智元
作者微信：AI_era
作者簡介：智能+中國主平臺，致力于推動中國從互聯(lián)網(wǎng)+邁向智能+新紀(jì)元。重點關(guān)注人工智能、機(jī)器人等前沿領(lǐng)域發(fā)展，關(guān)注人機(jī)融合、人工智能和機(jī)器人對人類社會與文明進(jìn)化的影響，領(lǐng)航中國新智能時代。