AIGC動態歡迎閱讀

原標題：LeCun新作：神經網絡在實踐中的靈活性到底有多大？
關鍵字：數據,模型,神經網絡,樣本,標簽
文章來源：新智元
內容字數：0字

內容摘要：

新智元報道編輯：alan
【新智元導讀】神經網絡擬合數據的能力受哪些因素影響？CNN一定比Transformer差嗎？ReLU和SGD還有哪些神奇的作用？近日，LeCun參與的一項工作向我們展示了神經網絡在實踐中的靈活性。人工智能在今天百花齊放，大模型靠規模稱王，小模型則憑數據取勝。
當然我們也希望，可以付出更少的資源，并達到相同的效果。
很早之前，谷歌就有相關研究，探索了在固定算力的情況下，如何分配模型參數量和訓練數據量，以達到最好的性能。
近日，LeCun參與的一項工作從另一個角度向我們展示了，神經網絡在實踐中的靈活性到底有多大？
論文地址：https://arxiv.org/pdf/2406.11463
這個靈活性指的是，神經網絡擬合訓練數據（樣本數量）的能力，在實際應用中受到哪些因素的影響。
比如我們第一時間想到的可能就是模型的參數量。
人們普遍認為，神經網絡可以擬合至少與自身參數一樣多的訓練樣本。
這就像是解一個線性方程組，有多少個參數（或者方程）、多少個未知數，從而判斷解的數量。
然而神經網絡實際上要復雜的多，盡管在理論上能夠進行通用函數逼近，但在實踐中，我們訓練的模型容

原文鏈接：LeCun新作：神經網絡在實踐中的靈活性到底有多大？

聯系作者

文章來源：新智元
作者微信：AI_era
作者簡介：智能+中國主平臺，致力于推動中國從互聯網+邁向智能+新紀元。重點關注人工智能、機器人等前沿領域發展，關注人機融合、人工智能和機器人對人類社會與文明進化的影響，領航中國新智能時代。