Scaling Law 又一次性感了嗎？

AIGC動態歡迎閱讀

原標題：Scaling Law 又一次性感了嗎？
關鍵字：解讀,模型,報告,數據,性能
文章來源：機器之心
內容字數：5016字

內容摘要：

專題解讀
：Sora 的出現被認為是 Scaling Law 的又一次成功，這也引起了社區中更多對 Scaling Law 的討論。
自 OpenAI 發布 Sora，業界對該模型的能力及其所帶來的影響和機會討論不斷。雖然 OpenAI 沒有放出 Sora 的訓練細節，但在其技術報告中又一次強調該公司所擁護的核心理念——Scaling Law。即，支持 Sora 的 Diffusion Transformer 模型同樣符合 Scale effectively），隨著訓練計算量增加，視頻質量顯著提升。這讓 Scaling Law 再次成為人工智能領域的熱點話題。
Scaling Law 是什么？
1、針對語言模型的 Scaling Law 來自 OpenAI 2020 年發布的論文，其釋義可簡要總結為：隨著「模型大小」、「數據集大小」、「（用于訓練的）計算浮點數」的增加，模型的性能會提高。當不受其他兩個因素的制約時，模型性能與每個單獨的因素都有冪律關系。
① 模型性能受三個因素共同影響，其中計算量對性能的提升最為顯著，其次是模型參數，而數據集大小的影響相對較小。在資源不受限制的情況下

原文鏈接：Scaling Law 又一次性感了嗎？

聯系作者

文章來源：機器之心
作者微信：almosthuman2014
作者簡介：專業的人工智能媒體和產業服務平臺