原標題：是百度太低調了嗎？網傳Scaling Law開山之作來自百度研究院
文章來源：夕小瑤科技說
內容字數：5161字

1. 引言

最近，Anthropic的CEO Dario Amodei在采訪中提到，Scaling Law的概念最早在2014年于百度被發現，這一消息引發了廣泛關注。Scaling Law，或稱為“擴展法則”，指的是隨著模型規模和訓練數據的增加，模型性能顯著提升的現象。

2. Scaling Law的起源

根據Amodei的說法，2014年他與吳恩達在百度工作時觀察到了這一規律。雖然OpenAI于2020年發表了相關論文，使得Scaling Law廣為人知，但實際上，早在2017年，百度的研究就已揭示了深度學習模型的泛化誤差與模型大小和訓練集規模之間的可預測關系。

3. 百度2017年論文的貢獻

百度的論文《Deep Learning Scaling Is Predictable,Empirically》通過大規模實證研究，探討了四個機器學習領域中模型性能與數據集規模的關系。研究表明，隨著訓練數據的增加，泛化誤差和模型大小呈現冪律縮放關系。盡管模型改進會改變冪律截距，但冪律指數保持不變。這項研究為后來的Scaling Law奠定了基礎。

4. 研究方法與實驗

研究團隊選取了不同規模的數據集，并對模型進行超參數調整，以觀察性能變化。他們發現，當訓練集足夠大時，模型性能會趨近于理論上的不可約誤差。這一發現為理解深度學習中的Scaling Law提供了重要的實證支持。

5. 百度的AI發展歷程

回顧百度在AI領域的發展，李彥宏曾試圖引進圖靈獎得主Geoffrey Hinton的團隊，但未能成功。隨后，他帶領百度成立了硅谷人工智能實驗室，招募了吳恩達等多位AI領域的知名專家，推動了百度在AI研究上的進展。

6. 結論

盡管百度在Scaling Law研究上的貢獻被忽視，但其早期的研究成果為深度學習的發展提供了重要的理論基礎。隨著這一領域的不斷深入，人們對Scaling Law的理解將更加全面，百度的努力也將得到應有的認可。

聯系作者

文章來源：夕小瑤科技說
作者微信：
作者簡介：專業、有趣、深度價值導向的科技媒體。聚集30萬AI工程師、研究員，覆蓋500多家海內外機構投資人，互聯網大廠中高管和AI公司創始人。一線作者來自清北、國內外頂級AI實驗室和大廠，兼備敏銳的行業嗅覺和洞察深度。商務合作：zym5189