這屆NeurIPS將被銘記成預訓練終結的一屆會議

原標題：OpenAI附議Ilya預訓練終結！“但Scaling Law還沒死”
文章來源：量子位
內容字數：3115字

Scaling Law的未來探討

在最近的NeurIPS會議上，OpenAI的Noam Brown分享了對Scaling Law的深刻見解，討論了AI預訓練的未來和推理計算的重要性。這場演講引發了關于AI發展方向的熱烈討論，尤其是在預訓練即將終結的背景下，Scaling Law是否仍然適用的問題。

1. Scaling Law的演變

Noam Brown回顧了自2019年以來，AI領域從GPT-2到GPT-4的巨大進步，這些成就主要得益于數據和算力的規模擴大。然而，他指出，盡管大語言模型在許多方面表現出色，但在解決簡單問題上仍存在不足，例如井字棋。這引發了一個關鍵問題：我們是否仍需繼續投入更多資源訓練更強大的AI？

2. 推理計算的重要性

Brown強調，推理計算的成本在過去的Scaling中被低估。他提到，在撲克模型的擴展中，雖然模型規模每年擴大五倍，但效果卻不明顯。相反，增加推理時間可以顯著提高模型表現，20秒的搜索時間相當于將模型規模擴大100000倍。此外，他還提到AlphaGo Zero的成功，證明了推理時間的重要性。

3. 對未來的展望

Brown預見o1將在推理計算能力方面取得更高的成就，認為未來的AI將能在多步推理和自我博弈中展現出更強的能力。他的團隊正致力于多智能體AI的研究，并積極招募人才。

4. 業內爭議與觀點

盡管Brown的觀點引起了廣泛關注，但也有業內人士對此提出異議。他們認為，推理時間計算并不新鮮，許多游戲的早期發展也曾專注于此。此外，他們指出，過于強調預訓練可能導致推理計算成本被忽視，從而影響用戶體驗。

5. 結語

這場關于Scaling Law的討論不僅揭示了當前AI研究的復雜性，也為未來的發展指明了方向。雖然預訓練時代可能接近尾聲，但推理計算的潛力仍待進一步探討。科學家們的持續探索將為AI的未來帶來更多可能性。

聯系作者

文章來源：量子位
作者微信：
作者簡介：追蹤人工智能新趨勢，關注科技行業新突破