“Scaling Law的復活：預訓練時代的未來之路”

這屆NeurIPS將被銘記成預訓練終結的一屆會議

原標題：OpenAI附議Ilya預訓練終結！“但Scaling Law還沒死”
文章來源：量子位
內容字數：3115字

Scaling Law的再探討

在最近的NeurIPS會議上，OpenAI的Noam Brown發表了關于Scaling Law的重要演講，引發了對AI預訓練和推理計算的熱烈討論。許多專家認為，這次會議標志著預訓練時代的終結，同時Scaling Law依然具有活力。

1. Scaling Law的演變

Noam Brown回顧了自2019年以來AI的發展歷程，從GPT-2到GPT-4的巨大進步主要得益于數據和算力規模的擴大。然而，Brown指出，即使是在這個過程中，大語言模型在解決簡單問題（如井字棋）時依然面臨挑戰，這引發了一個重要問題：我們是否還需要繼續增加訓練成本來提升AI性能？

2. 推理計算的重要性

Brown強調，推理的成本在過去的Scaling中被低估。他提到o1引入了Scaling的全新視角，指出在某些情況下，增加模型的推理時間能顯著提升其效能。例如，在撲克游戲中，增加模型的搜索時間可以帶來相當于擴大模型規模的顯著效果。

3. 推理與大模型的關系

他進一步引用了Andy L. Jones的研究，表明在游戲領域，增加測試時間的計算量能夠有效提升模型的表現。Brown提出，如果將這一原則應用到大語言模型上，未來可能會實現更強的推理計算能力。

4. 業界反響與不同觀點

對于Brown的觀點，業內人士表示推理時間計算并非新鮮事物，許多游戲最初就注重推理時間，但隨著研究的發展，大家更多地轉向了離線學習策略，從而減少了在線計算時間。這種趨勢在大語言模型中也同樣存在，導致了對推理時間的關注減弱。

5. 未來的方向與挑戰

Ilya在會上也提到，現有的AI系統尚未真正理解和進行推理，未來的AI將可能在推理和決策方面表現出更強的能力。然而，Brown的演講讓與會者對Scaling Law在大模型中的應用前景充滿期待。

結語

此次NeurIPS會議不僅是對Scaling Law的重新審視，也為AI的未來發展提供了新的思路。隨著推理計算的進一步探索，我們有望看到更高效、更智能的AI系統的誕生。

聯系作者

文章來源：量子位
作者微信：
作者簡介：追蹤人工智能新趨勢，關注科技行業新突破