Scaling Law沒錯，但是現階段不能再這樣用了

原標題：Ilya承認Scaling Law到頭了，Meta和谷歌尋找替代o1的方法
文章來源：大數據文摘
內容字數：5054字

OpenAI的新模型：從GPT-5到o1的轉變

近期，全球科技界的目光聚焦于OpenAI即將推出的下一代模型，究竟是o2還是GPT-5？這一問題在11月份便已引起討論。OpenAI的CEO Altman提到，下一代技術不會是GPT的簡單迭代，而是探索新的訓練范式。

Scaling Law的局限性

GPT系列模型依賴于Scaling Law推動性能提升，但這種依賴逐漸顯現出局限性。隨著技術進步，模型性能的優化和改進速度放緩。OpenAI的前合伙人Ilya指出，Scaling Law已達到極限，全球可用于訓練的數據幾乎被全部使用，單純增加數據和算力已無助于進一步提升性能。

新訓練范式的探索

在這種背景下，OpenAI推出的o1模型代表了一種全新的訓練范式，探索超越傳統GPT架構的新途徑。該模型可能與推理能力更緊密結合，未來有可能被重新命名為o2。

測試時計算策略

OpenAI的新策略是測試時計算，通過在推理過程中增加計算資源，使模型能夠實時生成和評估多個選項。這種方法在處理復雜任務時能夠進行更深入的思考與分析，提升模型性能并降低對資源的依賴。

其他科技公司的創新嘗試

同時，Meta和Google等科技巨頭也在尋找替代Scaling Law的方法。Meta提出的“思維偏好優化”（TPO）技術，旨在讓模型在執行任務前進行“思考”；而Google的鏈式推理（CoT）方法則通過增加推理時的計算量，提升模型在復雜問題上的表現。

結論

AI的發展驗證了Scaling Law的有效性，但也引發了關于其局限性的爭議。未來的Scaling Law或許需要與算法創新相結合，探索模型壓縮、少樣本學習等新技術，以實現算力與算法的最佳配合。

聯系作者

文章來源：大數據文摘
作者微信：
作者簡介：普及數據思維，傳播數據文化