曝OpenAI新旗艦模型“難產”，或明年年初發布

AIGC動態歡迎閱讀

原標題：曝OpenAI新旗艦模型“難產”，或明年年初發布
關鍵字：模型,數據,瓶頸,任務,布朗
文章來源：智東西
內容字數：0字

內容摘要：

GPT進展放緩，OpenAI撞上數據墻，努力尋找出路。
編譯|汪越
編輯|Panken
智東西11月11日消息，據The Information報道，OpenAI的GPT系列模型改進速度放緩，公司正調整策略以應對這一挑戰。據OpenAI員工透露，下一代旗艦模型Orion已完成約20%的訓練。Orion在語言任務上表現出色，但在編碼等方面未超越GPT-4，且運行成本偏高，提升幅度低于預期。此外，Orion在明年年初發布時，可能不會沿用傳統的“GPT”命名規則，而是采用新的命名方式。
Orion的開發暴露了高質量文本數據短缺的問題。根據Scaling Law理論，模型性能應隨數據量和算力的增加而提升。但高質量數據的有限性已使Orion的訓練效果受限，令Scaling Law的適用性受到質疑。即便投入更多數據和算力，模型的提升速度也可能不再如前幾代那樣顯著。
為此，OpenAI成立了一個專門團隊，研究如何克服數據短缺的挑戰，評估Scaling Law還能適用多久。01.
撞上數據墻，
Orion在某些方面神似舊模型
據OpenAI員工透露，GPT改進速度放緩的重要原因是高質量文本和其他數據的

原文鏈接：曝OpenAI新旗艦模型“難產”，或明年年初發布

聯系作者

文章來源：智東西
作者微信：
作者簡介：