天塌了，Scaling Law 已撞收益遞減墻？OpenAI 在內，所有大模型都正遭遇巨大瓶頸

AIGC動態歡迎閱讀

原標題：天塌了，Scaling Law 已撞收益遞減墻？OpenAI 在內，所有大模型都正遭遇巨大瓶頸
關鍵字：元宇宙,模型,小米,數據,研究人員
文章來源：AI前線
內容字數：0字

內容摘要：

整理 | 華衛、核子可樂
近日，有外媒報道稱，OpenAI 正在制定新策略，以應對人工智能大模型改進速度放緩的問題。消息一出，知名認知科學家、AI 研究員 Gary Marcus 立即表示，“正如我所說，GPT 正在進入收益遞減的時期。”而近期，遭遇發展瓶頸的大模型似乎并不只有 GPT，所遇到的問題也遠不僅于一個。OpenAI 在內，都撞到了同一堵墻
根據 The Information 的最新報道，OpenAI 的下一個旗艦模型可能不會像其“前輩”那樣帶來巨大的飛躍。測試代號為 Orion 的新模型的 OpenAI 員工發現，盡管它的性能超過了 OpenAI 的現有模型，并且只完成了 20% 的訓練就達到了 GPT-4 的水平，但與從 GPT-3 到 GPT-4 的巨大飛躍相比，整體質量的提升要小得多。
換句話說，GPT 的升級速度似乎正在放緩。事實上，Orion 在某些領域（如編碼）可能并不會比以前的模型更好。對于此前有關其旗艦車型計劃的消息時，OpenAI 方面表示：“我們今年沒有發布 Orion 模型的計劃。
報道提到，GPT 開發速度放緩的部分原因是用于預訓練的文本和數據供應

原文鏈接：天塌了，Scaling Law 已撞收益遞減墻？OpenAI 在內，所有大模型都正遭遇巨大瓶頸

聯系作者

文章來源：AI前線
作者微信：
作者簡介：