Scaling Law撞墻，AI圈炸鍋了！OpenAI旗艦Orion被曝遭遇瓶頸，大改技術(shù)路線

AIGC動態(tài)歡迎閱讀

原標(biāo)題：Scaling Law撞墻，AI圈炸鍋了！OpenAI旗艦Orion被曝遭遇瓶頸，大改技術(shù)路線
關(guān)鍵字：報告,模型,知識產(chǎn)權(quán),人工智能,數(shù)據(jù)
文章來源：人工智能學(xué)家
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

來源：機器學(xué)習(xí)研究組訂閱
怎么回事，大模型Scaling Law也撞墻了？
幾天前，Sam Altman在YC獨家專訪中大膽預(yù)言，2025年AGI降臨，并期待在同年要一個孩子。沒想到，The Information緊接著的一份獨家爆料，直接打臉Altman：
GPT系列模型改進(jìn)緩慢，OpenAI正在轉(zhuǎn)變策略，另謀出路。
據(jù)稱，下一代旗艦?zāi)Ｐ蚈rion并不像前代實現(xiàn)巨大的飛躍，雖然性能會超越OpenAI現(xiàn)有模型，但相較于從GPT-3到GPT-4的迭代，改進(jìn)幅度要小得多。
不僅如此，這種提升也基本局限在了語言能力上——Orion的代碼能力甚至不如舊模型，但成本卻更高。
這篇文章直擊OpenAI痛點，提出Scaling Law逐漸放緩，原因之一是高質(zhì)量文本數(shù)據(jù)越來越少。
為此，OpenAI成立專門的基礎(chǔ)團(tuán)隊，去研究如何解決訓(xùn)練數(shù)據(jù)匱乏問題改進(jìn)模型，以及Scaling Law還能適用多久。
一時間，全網(wǎng)掀起了熱議——對LLM能否通向AGI的質(zhì)疑聲此起彼伏。
向來都在唱衰的NYU教授馬庫斯，更是直接單方面宣布「勝利」：游戲結(jié)束，我贏了！
馬庫斯：我早就說過，GPT正在陷入收益遞減階段
為了扭轉(zhuǎn)這

原文鏈接：Scaling Law撞墻，AI圈炸鍋了！OpenAI旗艦Orion被曝遭遇瓶頸，大改技術(shù)路線

聯(lián)系作者

文章來源：人工智能學(xué)家
作者微信：
作者簡介：