AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：天塌了，Scaling Law 已撞收益遞減墻？OpenAI 在內(nèi)，所有大模型都正遭遇巨大瓶頸
關(guān)鍵字：元宇宙,模型,小米,數(shù)據(jù),研究人員
文章來(lái)源：AI前線
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

整理 | 華衛(wèi)、核子可樂(lè)
近日，有外媒報(bào)道稱(chēng)，OpenAI 正在制定新策略，以應(yīng)對(duì)人工智能大模型改進(jìn)速度放緩的問(wèn)題。消息一出，知名認(rèn)知科學(xué)家、AI 研究員 Gary Marcus 立即表示，“正如我所說(shuō)，GPT 正在進(jìn)入收益遞減的時(shí)期。”而近期，遭遇發(fā)展瓶頸的大模型似乎并不只有 GPT，所遇到的問(wèn)題也遠(yuǎn)不僅于一個(gè)。OpenAI 在內(nèi)，都撞到了同一堵墻
根據(jù) The Information 的最新報(bào)道，OpenAI 的下一個(gè)旗艦?zāi)Ｐ涂赡懿粫?huì)像其“前輩”那樣帶來(lái)巨大的飛躍。測(cè)試代號(hào)為 Orion 的新模型的 OpenAI 員工發(fā)現(xiàn)，盡管它的性能超過(guò)了 OpenAI 的現(xiàn)有模型，并且只完成了 20% 的訓(xùn)練就達(dá)到了 GPT-4 的水平，但與從 GPT-3 到 GPT-4 的巨大飛躍相比，整體質(zhì)量的提升要小得多。
換句話說(shuō)，GPT 的升級(jí)速度似乎正在放緩。事實(shí)上，Orion 在某些領(lǐng)域（如編碼）可能并不會(huì)比以前的模型更好。對(duì)于此前有關(guān)其旗艦車(chē)型計(jì)劃的消息時(shí)，OpenAI 方面表示：“我們今年沒(méi)有發(fā)布 Orion 模型的計(jì)劃。
報(bào)道提到，GPT 開(kāi)發(fā)速度放緩的部分原因是用于預(yù)訓(xùn)練的文本和數(shù)據(jù)供應(yīng)

原文鏈接：天塌了，Scaling Law 已撞收益遞減墻？OpenAI 在內(nèi)，所有大模型都正遭遇巨大瓶頸

聯(lián)系作者

文章來(lái)源：AI前線
作者微信：
作者簡(jiǎn)介：