The Information爆料:OpenAI調(diào)整大模型方向,Scaling Law撞墻?
AIGC動(dòng)態(tài)歡迎閱讀
原標(biāo)題:The Information爆料:OpenAI調(diào)整大模型方向,Scaling Law撞墻?
關(guān)鍵字:模型,表示,數(shù)據(jù),員工,人工智能
文章來(lái)源:Founder Park
內(nèi)容字?jǐn)?shù):0字
內(nèi)容摘要:
文章轉(zhuǎn)載自「機(jī)器之心」。
有研究預(yù)計(jì),如果 LLM 保持現(xiàn)在的發(fā)展勢(shì)頭,預(yù)計(jì)在 2028 年左右,已有的數(shù)據(jù)儲(chǔ)量將被全部利用完。屆時(shí),基于大數(shù)據(jù)的大模型的發(fā)展將可能放緩甚至陷入停滯。來(lái)自論文《Will we run out of data? Limits of LLM scaling based on human-generated data》
但似乎我們不必等到 2028 年了。昨天,The Information 發(fā)布了一篇獨(dú)家報(bào)道《隨著 GPT 提升減速,OpenAI 改變策略》,其中給出了一些頗具爭(zhēng)議的觀點(diǎn):
OpenAI 的下一代旗艦?zāi)P偷馁|(zhì)量提升幅度不及前兩款旗艦?zāi)P椭g的質(zhì)量提升;
AI 產(chǎn)業(yè)界正將重心轉(zhuǎn)向在初始訓(xùn)練后再對(duì)模型進(jìn)行提升;
OpenAI 已成立一個(gè)基礎(chǔ)團(tuán)隊(duì)來(lái)研究如何應(yīng)對(duì)訓(xùn)練數(shù)據(jù)的匱乏。
文章發(fā)布后,熱議不斷。我們編譯了報(bào)道原文和 X 上的一些討論。01OpenAI 員工明確不認(rèn)同觀點(diǎn)OpenAI 著名研究科學(xué)家 Noam Brown 直接表示了反對(duì)(雖然那篇文章中也引用了他的觀點(diǎn))。他表示 AI 的發(fā)展短期內(nèi)并不會(huì)放緩。并且他前些天還在另一篇 X 推文中表示
原文鏈接:The Information爆料:OpenAI調(diào)整大模型方向,Scaling Law撞墻?
聯(lián)系作者
文章來(lái)源:Founder Park
作者微信:
作者簡(jiǎn)介: