AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：2030年，Scaling Law會(huì)到達(dá)極限嗎？GPT-6能出來(lái)嗎？
關(guān)鍵字：數(shù)據(jù),規(guī)模,模型,數(shù)據(jù)中心,電力
文章來(lái)源：Founder Park
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

9 月 2 日，馬斯克發(fā)文稱，其人工智能公司 xAI 的團(tuán)隊(duì)上線了一臺(tái)被稱為「Colossus」的訓(xùn)練集群，總共有 100000 個(gè)英偉達(dá)的 H100 GPU。
他還表示，接下來(lái)的幾個(gè)月里Colossus 的規(guī)模將擴(kuò)大一倍，達(dá)到 200,000 個(gè) GPU，其中 5 萬(wàn)個(gè)是更為先進(jìn)的 H200。
毫無(wú)疑問(wèn)，AI訓(xùn)練的規(guī)模正以驚人速度進(jìn)化，年增長(zhǎng)率已經(jīng)高達(dá)400%。
不過(guò)，這種狂飆能持續(xù)到2030年嗎？
EPOCHAI 的這篇文章論證了四個(gè)可能存在的增長(zhǎng)瓶頸：供電、芯片產(chǎn)能、數(shù)據(jù)稀缺、延遲。
到2030年，AI訓(xùn)練的計(jì)算量有望達(dá)到2e^29 FLOP，預(yù)示著新一代AI模型的誕生。準(zhǔn)備好迎接AI的下一個(gè)大了嗎？這可能需要數(shù)千億的投資，但回報(bào)可能是性的。
一些有意思的點(diǎn)：
2030年，很可能可以實(shí)現(xiàn)2e^29 FLOP的訓(xùn)練規(guī)模，2030的模型能力和現(xiàn)在相比，就像GPT-4和GPT-2的區(qū)別。
分布式訓(xùn)練有潛力克服集中式訓(xùn)練的電力瓶頸，實(shí)現(xiàn)比單一園區(qū)更大的訓(xùn)練規(guī)模。
到2030年，GPU的年產(chǎn)量預(yù)計(jì)將增長(zhǎng)30%到100%。
五年內(nèi)人類將耗盡全部文字語(yǔ)料，音視頻數(shù)據(jù)或?qū)⒕徑饩骄常|(zhì)量

原文鏈接：2030年，Scaling Law會(huì)到達(dá)極限嗎？GPT-6能出來(lái)嗎？

聯(lián)系作者

文章來(lái)源：Founder Park
作者微信：
作者簡(jiǎn)介：