2030年，Scaling Law會到達(dá)極限嗎？GPT-6能出來嗎？

AIGC動態(tài)歡迎閱讀

原標(biāo)題：2030年，Scaling Law會到達(dá)極限嗎？GPT-6能出來嗎？
關(guān)鍵字：數(shù)據(jù),規(guī)模,模型,數(shù)據(jù)中心,電力
文章來源：Founder Park
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

9 月 2 日，馬斯克發(fā)文稱，其人工智能公司 xAI 的團(tuán)隊上線了一臺被稱為「Colossus」的訓(xùn)練集群，總共有 100000 個英偉達(dá)的 H100 GPU。
他還表示，接下來的幾個月里Colossus 的規(guī)模將擴(kuò)大一倍，達(dá)到 200,000 個 GPU，其中 5 萬個是更為先進(jìn)的 H200。
毫無疑問，AI訓(xùn)練的規(guī)模正以驚人速度進(jìn)化，年增長率已經(jīng)高達(dá)400%。
不過，這種狂飆能持續(xù)到2030年嗎？
EPOCHAI 的這篇文章論證了四個可能存在的增長瓶頸：供電、芯片產(chǎn)能、數(shù)據(jù)稀缺、延遲。
到2030年，AI訓(xùn)練的計算量有望達(dá)到2e^29 FLOP，預(yù)示著新一代AI模型的誕生。準(zhǔn)備好迎接AI的下一個大了嗎？這可能需要數(shù)千億的投資，但回報可能是性的。
一些有意思的點：
2030年，很可能可以實現(xiàn)2e^29 FLOP的訓(xùn)練規(guī)模，2030的模型能力和現(xiàn)在相比，就像GPT-4和GPT-2的區(qū)別。
分布式訓(xùn)練有潛力克服集中式訓(xùn)練的電力瓶頸，實現(xiàn)比單一園區(qū)更大的訓(xùn)練規(guī)模。
到2030年，GPU的年產(chǎn)量預(yù)計將增長30%到100%。
五年內(nèi)人類將耗盡全部文字語料，音視頻數(shù)據(jù)或?qū)⒕徑饩骄?，但質(zhì)量

原文鏈接：2030年，Scaling Law會到達(dá)極限嗎？GPT-6能出來嗎？

聯(lián)系作者

文章來源：Founder Park
作者微信：
作者簡介：