AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：OpenAI陷巨大算力荒，國內(nèi)大廠搶先破局！打破單芯片限制，算力效率提升33%
關(guān)鍵字：模型,算法,效率,系統(tǒng),集群
文章來源：新智元
內(nèi)容字?jǐn)?shù)：10018字

內(nèi)容摘要：

新智元報(bào)道編輯：編輯部
【新智元導(dǎo)讀】一切計(jì)算皆AI已成為行業(yè)。大模型參數(shù)規(guī)模從千億走向萬億，從單一走向MoE，對(duì)算力的需求愈加龐大。我們需要理清的是，單芯片所帶來的算力驅(qū)動(dòng)已無法滿足LLM發(fā)展。國內(nèi)AI不行，是因?yàn)樾酒恍校?br />我們跟國外的差距，是因?yàn)楹陀ミ_(dá)芯片的差距過大？
最近，圈內(nèi)有許多這樣的論調(diào)。
其實(shí)深挖下去，就會(huì)發(fā)現(xiàn)事實(shí)完全不是這樣。即使是英偉達(dá)最先進(jìn)的芯片，依然無法滿足當(dāng)下人工智能在算力上的需求。
隨著模型參數(shù)量和數(shù)據(jù)量的增加，智慧不斷涌現(xiàn)，我們對(duì)更大集群的需求，也更加迫切。無論是國外，還是在國內(nèi)，大家離終點(diǎn)都很遙遠(yuǎn)。
算力≠芯片如今，大規(guī)模神經(jīng)網(wǎng)絡(luò)的訓(xùn)練現(xiàn)狀是這樣的。
新鮮出爐的8B和70B參數(shù)的Llama 3訓(xùn)練，需要24576塊H100組成的集群。
小扎曾透露截止今年底，Meta將建成由35萬塊H100搭建的基礎(chǔ)設(shè)施
而據(jù)稱有1.8萬億參數(shù)的GPT-4，是在10000-25000張A100上完成了訓(xùn)練。
爆火的Sora訓(xùn)練參數(shù)量可能僅有30億，爆料稱，估計(jì)使用了4200-10500塊H100訓(xùn)了1個(gè)月。
特斯拉FSD V12，則是在1000萬個(gè)海量視頻片段進(jìn)行

原文鏈接：OpenAI陷巨大算力荒，國內(nèi)大廠搶先破局！打破單芯片限制，算力效率提升33%

聯(lián)系作者

文章來源：新智元
作者微信：AI_era
作者簡(jiǎn)介：智能+中國主平臺(tái)，致力于推動(dòng)中國從互聯(lián)網(wǎng)+邁向智能+新紀(jì)元。重點(diǎn)關(guān)注人工智能、機(jī)器人等前沿領(lǐng)域發(fā)展，關(guān)注人機(jī)融合、人工智能和機(jī)器人對(duì)人類社會(huì)與文明進(jìn)化的影響，領(lǐng)航中國新智能時(shí)代。