Meta公布Llama 3訓(xùn)練集群細(xì)節(jié)！儲(chǔ)備60萬塊H100迎接AGI

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：Meta公布Llama 3訓(xùn)練集群細(xì)節(jié)！儲(chǔ)備60萬塊H100迎接AGI
關(guān)鍵字：集群,人工智能,性能,網(wǎng)絡(luò),模型
文章來源：新智元
內(nèi)容字?jǐn)?shù)：8177字

內(nèi)容摘要：

新智元報(bào)道編輯：潤(rùn)
【新智元導(dǎo)讀】LLM開源從Infra做起！Meta公布了自己訓(xùn)練Llama 3的H100集群細(xì)節(jié)，看來Llama 3快來了。每年3月份，照例各家大廠又要開始秀自己最新的產(chǎn)品和研究了。
OpenAI剛剛發(fā)布了震驚世人的Sora，最新的ChatGPT版本似乎也是箭在弦上。
谷歌更是舉全公司之力，從去年底就開始放出了包括Gemini Ultra，Gemini 1.5，Gemma在內(nèi)，各分支賽道上的驚艷成果。
可是作為開源AI的扛把子，Meta在去年發(fā)布了Llama 2和后續(xù)的模型后，就一直缺少有影響力的產(chǎn)品問世。
而對(duì)于開源社區(qū)來說，OpenAI雖好，可Meta才是大家真的衣食父母。大家都在翹首以待Llama 3的發(fā)布。
在Llama 3公開之前，不甘寂寞的Meta還是想到辦法在行業(yè)內(nèi)刷了一波存在感——秀肌肉。
Meta AI剛剛發(fā)表了一份技術(shù)博客，向公眾展示了自己擁有的算力資源，以及Meta布局AI Infra的具體細(xì)節(jié)和路線圖。
根據(jù)Meta的規(guī)劃，到2024年底它將擁有35萬個(gè)英偉達(dá)H100GPU，而未來算力儲(chǔ)備將達(dá)到夸張的60萬個(gè)H100。
而光有大量的GPU還

原文鏈接：Meta公布Llama 3訓(xùn)練集群細(xì)節(jié)！儲(chǔ)備60萬塊H100迎接AGI

聯(lián)系作者

文章來源：新智元
作者微信：AI_era
作者簡(jiǎn)介：智能+中國(guó)主平臺(tái)，致力于推動(dòng)中國(guó)從互聯(lián)網(wǎng)+邁向智能+新紀(jì)元。重點(diǎn)關(guān)注人工智能、機(jī)器人等前沿領(lǐng)域發(fā)展，關(guān)注人機(jī)融合、人工智能和機(jī)器人對(duì)人類社會(huì)與文明進(jìn)化的影響，領(lǐng)航中國(guó)新智能時(shí)代。