Llama3訓(xùn)練集群揭秘，共24,576 個(gè) GPU

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：Llama3訓(xùn)練集群揭秘，共24,576 個(gè) GPU
關(guān)鍵字：集群,公司,基礎(chǔ)設(shè)施,模型,網(wǎng)絡(luò)
文章來源：AI范兒
內(nèi)容字?jǐn)?shù)：1996字

內(nèi)容摘要：

點(diǎn)擊上方藍(lán)字關(guān)注我們“Meta 公司透露了其專為 AI 訓(xùn)練設(shè)計(jì)的先進(jìn)硬件基礎(chǔ)設(shè)施細(xì)節(jié)。這些集群包括 24,576 個(gè) GPU，采用了創(chuàng)新的網(wǎng)絡(luò)結(jié)構(gòu)解決方案，為支持當(dāng)前和未來的 AI 模型打下了堅(jiān)實(shí)基礎(chǔ)。Meta 公司日前揭示了其先進(jìn)硬件基礎(chǔ)設(shè)施的關(guān)鍵細(xì)節(jié)，這些硬件專門為 AI 訓(xùn)練而設(shè)計(jì)，Meta首席科學(xué)家Yann LeCun所指出的，重點(diǎn)之一是為 Llama 3 訓(xùn)練而設(shè)計(jì)。該公司披露了其擁有 24,576 個(gè) GPU 的數(shù)據(jù)中心規(guī)模集群的內(nèi)部機(jī)制，這些集群對(duì)支持當(dāng)前和即將推出的 AI 模型至關(guān)重要，包括 Llama 3，以及 Llama 2 的后續(xù)版本。
這些集群代表了 Meta 公司在 AI 硬件領(lǐng)域的巨大投資，凸顯了基礎(chǔ)設(shè)施在塑造 AI 未來中的關(guān)鍵作用。這些集群的設(shè)計(jì)旨在支持 Meta 公司的長(zhǎng)期愿景，即以開放和負(fù)責(zé)任的方式創(chuàng)建AGI，并致力于實(shí)現(xiàn)廣泛可訪問性。
根據(jù)最新進(jìn)展，Meta 的 24,576-GPU 集群中部署了兩種型號(hào)，每個(gè)集群配備不同的網(wǎng)絡(luò)結(jié)構(gòu)解決方案。其中一個(gè)集群采用了遠(yuǎn)程直接內(nèi)存訪問（RDMA）在收斂以太網(wǎng)（RoCE）網(wǎng)絡(luò)結(jié)構(gòu)上，而另一個(gè)則采用了 NVI

原文鏈接：Llama3訓(xùn)練集群揭秘，共24,576 個(gè) GPU

聯(lián)系作者

文章來源：AI范兒
作者微信：AI_Insights
作者簡(jiǎn)介：AI領(lǐng)域四大媒體之一。 智能未來，始于Prompt！