AIGC動態(tài)歡迎閱讀

原標題：Llama3訓練集群揭秘，共24,576 個 GPU
關鍵字：集群,公司,基礎設施,模型,網(wǎng)絡
文章來源：AI范兒
內容字數(shù)：1996字

內容摘要：

點擊上方藍字關注我們“Meta 公司透露了其專為 AI 訓練設計的先進硬件基礎設施細節(jié)。這些集群包括 24,576 個 GPU，采用了創(chuàng)新的網(wǎng)絡結構解決方案，為支持當前和未來的 AI 模型打下了堅實基礎。Meta 公司日前揭示了其先進硬件基礎設施的關鍵細節(jié)，這些硬件專門為 AI 訓練而設計，Meta首席科學家Yann LeCun所指出的，重點之一是為 Llama 3 訓練而設計。該公司披露了其擁有 24,576 個 GPU 的數(shù)據(jù)中心規(guī)模集群的內部機制，這些集群對支持當前和即將推出的 AI 模型至關重要，包括 Llama 3，以及 Llama 2 的后續(xù)版本。
這些集群代表了 Meta 公司在 AI 硬件領域的巨大投資，凸顯了基礎設施在塑造 AI 未來中的關鍵作用。這些集群的設計旨在支持 Meta 公司的長期愿景，即以開放和負責任的方式創(chuàng)建AGI，并致力于實現(xiàn)廣泛可訪問性。
根據(jù)最新進展，Meta 的 24,576-GPU 集群中部署了兩種型號，每個集群配備不同的網(wǎng)絡結構解決方案。其中一個集群采用了遠程直接內存訪問（RDMA）在收斂以太網(wǎng)（RoCE）網(wǎng)絡結構上，而另一個則采用了 NVI

原文鏈接：Llama3訓練集群揭秘，共24,576 個 GPU

聯(lián)系作者

文章來源：AI范兒
作者微信：AI_Insights
作者簡介：AI領域四大媒體之一。 智能未來，始于Prompt！