AIGC動態(tài)歡迎閱讀

原標(biāo)題：Meta公開 Llama-3基礎(chǔ)訓(xùn)練設(shè)施：使用了49,000個H100
關(guān)鍵字：集群,報告,解讀,模型,解決方案
文章來源：AI前線
內(nèi)容字?jǐn)?shù)：3717字

內(nèi)容摘要：

來源 | 授權(quán)轉(zhuǎn)載自AIGC開放社區(qū)（公眾號ID:AIGCOPEN）
3 月 13 日，社交、科技巨頭 Meta 在官網(wǎng)公布了兩個全新的 24K H100 GPU 集群（49,152 個），專門用于訓(xùn)練大模型 Llama-3。
此外，Llama-3 使用了 RoCEv2 網(wǎng)絡(luò)，基于 Tectonic/Hammerspace 的 NFS/FUSE 網(wǎng)絡(luò)存儲，繼續(xù)使用了 PyTorch 機(jī)器學(xué)習(xí)庫。
從訓(xùn)練進(jìn)度來看，估計 Llama-3 最快將于 4 月末或 5 月中旬上線。受 Sora 影響，很可能是一個多模態(tài)模型，并且會繼續(xù)開源。
Meta 表示，預(yù)計到 2024 年底，將擁有 600,000 個 H100 的算力。
Meta首席科學(xué)家確認(rèn)Meta 龐大的 AI 算力集群Meta 作為全球市值最高的科技公司之一，對 AI 的投入一直非常大，致力于構(gòu)建造福全人類的 AGI（通用人工智能）。
早在 2022 年 1 月 24 日，Meta 首次公布了 AI 研究超級集群 (RSC) 的詳細(xì)信息，擁有 16,000 個英偉達(dá) A100 GPU。
該集群在開發(fā)全球最受歡迎的類 ChatGPT

原文鏈接：Meta公開 Llama-3基礎(chǔ)訓(xùn)練設(shè)施：使用了49,000個H100

聯(lián)系作者

文章來源：AI前線
作者微信：ai-front
作者簡介：面向AI愛好者、開發(fā)者和科學(xué)家，提供大模型最新資訊、AI技術(shù)分享干貨、一線業(yè)界實(shí)踐案例，助你全面擁抱AIGC。