為L(zhǎng)lama 3鋪路：Meta推出2個(gè)24K GPU集群｜甲子光年

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：為L(zhǎng)lama 3鋪路：Meta推出2個(gè)24K GPU集群｜甲子光年
關(guān)鍵字：元宇宙,集群,模型,人工智能,性能
文章來(lái)源：甲子光年
內(nèi)容字?jǐn)?shù)：4324字

內(nèi)容摘要：

35萬(wàn)張 H100 的算力平臺(tái)將為大模型領(lǐng)域帶來(lái)什么改變？編譯｜艾倫
編輯｜栗子
3月12日，Meta 推出2個(gè) 24KGPU集群，為訓(xùn)練 Llama3 構(gòu)建超強(qiáng)資源池。
在 Meta 工程網(wǎng)站，Meta 披露了有關(guān)萬(wàn)卡集群的硬件、網(wǎng)絡(luò)、存儲(chǔ)、設(shè)計(jì)、性能和軟件的詳細(xì)信息，并聲稱到 2024 年底將完成 350,000 個(gè) NVIDIA H100GPU集群的構(gòu)建。屆時(shí)，其整個(gè)資源池計(jì)算能力將相當(dāng)于近 600,000 個(gè) H100。
Meta 構(gòu)建大規(guī)模 AI 基礎(chǔ)設(shè)施由來(lái)已久。
2022年10月，ChatGPT 發(fā)布前，Meta 就與全球領(lǐng)先的存儲(chǔ)服務(wù)提供商共同推出了 RSC（Research SuperCluster）計(jì)算平臺(tái)，并一度成為全球最快的 AI 超級(jí)計(jì)算機(jī)之一。
初代 RSC 配備有 16,000 個(gè) NVIDIA A100 GPU，主要任務(wù)是為 Meta 元宇宙計(jì)劃鋪路。隨著 ChatGPT 強(qiáng)勢(shì)出圈，AGI 浪潮襲來(lái)。RSC 也從主要服務(wù)元宇宙轉(zhuǎn)向服務(wù)于 GenAI 及其他 AI 領(lǐng)域的研發(fā)。2023年2月，Meta 在 RSC 支持下，發(fā)布了 Llama 并開(kāi)源。RSC

原文鏈接：為L(zhǎng)lama 3鋪路：Meta推出2個(gè)24K GPU集群｜甲子光年

聯(lián)系作者

文章來(lái)源：甲子光年
作者微信：jazzyear
作者簡(jiǎn)介：甲子光年是一家科技智庫(kù)，包含智庫(kù)、社群、企業(yè)服務(wù)版塊，立足中國(guó)科技創(chuàng)新前沿陣地，動(dòng)態(tài)跟蹤頭部科技企業(yè)發(fā)展和傳統(tǒng)產(chǎn)業(yè)技術(shù)升級(jí)案例，推動(dòng)人工智能、大數(shù)據(jù)、物聯(lián)網(wǎng)、云計(jì)算、新能源、新材料、信息安全、大健康等科技創(chuàng)新在產(chǎn)業(yè)中的應(yīng)用與落地。