為Llama 3鋪路：Meta推出2個24K GPU集群｜甲子光年

AIGC動態歡迎閱讀

原標題：為Llama 3鋪路：Meta推出2個24K GPU集群｜甲子光年
關鍵字：元宇宙,集群,模型,人工智能,性能
文章來源：甲子光年
內容字數：4324字

內容摘要：

35萬張 H100 的算力平臺將為大模型領域帶來什么改變？編譯｜艾倫
編輯｜栗子
3月12日，Meta 推出2個 24KGPU集群，為訓練 Llama3 構建超強資源池。
在 Meta 工程網站，Meta 披露了有關萬卡集群的硬件、網絡、存儲、設計、性能和軟件的詳細信息，并聲稱到 2024 年底將完成 350,000 個 NVIDIA H100GPU集群的構建。屆時，其整個資源池計算能力將相當于近 600,000 個 H100。
Meta 構建大規模 AI 基礎設施由來已久。
2022年10月，ChatGPT 發布前，Meta 就與全球領先的存儲服務提供商共同推出了 RSC（Research SuperCluster）計算平臺，并一度成為全球最快的 AI 超級計算機之一。
初代 RSC 配備有 16,000 個 NVIDIA A100 GPU，主要任務是為 Meta 元宇宙計劃鋪路。隨著 ChatGPT 強勢出圈，AGI 浪潮襲來。RSC 也從主要服務元宇宙轉向服務于 GenAI 及其他 AI 領域的研發。2023年2月，Meta 在 RSC 支持下，發布了 Llama 并開源。RSC

原文鏈接：為Llama 3鋪路：Meta推出2個24K GPU集群｜甲子光年

聯系作者

文章來源：甲子光年
作者微信：jazzyear
作者簡介：甲子光年是一家科技智庫，包含智庫、社群、企業服務版塊，立足中國科技創新前沿陣地，動態跟蹤頭部科技企業發展和傳統產業技術升級案例，推動人工智能、大數據、物聯網、云計算、新能源、新材料、信息安全、大健康等科技創新在產業中的應用與落地。