騰訊專有云首席架構師方天戟：智算集群技術概述 | 公開課預告

AIGC動態歡迎閱讀

原標題：騰訊專有云首席架構師方天戟：智算集群技術概述 | 公開課預告
關鍵字：騰訊,集群,解讀,字節跳動,華為
文章來源：智猩猩GenAI
內容字數：0字

內容摘要：

隨著人工智能技術的快速發展，尤其是大模型參數規模的持續增加，算力需求呈爆發式增長，對AI算力基礎設施也提出了更高的要求，并進一步推動了智算集群的興起。
在國際市場， Google推出了擁有26000塊NVIDIA H100 GPU的超級計算機A3 Virtual Machines，同時基于自研芯片搭建TPUv5p 8960卡集群。Meta在2022年推出了擁有16000塊NVIDIA A100 的AI研究超級集群，2024年初又公布2個包含24576塊NVIDIA H100的集群，用于支持下一代生成式AI模型的訓練。馬斯克xAI團隊擁有10萬塊H100的Colossus集群已經上線，也是目前全球最強的智算集群，而未來規模還要翻一倍，擴展到15萬張H100+5萬張H200。
在國內，字節跳動搭建了一個12288卡Ampere架構訓練集群，研發MegaScale生產系統用于訓練大語言模型。科大訊飛在2023 年建成首個支持大模型訓練的國產萬卡智能算力集群“飛星一號”。中國移動近日也宣布，其智算中心（哈爾濱）節點超萬卡智算集群正式投用。
全球科技巨頭、電信運營商、云服務廠商等都在加緊布局智算

原文鏈接：騰訊專有云首席架構師方天戟：智算集群技術概述 | 公開課預告

聯系作者

文章來源：智猩猩GenAI
作者微信：
作者簡介：