AIGC動態(tài)歡迎閱讀

原標(biāo)題：騰訊專有云首席架構(gòu)師方天戟：智算集群技術(shù)概述 | 公開課預(yù)告
關(guān)鍵字：騰訊,集群,解讀,字節(jié)跳動,華為
文章來源：智猩猩GenAI
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

隨著人工智能技術(shù)的快速發(fā)展，尤其是大模型參數(shù)規(guī)模的持續(xù)增加，算力需求呈爆發(fā)式增長，對AI算力基礎(chǔ)設(shè)施也提出了更高的要求，并進(jìn)一步推動了智算集群的興起。
在國際市場， Google推出了擁有26000塊NVIDIA H100 GPU的超級計算機(jī)A3 Virtual Machines，同時基于自研芯片搭建TPUv5p 8960卡集群。Meta在2022年推出了擁有16000塊NVIDIA A100 的AI研究超級集群，2024年初又公布2個包含24576塊NVIDIA H100的集群，用于支持下一代生成式AI模型的訓(xùn)練。馬斯克xAI團(tuán)隊擁有10萬塊H100的Colossus集群已經(jīng)上線，也是目前全球最強(qiáng)的智算集群，而未來規(guī)模還要翻一倍，擴(kuò)展到15萬張H100+5萬張H200。
在國內(nèi)，字節(jié)跳動搭建了一個12288卡Ampere架構(gòu)訓(xùn)練集群，研發(fā)MegaScale生產(chǎn)系統(tǒng)用于訓(xùn)練大語言模型。科大訊飛在2023 年建成首個支持大模型訓(xùn)練的國產(chǎn)萬卡智能算力集群“飛星一號”。中國移動近日也宣布，其智算中心（哈爾濱）節(jié)點超萬卡智算集群正式投用。
全球科技巨頭、電信運(yùn)營商、云服務(wù)廠商等都在加緊布局智算

原文鏈接：騰訊專有云首席架構(gòu)師方天戟：智算集群技術(shù)概述 | 公開課預(yù)告

聯(lián)系作者

文章來源：智猩猩GenAI
作者微信：
作者簡介：