百模大戰(zhàn)引爆「千卡集群競賽」，“中國英偉達(dá)”交卷了

AIGC動態(tài)歡迎閱讀

原標(biāo)題：百模大戰(zhàn)引爆「千卡集群競賽」，“中國英偉達(dá)”交卷了
關(guān)鍵字：集群,模型,華為,線程,政策
文章來源：智東西
內(nèi)容字?jǐn)?shù)：10375字

內(nèi)容摘要：

大模型引發(fā)AI算力荒，新一代千卡集群喂飽國產(chǎn)新苗子。
作者|三北
編輯|漠影
大模型正引發(fā)一波新的AI算力荒，從此前的芯片緊缺，上升為AI算力集群級的饑渴癥。
根據(jù)產(chǎn)業(yè)鏈消息，參數(shù)可能僅30億的Sora用4200-10500塊H100訓(xùn)練了1個月；最新出爐的Llama 3 8B和70B的訓(xùn)練需要24000多塊H100組成的集群；據(jù)稱有1.8萬億參數(shù)的GPT-4是在10000-25000張A100上完成了訓(xùn)練……
OpenAI、Meta等都在用數(shù)千卡、甚至萬卡串聯(lián)，滿足不斷攀升的大模型訓(xùn)練需求，也給了我國大模型企業(yè)一本可參考的算力賬。
然而，多位GPU算力集群業(yè)內(nèi)人士告訴智東西，當(dāng)下我國智能算力處于嚴(yán)重的供不應(yīng)求狀態(tài)。在GPU全球稀缺背景下，單卡性能已相對沒那么重要，通過集群互聯(lián)實現(xiàn)整體算力的最大化，成為解決AI算力荒的必要路徑。
政策也已經(jīng)緊鑼密鼓地下發(fā)。4月24日，北京市經(jīng)濟和信息化局、北京市通信管理局印發(fā)《北京市算力基礎(chǔ)設(shè)施建設(shè)實施方案（2024—2027年）》，方案提出，規(guī)劃建設(shè)支撐萬億級參數(shù)大模型訓(xùn)練需求的超大規(guī)模智算集群，并對采購自主可控GPU芯片開展智能算力服務(wù)的企業(yè)予以支

原文鏈接：百模大戰(zhàn)引爆「千卡集群競賽」，“中國英偉達(dá)”交卷了

聯(lián)系作者

文章來源：智東西
作者微信：zhidxcom
作者簡介：智能產(chǎn)業(yè)新媒體！智東西專注報道人工智能主導(dǎo)的前沿技術(shù)發(fā)展，和技術(shù)應(yīng)用帶來的千行百業(yè)產(chǎn)業(yè)升級。聚焦智能變革，服務(wù)產(chǎn)業(yè)升級。