百模大戰引爆「千卡集群競賽」，“中國英偉達”交卷了

AIGC動態歡迎閱讀

原標題：百模大戰引爆「千卡集群競賽」，“中國英偉達”交卷了
關鍵字：集群,模型,華為,線程,政策
文章來源：智東西
內容字數：10375字

內容摘要：

大模型引發AI算力荒，新一代千卡集群喂飽國產新苗子。
作者|三北
編輯|漠影
大模型正引發一波新的AI算力荒，從此前的芯片緊缺，上升為AI算力集群級的饑渴癥。
根據產業鏈消息，參數可能僅30億的Sora用4200-10500塊H100訓練了1個月；最新出爐的Llama 3 8B和70B的訓練需要24000多塊H100組成的集群；據稱有1.8萬億參數的GPT-4是在10000-25000張A100上完成了訓練……
OpenAI、Meta等都在用數千卡、甚至萬卡串聯，滿足不斷攀升的大模型訓練需求，也給了我國大模型企業一本可參考的算力賬。
然而，多位GPU算力集群業內人士告訴智東西，當下我國智能算力處于嚴重的供不應求狀態。在GPU全球稀缺背景下，單卡性能已相對沒那么重要，通過集群互聯實現整體算力的最大化，成為解決AI算力荒的必要路徑。
政策也已經緊鑼密鼓地下發。4月24日，北京市經濟和信息化局、北京市通信管理局印發《北京市算力基礎設施建設實施方案（2024—2027年）》，方案提出，規劃建設支撐萬億級參數大模型訓練需求的超大規模智算集群，并對采購自主可控GPU芯片開展智能算力服務的企業予以支

原文鏈接：百模大戰引爆「千卡集群競賽」，“中國英偉達”交卷了

聯系作者

文章來源：智東西
作者微信：zhidxcom
作者簡介：智能產業新媒體！智東西專注報道人工智能主導的前沿技術發展，和技術應用帶來的千行百業產業升級。聚焦智能變革，服務產業升級。