用60%成本干80%的事，DeepSeek分享沉淀多年的高性能深度學習架構

AIGC動態歡迎閱讀

原標題：用60%成本干80%的事，DeepSeek分享沉淀多年的高性能深度學習架構
關鍵字：節點,架構,成本,交換機,高效
文章來源：機器之心
內容字數：0字

內容摘要：

機器之心報道
編輯：Panda硬件發展速度跟不上 AI 需求，就需要精妙的架構和算法。根據摩爾定律，計算機的速度平均每兩年就會翻一倍，但深度學習的發展速度還要更快，如圖 1 和 2 所示。可以看到，AI 對算力的需求每年都以 10 倍幅度增長，而硬件速度每兩年增長 3 倍、DRAM 帶寬增長 1.6 倍、互連帶寬則僅有 1.4 倍。
而大模型是大數據 + 大計算的產物，其參數量可達千億乃至萬億規模，需要成千上萬臺 GPU 才能有效完成訓練。
這些實際情況提升了人們對高性能計算（HPC）的需求。
為了獲得更多計算資源，人們不得不擴展更多計算節點。這就導致構建 AI 基礎設施的成本不斷激增。降低這些成本具有很大的好處，構建成本和能耗高效型計算機集群也就自然成了一個熱門的研究方向。
近日，DeepSeek（深度求索）發布了一份基于硬件發展的實際情況及其多年實踐經驗的研究成果，其中提出了一些用于構建用于深度學習和 LLM 的 AI-HPC 系統的成本高效型策略。論文標題：Fire-Flyer AI-HPC: A Cost-Effective Software-Hardware Co-Desig

原文鏈接：用60%成本干80%的事，DeepSeek分享沉淀多年的高性能深度學習架構

聯系作者

文章來源：機器之心
作者微信：
作者簡介：