DeepSeek是否有國運級的創新？2萬字解讀與硬核分析DeepSeek V3/R1的架構

本文由淺入深分析和解讀DeepSeek V3/R1的模型架構，適合投資人和行業人士了解新技術趨勢

原標題：DeepSeek是否有國運級的創新？2萬字解讀與硬核分析DeepSeek V3/R1的架構
文章來源：智猩猩GenAI
內容字數：37411字

DeepSeek V3/R1架構深度分析與創新解讀

本文深入分析了中存算董事長陳巍博士在“DeepSeek大解讀”系列公開課中講解的DeepSeek V3/R1模型架構，并對圍繞DeepSeek的各種說法進行了技術層面的解讀，澄清了部分誤傳。

1. V3/R1的主要特征

DeepSeek-V3和DeepSeek-R1均為6710億參數的MoE（混合專家）模型。R1可視為具有推理能力的V3。兩者關鍵特征包括：

1. MoE架構：采用細粒度專家+通才專家的思路，并結合無輔助損失的負載平衡策略，克服了傳統MoE模型訓練難題，顯著提升訓練效率。

2. MLA（多頭潛注意力）：通過低秩鍵值聯合壓縮，顯著減小KV緩存，提高計算效率。這是一種基于量化金融基因的創新，但并非顛覆性創新，未來仍有改進空間。

3. DeepSeekMoE：改進的MoE架構，通過細粒度專家和共享專家，提升模型性能和效率。

4. R1-Zero：僅使用強化學習訓練，無需SFT，具備強大的推理能力，在推理方面甚至略超R1，但存在可讀性和語言一致性問題。

5. R1：采用多階段訓練方法，結合SFT和強化學習，在保證推理能力的同時，提升了語言可讀性和連貫性。

2. V3/R1架構提升

V3/R1的架構提升主要體現在MLA和MoE架構的改進上：

1. MLA：通過低秩近似對KV矩陣進行壓縮，有效降低KV緩存大小，提升計算效率，并結合改進的RoPE實現長上下文能力。

2. MoE架構與無輔助損耗負載均衡：采用共享專家和路由專家，并通過無輔助損失的負載平衡策略，避免了傳統MoE模型的“路由崩潰”問題，提高訓練穩定性。

MoE并非大模型的終局，其應用場景與成本密切相關，在To C云計算場景中優勢明顯。

3. V3/R1訓練架構的獨特優勢

DeepSeek的優勢不僅在于模型架構，還在于其自研的HAI-LLM訓練框架，該框架實現了軟硬件協同優化：

1. FP8混合精度訓練框架：首次在超大規模模型訓練中驗證了FP8的有效性，提升訓練速度并降低顯存使用。

2. DualPipe算法：高效的流水線并行算法，減少流水線氣泡，提高信道使用效率，并通過計算-通信重疊隱藏通信開銷。

3. 高效的跨節點All-to-All通信內核：充分利用InfiniBand和NVLink帶寬，并優化顯存使用，無需使用昂貴的張量并行。

DeepSeek的訓練框架并非完全擺脫CUDA生態，而是利用PTX指令進行優化，提升效率。關于DeepSeek對英偉達的影響，應理性看待，其對英偉達的沖擊并非決定性因素。

4. V3/R1的訓練流程

V3的訓練包含預訓練、上下文長度擴展和后訓練三個階段，后訓練包括SFT和強化學習。R1則在V3基礎上，采用多階段訓練，包括冷啟動SFT、面向推理的強化學習、拒絕采樣SFT和面向全場景的強化學習與對齊。

R1-Zero采用無SFT的純強化學習訓練，展現出強大的推理能力，但需要解決可讀性和語言一致性問題。R1則在R1-Zero基礎上，通過SFT和強化學習，提升了模型的可讀性和魯棒性。

5. 模型蒸餾

DeepSeek通過模型蒸餾技術，將R1的推理能力遷移到更小的Dense模型，擴展其應用場景。

6. 結語

DeepSeek在算法架構和AI Infra方面都展現出領先優勢，其成果值得肯定。但應理性看待其影響力，避免過度宣傳。DeepSeek的成功也為國產AI芯片發展提供了啟示，國產AI芯片應抓住機遇，發展新架構和技術，提升算力效率。

聯系作者

文章來源：智猩猩GenAI
作者微信：
作者簡介：智猩猩旗下賬號，專注于生成式人工智能，主要分享技術文章、論文成果與產品信息。