DeepSeek的寫作能力為何飛躍？PTX是否真正做到了繞開CUDA的壟斷？

原標題：DeepSeek最強專業拆解來了，清交復教授超硬核解讀
文章來源：智東西
內容字數：38112字

DeepSeek的飛躍與中國大模型發展

本文總結了智東西對DeepSeek技術突破的報道，以及五位高校教授對其技術原理、未來方向和中國大模型發展路徑的解讀。

1. DeepSeek R1：復現OpenAI o1的強推理能力

DeepSeek R1成功復現了OpenAI o1的深度推理能力，并開源了詳細的技術介紹。其訓練流程的兩大亮點是：一是創造性地基于大規模強化學習，實現了純RL驅動的強推理模型R1-Zero；二是將強化學習能力泛化到寫作等其他領域，提升了模型的跨任務泛化能力。R1的成功，得益于其基于規則的強化學習方法，以及深度推理SFT數據和通用SFT數據的混合微調。

2. DeepSeek的成本優化策略

DeepSeek V3的預訓練成本相對較低，這歸功于其在系統軟件方面的優化。DeepSeek采用了MoE架構，并通過負載均衡優化、通信優化、內存優化和計算優化等策略，顯著提升了訓練效率，降低了成本。例如，它使用了Auxiliary-Loss-Free Load Balancing策略來解決MoE架構的負載均衡問題，并通過DualPipe算法來降低專家并行帶來的通信開銷。

3. PTX優化與CUDA壟斷

DeepSeek利用定制的PTX指令和自動調整通信塊大小，減少了L2緩存的使用和對其他SM的干擾，提升了硬件性能。雖然媒體解讀為“繞開CUDA壟斷”，但實際上PTX是更底層的指令集，通過優化PTX可以更精細地控制硬件，從而提升性能。這屬于底層優化，而非繞過CUDA。

4. DeepSeek的寫作能力飛躍

DeepSeek R1的寫作能力顯著提升，這可能歸因于強基模型在規模化強化學習后的涌現能力，也可能與較少的安全對齊有關。R1在一些通用領域的任務上推理效果仍有待提升。

5. 中國大模型發展啟示

DeepSeek的成功為中國大模型發展提供了寶貴的經驗：一是強調人才培養和長期基礎創新；二是展示了在資源受限的情況下，通過算法創新和軟硬件協同優化，依然可以取得世界領先成果；三是開源策略的重要性，讓更多人受益并推動領域發展；四是國產軟硬件協同優化的重要性，可以形成閉環生態，最終實現模型、系統和芯片的閉環發展。

6. MoE架構及長思維鏈設計

MoE架構并非AGI的唯一最優解，未來模型架構的設計會更多地考慮底層硬件的優化。長思維鏈設計對硬件提出了更高的要求，需要更大的存儲能力和更高的帶寬，未來可能需要新的硬件架構來支持。

總而言之，DeepSeek的成功并非偶然，而是長期積累和創新的結果。它為中國大模型的發展指明了方向，也為全球AI研究帶來了新的啟示。

聯系作者

文章來源：智東西
作者微信：
作者簡介：智能產業新媒體！智東西專注報道人工智能主導的前沿技術發展，和技術應用帶來的千行百業產業升級。聚焦智能變革，服務產業升級。