“有限算力下的美妙工程”

原標題：國產之光DeepSeek把AI大佬全炸出來了！671B大模型訓練只需此前算力1/10，細節全公開
文章來源：量子位
內容字數：6534字

DeepSeek V3：高性能、低成本的開源大模型

本文總結了DeepSeek V3大語言模型的發布信息，該模型以其高性能、低成本和完全開源的特點引發了業內廣泛關注。

1. 模型性能與成本

   DeepSeek V3是一個參數量為671B的MoE模型，激活37B，在14.8T高質量token上進行了預訓練。其性能超越了Llama 3.1 405B等開源模型，甚至與GPT-4o和Claude 3.5 Sonnet等頂級閉源模型不相上下。更令人驚嘆的是，其訓練成本僅為Llama 3 405B的1/11，約為557.6萬美元。而其API價格也遠低于競爭對手，僅為Claude 3.5 Sonnet的9%。DeepSeek V3在性能和成本之間取得了最佳平衡，成為性價比最高的模型之一。

2. 高效的訓練策略

   DeepSeek V3的低成本訓練歸功于其在算法、框架和硬件方面的協同優化。具體包括：創新的負載均衡策略、無輔助損失的負載均衡策略、多Token預測目標（MTP）、FP8混合精度訓練框架、DualPipe高效流水線并行算法以及高效的跨節點all-to-all通信內核等。這些策略使得DeepSeek V3的訓練時間大幅縮短，僅用了不到2個月，耗費了約280萬GPU小時。

3. 關鍵技術細節

   DeepSeek V3的MoE由256個路由專家和1個共享專家組成，每個token會激活8個專家，并確保每個token最多被發送到4個節點。模型還引入了冗余專家部署策略，以實現推理階段的負載均衡。此外，DeepSeek V3還將推理能力從長思維鏈模型中蒸餾到標準模型上，顯著提高了推理性能。

4. 開源與應用

   DeepSeek V3已完全開源，包括原生FP8權重和從FP8到BF16的轉換腳本。多個框架已支持FP8或BF16推理。用戶可以通過官網與模型進行對話，并通過API進行訪問。其部署也十分便捷，只需幾行代碼即可部署到Gradio。

5. 實測效果與評價

   實測結果顯示，DeepSeek V3在多個測試中表現出色，例如準確回答了關于自身版本的問題，并成功解決了復雜的推理任務。業內專家對DeepSeek V3給予了高度評價，認為其是“優雅”的、“黑科技”的，并稱其降低了有限算力預算下進行模型預訓練的門檻。

6. 未來展望

   目前DeepSeek V3暫不支持多模態輸入輸出，但其高性能、低成本和完全開源的特點使其具有巨大的發展潛力。未來，DeepSeek V3有望在更多領域得到廣泛應用。

聯系作者

文章來源：量子位
作者微信：
作者簡介：追蹤人工智能新趨勢，關注科技行業新突破