DeepSeek-V3刷屏爆火，訓練成本只有600萬，把AI大佬都炸出來了

目前最好的開源模型。

原標題：DeepSeek-V3刷屏爆火，訓練成本只有600萬，把AI大佬都炸出來了
文章來源：Founder Park
內容字數：6069字

DeepSeek V3：低成本、高性能的開源巨型語言模型

DeepSeek V3，一個參數量達671B的MoE模型，以其低廉的訓練成本和卓越的性能，在AI領域掀起波瀾。本文總結了DeepSeek V3的主要特點、技術細節和業界反響。

1. 驚人的性價比：低成本高性能

DeepSeek V3的訓練僅花費550萬美元，遠低于同等規模模型的訓練成本，例如Llama 3 405B的訓練成本要高出許多倍。這得益于其在算法、框架和硬件上的協同優化，包括創新的負載均衡策略、FP8混合精度訓練框架和高效的跨節點通信算法等。 其在多項測評中超越了Llama 3.1 405B等開源模型，甚至與GPT-4o、Claude 3.5 Sonnet等頂級閉源模型性能相當，但價格卻遠低于后者，性價比極高。

2. 技術細節：高效的訓練和推理

DeepSeek V3采用創新的負載均衡策略，通過為MoE中的每個專家引入偏置項來最大限度地減少負載均衡導致的性能下降。它還使用了多Token預測目標（MTP）來提高模型性能并加速推理。 在訓練過程中，DeepSeek V3使用了FP8混合精度訓練，并設計了高效的流水線并行算法，有效解決了跨節點MoE訓練中的通信瓶頸。此外，它還引入了冗余專家策略，以在推理階段實現負載均衡。論文詳細闡述了這些技術細節，展現了其“優雅”的設計。

3. 業界評價：高度認可

DeepSeek V3獲得了業界廣泛認可，OpenAI 聯合創始人Karpathy 和Meta科學家田淵棟都對該模型給予了高度評價。賈揚清也指出DeepSeek V3標志著分布式推理時代的到來。 眾多開發者也在實際應用中驗證了其強大的性能和便捷性，紛紛在社交媒體上分享了他們的使用體驗和開發成果，例如用其創作游戲等。

4. 開源與應用：推動AI發展

DeepSeek V3的完全開源，使得更多研究人員和開發者可以訪問和使用該模型，進一步推動了AI技術的發展。其低廉的價格和強大的性能，也使其在實際應用中具有極大的潛力，有望在各種AI應用場景中發揮重要作用。

5. 未來展望：持續優化和發展

DeepSeek V3的成功，證明了在資源受限的情況下，通過算法和工程優化，仍然可以訓練出具有競爭力的巨型語言模型。這為未來的AI模型研發提供了新的方向，也預示著未來模型的訓練成本將進一步降低，性能將進一步提升。

聯系作者

文章來源：Founder Park
作者微信：
作者簡介：來自極客公園，專注與科技創業者聊「真問題」。