原標題：DeepSeek 開源第 4 天：梁文峰親自帶隊，給大模型優化并行策略
文章來源：夕小瑤科技說
內容字數：4293字

DeepSeek開源第四天：DualPipe與EPLB助力大模型提速

DeepSeek開源項目已持續四天，其帶來的高性能AI訓練技術持續引發關注。本文將重點介紹第四天開源的兩個關鍵項目：DualPipe和Expert Parallelism Load Balancer (EPLB)，并回顧前幾天的項目內容。

1. 回顧前三天項目

文章未明確提及前三天的項目名稱，但暗示這些項目也與大模型并行訓練和優化相關，并為DeepSeek后續的優化工作奠定了基礎。讀者可自行查閱前三天的開源項目信息。

2. 大模型并行訓練的挑戰

大模型訓練依賴于并行計算，如同流水線作業，將模型分割到多個GPU上處理。然而，傳統的管道并行存在“管道氣泡”問題：GPU之間數據傳輸效率低，導致部分GPU空閑，浪費計算資源。

3. DualPipe：雙向流水線并行算法

DualPipe 是一種創新的雙向流水線并行算法，它允許數據雙向流動，實現計算與通信的高效重疊。通過同時優化正向和反向傳播階段的計算與通信流程，DualPipe 顯著減少了GPU空閑時間，提升了訓練效率。其代價是內存消耗加倍，因為需要維護兩份模型參數。但為了速度提升，這筆代價是值得的。DeepSeek-V3的技術報告中對DualPipe的性能提升進行了詳細說明，并與傳統方法(1F1B,ZB1P)進行了對比，直觀展現了其優勢。DualPipe的開源地址為：https://github.com/deepseek-ai/DualPipe

4. EPLB：專家并行負載均衡器

在混合專家(MoE)模型中，不同的“專家”負責不同的任務，并分配到不同的GPU上。EPLB用于解決專家負載不均衡的問題。它通過復制繁忙的專家到其他GPU上，實現負載均衡，提高整體效率。EPLB 提供兩種負載均衡策略：

• 層級負載均衡：適用于服務器節點數能整齊劃分專家組的情況，優先在節點間平衡負載，再在節點內復制專家。
• 全局負載均衡：其他情況下直接全局復制專家，分配到各個GPU上，適用于大規模推理的解碼階段。

EPLB的開源地址為：https://github.com/deepseek-ai/eplb

5. DeepSeek Infra：性能分析工具

DeepSeek Infra提供了一個用于性能分析的庫，包含了使用PyTorch Profiler記錄的訓練和推理性能數據，并可通過瀏覽器進行可視化查看(chrome://tracing 或 edge://tracing)。這些數據涵蓋了訓練、預填充和解碼三個階段，展示了DualPipe和EPLB在實際應用中的效果。

6. 總結

DeepSeek開源項目持續為大模型訓練和推理帶來創新性的優化方案。DualPipe和EPLB的開源，進一步提升了大模型訓練和推理效率，為AI領域的發展貢獻了力量。 “The whale shares its ocean bounty， guiding all fish in its wake.” 這句話也體現了DeepSeek團隊開源精神，分享技術成果，推動整個AI社區共同進步。

聯系作者

文章來源：夕小瑤科技說
作者微信：
作者簡介：低負擔解碼AI世界，硬核也可愛！聚集35萬AI發燒友、開發者和從業者，廣泛覆蓋互聯網大廠中高管、AI公司創始人和機構投資人。一線作者來自清北、國內外頂級AI實驗室和大廠，兼備敏銳的行業嗅覺和洞察深度。商務合作：zym5189