DeepSeek 開源第 4 天：梁文峰親自帶隊(duì)，給大模型優(yōu)化并行策略

原標(biāo)題：DeepSeek 開源第 4 天：梁文峰親自帶隊(duì)，給大模型優(yōu)化并行策略
文章來源：夕小瑤科技說
內(nèi)容字?jǐn)?shù)：4293字

DeepSeek開源第四天：DualPipe與EPLB助力大模型提速

DeepSeek開源項(xiàng)目已持續(xù)四天，其帶來的高性能AI訓(xùn)練技術(shù)持續(xù)引發(fā)關(guān)注。本文將重點(diǎn)介紹第四天開源的兩個(gè)關(guān)鍵項(xiàng)目：DualPipe和Expert Parallelism Load Balancer (EPLB)，并回顧前幾天的項(xiàng)目內(nèi)容。

1. 回顧前三天項(xiàng)目

文章未明確提及前三天的項(xiàng)目名稱，但暗示這些項(xiàng)目也與大模型并行訓(xùn)練和優(yōu)化相關(guān)，并為DeepSeek后續(xù)的優(yōu)化工作奠定了基礎(chǔ)。讀者可自行查閱前三天的開源項(xiàng)目信息。

2. 大模型并行訓(xùn)練的挑戰(zhàn)

大模型訓(xùn)練依賴于并行計(jì)算，如同流水線作業(yè)，將模型分割到多個(gè)GPU上處理。然而，傳統(tǒng)的管道并行存在“管道氣泡”問題：GPU之間數(shù)據(jù)傳輸效率低，導(dǎo)致部分GPU空閑，浪費(fèi)計(jì)算資源。

3. DualPipe：雙向流水線并行算法

DualPipe 是一種創(chuàng)新的雙向流水線并行算法，它允許數(shù)據(jù)雙向流動(dòng)，實(shí)現(xiàn)計(jì)算與通信的高效重疊。通過同時(shí)優(yōu)化正向和反向傳播階段的計(jì)算與通信流程，DualPipe 顯著減少了GPU空閑時(shí)間，提升了訓(xùn)練效率。其代價(jià)是內(nèi)存消耗加倍，因?yàn)樾枰S護(hù)兩份模型參數(shù)。但為了速度提升，這筆代價(jià)是值得的。DeepSeek-V3的技術(shù)報(bào)告中對DualPipe的性能提升進(jìn)行了詳細(xì)說明，并與傳統(tǒng)方法(1F1B,ZB1P)進(jìn)行了對比，直觀展現(xiàn)了其優(yōu)勢。DualPipe的開源地址為：https://github.com/deepseek-ai/DualPipe

4. EPLB：專家并行負(fù)載均衡器

在混合專家(MoE)模型中，不同的“專家”負(fù)責(zé)不同的任務(wù)，并分配到不同的GPU上。EPLB用于解決專家負(fù)載不均衡的問題。它通過復(fù)制繁忙的專家到其他GPU上，實(shí)現(xiàn)負(fù)載均衡，提高整體效率。EPLB 提供兩種負(fù)載均衡策略：

• 層級負(fù)載均衡：適用于服務(wù)器節(jié)點(diǎn)數(shù)能整齊劃分專家組的情況，優(yōu)先在節(jié)點(diǎn)間平衡負(fù)載，再在節(jié)點(diǎn)內(nèi)復(fù)制專家。
• 全局負(fù)載均衡：其他情況下直接全局復(fù)制專家，分配到各個(gè)GPU上，適用于大規(guī)模推理的解碼階段。

EPLB的開源地址為：https://github.com/deepseek-ai/eplb

5. DeepSeek Infra：性能分析工具

DeepSeek Infra提供了一個(gè)用于性能分析的庫，包含了使用PyTorch Profiler記錄的訓(xùn)練和推理性能數(shù)據(jù)，并可通過瀏覽器進(jìn)行可視化查看(chrome://tracing 或 edge://tracing)。這些數(shù)據(jù)涵蓋了訓(xùn)練、預(yù)填充和解碼三個(gè)階段，展示了DualPipe和EPLB在實(shí)際應(yīng)用中的效果。

6. 總結(jié)

DeepSeek開源項(xiàng)目持續(xù)為大模型訓(xùn)練和推理帶來創(chuàng)新性的優(yōu)化方案。DualPipe和EPLB的開源，進(jìn)一步提升了大模型訓(xùn)練和推理效率，為AI領(lǐng)域的發(fā)展貢獻(xiàn)了力量。 “The whale shares its ocean bounty， guiding all fish in its wake.” 這句話也體現(xiàn)了DeepSeek團(tuán)隊(duì)開源精神，分享技術(shù)成果，推動(dòng)整個(gè)AI社區(qū)共同進(jìn)步。

聯(lián)系作者

文章來源：夕小瑤科技說
作者微信：
作者簡介：低負(fù)擔(dān)解碼AI世界，硬核也可愛！聚集35萬AI發(fā)燒友、開發(fā)者和從業(yè)者，廣泛覆蓋互聯(lián)網(wǎng)大廠中高管、AI公司創(chuàng)始人和機(jī)構(gòu)投資人。一線作者來自清北、國內(nèi)外頂級AI實(shí)驗(yàn)室和大廠，兼?zhèn)涿翡J的行業(yè)嗅覺和洞察深度。商務(wù)合作：zym5189