EPLB

EPLB – DeepSeek 開源的專家并行負載均衡器

EPLB（Expert Parallelism Load Balancer）是一款由DeepSeek開發的專家并行負載均衡器，旨在解決大規模模型訓練中不同專家模型（Expert）之間負載不均的問題。EPLB采用冗余專家策略，通過復制高負載專家并合理分配至不同的GPU，從而實現負載均衡。此外，EPLB結合了group-limited expert routing技術，將同一組的專家放置在同一節點內，以減少跨節點的通信開銷。

EPLB是什么

EPLB（Expert Parallelism Load Balancer）是DeepSeek推出的一款專家并行負載均衡器，專門用于解決在大規模模型訓練中，各專家模型負載不均的問題。它通過冗余專家策略，復制負載較高的專家并合理分配到不同的GPU上，實現負載均衡。EPLB結合了group-limited expert routing技術，將同組專家安排在同一節點內，從而降低跨節點通信的開銷。EPLB提供了兩種負載均衡策略：分層負載均衡（Hierarchical Load Balancing）和全局負載均衡（Global Load Balancing），適用于不同的使用場景。通過優化專家模型的復制與分配，EPLB顯著提升了GPU資源的利用率和訓練效率。

EPLB

EPLB的主要功能

負載均衡：根據專家的負載估計，動態調整復制和分配策略，確保不同GPU之間的負載差異最小化。
專家復制：通過冗余專家策略，復制高負載的專家，從而緩解負載不均的問題。
資源優化：最大限度地利用GPU資源，減少因負載不均而產生的性能瓶頸，提高訓練效率。
通信優化：通過合理的專家放置策略，降低節點間的通信開銷和延遲。
靈活的策略支持：提供層次化負載均衡和全局負載均衡兩種策略，以適應不同的場景和階段。
多層MoE模型支持：能夠處理復雜的多層混合專家模型，支持靈活的專家分配和映射。

EPLB的技術原理

冗余專家策略：在專家并行中，不同專家的負載因輸入數據和模型結構的差異而異。引入冗余專家（復制高負載專家）以平衡負載，支持高負載專家的多次復制和分散到多個GPU上，避免單一GPU的過載。
層次化負載均衡：將專家組均勻分配到不同的節點，確保每個節點的負載大致相等。在每個節點內，進一步復制專家并將其分配到該節點的GPU上，確保節點內部的負載均衡，盡量將同組專家放在同一節點內，以減少跨節點的通信開銷。
全局負載均衡：在節點數無法整除專家組數或需要更大規模并行的情況下，采用全局策略，忽略專家組的限制，將專家全局復制并分配到所有可用的GPU上。基于動態調整專家的復制數量和放置位置，確保全局負載均衡。
負載估計與動態調整：EPLB使用專家負載的估計值來指導負載均衡策略。負載估計基于歷史統計數據（如移動平均值）。根據負載估計值，動態調整專家的復制和分配策略，以適應不同的訓練階段和數據分布。
專家映射與資源分配：基于rebalance_experts函數生成的專家復制和放置計劃，將專家映射到具體的GPU上。輸出的映射關系包括物理到邏輯（phy2log）和邏輯到物理（log2phy）的映射，以及每個專家的復制數量（logcnt）。

EPLB的項目地址

GitHub倉庫：https://github.com/deepseek-ai/eplb

EPLB的核心模式

層次化負載均衡模式（Hierarchical Load Balancing）：在節點數能整除專家組數時，基于分層負載均衡策略，優化節點內和節點間的負載分配。
全局負載均衡模式（Global Load Balancing）：在節點數無法整除專家組數或需要更大規模并行時，基于全局復制和分配專家，實現整體負載均衡。