帶著大家依次走過幾個標志性的MoE系統(tǒng)，從GShard到DeepSeek-V3。

原標題：關于 MoE 大模型負載均衡策略演進的回顧：坑點與經(jīng)驗教訓
文章來源：智猩猩GenAI
內(nèi)容字數(shù)：16063字

從GShard到DeepSeek-V3：稀疏MoE模型的負載均衡演進

本文解讀了從GShard到DeepSeek-V3一系列稀疏MoE（Mixture of Experts）模型的演進歷程，重點關注負載均衡問題的解決方法及其挑戰(zhàn)。MoE架構通過激活少量專家來處理每個token，從而在保持高精度的同時，高效訓練擁有數(shù)十億甚至數(shù)萬億參數(shù)的模型。然而，如何保證專家負載均衡成為MoE大規(guī)模應用的關鍵難題。

1. 為什么要使用稀疏專家MoE？

MoE架構的核心思路是：對每個token，只激活少量專家參與計算，而不是所有參數(shù)都參與，從而在不顯著增加計算開銷（FLOPs）的前提下，大幅提升模型參數(shù)量。但如何平衡專家負載，避免某些專家過載而另一些專家閑置，是MoE面臨的挑戰(zhàn)。

2. 歷史脈絡：關鍵模型及改進

文章回顧了幾個標志性MoE系統(tǒng)，分析它們在負載均衡上的改進和遇到的問題：

1. GShard： 首個大規(guī)模MoE框架，采用top-2 gating和輔助損失來平衡負載，但存在token丟棄和計算開銷大的問題。
2. Switch Transformer： 采用更簡單的top-1 gating，速度更快，但需要精細調(diào)參capacity factor來避免過載。
3. GLaM： 回歸top-2 gating，注重能效，但仍需解決數(shù)據(jù)分布不均導致的負載不均衡問題。
4. DeepSpeed-MoE： 通過多專家并多數(shù)據(jù)并行，動態(tài)重分配超容量token，并提出Residual-MoE結構，提升負載均衡水平。
5. ST-MoE： 提升了路由穩(wěn)定性和可遷移性，引入了router z-loss來緩解數(shù)值不穩(wěn)定問題。
6. Mixtral 8x7B： 利用時間局部性和專門的稀疏Kernel優(yōu)化，提升了負載均衡效率。
7. OpenMoE： 指出上下文無關的專長化和末端token掉隊問題。
8. DeepSeekMoE： 采用細粒度專家和共享專家，并設計了專家級別和設備級別的負載均衡損失。
9. JetMoE： 提出“dropless”策略，避免token丟棄，但實現(xiàn)復雜度高。
10. Skywork-MoE： 使用gating logit歸一化和自適應輔助損失系數(shù)。
11. DeepSeek-V3： 使用偏置加成取代強輔助損失，并保留較弱的序列級別輔助損失，實現(xiàn)了更輕量級的負載均衡。

3. 負載均衡的挑戰(zhàn)與經(jīng)驗教訓

文章總結了MoE負載均衡中常見的挑戰(zhàn)和應對策略：路由塌縮、容量因子調(diào)節(jié)、過度依賴輔助損失、推理瓶頸和領域遷移等問題。需要根據(jù)具體情況，在模型表達能力和資源利用率之間找到平衡點。

4. 總結與展望

從GShard到DeepSeek-V3，負載均衡已成為MoE模型成功的關鍵因素。未來的研究方向可能包括：更自動化、自適應的gating機制，以及更多針對HPC和推理部署的優(yōu)化，以實現(xiàn)高效、均衡的專家分配。

聯(lián)系作者

文章來源：智猩猩GenAI
作者微信：
作者簡介：智猩猩旗下賬號，專注于生成式人工智能，主要分享技術文章、論文成果與產(chǎn)品信息。