華為GTS LocMoE+：高可擴展性親和度 MoE 架構，低開銷實現主動路由

AIGC動態歡迎閱讀

原標題：華為GTS LocMoE+：高可擴展性親和度 MoE 架構，低開銷實現主動路由
關鍵字：華為,路由,專家,能力,領域
文章來源：機器之心
內容字數：0字

內容摘要：

AIxiv專欄是機器之心發布學術、技術內容的欄目。過去數年，機器之心AIxiv專欄接收報道了2000多篇內容，覆蓋全球各大高校與企業的頂級實驗室，有效促進了學術交流與傳播。如果您有優秀的工作想要分享，歡迎投稿或者聯系報道。投稿郵箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com本論文共同一作為李婧博士，孫志杰和林大超博士，主要成員來自GTS AI計算Lab，主要研究及落地領域包含LLM訓推加速、AI訓練保障和圖計算。
MoE 因其在訓推流程中低銷高效的特點，近兩年在大語言模型領域大放異彩。作為 MoE 的靈魂，專家如何能夠發揮出最大的學習潛能，相關的研究與討論層出不窮。此前，華為 GTS AI 計算 Lab 的研究團隊提出了 LocMoE ，包括新穎的路由網絡結構、輔助降低通信開銷的本地性 loss 等，引發了廣泛關注。
LocMoE 的上述設計有效緩解了部分 MoE 經典結構在訓練中的瓶頸，如: 專家路由算法可能無法有效區分 token，以及通信同步效率受限于節點內和節點間的傳輸帶寬差異等。此外，LocMoE 證明并求解出在能夠成

原文鏈接：華為GTS LocMoE+：高可擴展性親和度 MoE 架構，低開銷實現主動路由

聯系作者

文章來源：機器之心
作者微信：
作者簡介：