MoE也有Scaling Law，「百萬專家」利用率近100%！DeepMind華人挑戰MoE極限

AIGC動態歡迎閱讀

原標題：MoE也有Scaling Law，「百萬專家」利用率近100%！DeepMind華人挑戰MoE極限
關鍵字：專家,模型,數量,參數,大小
文章來源：新智元
內容字數：0字

內容摘要：

新智元報道編輯：編輯部
【新智元導讀】MoE已然成為AI界的主流架構，不論是開源Grok，還是閉源GPT-4，皆是其擁躉。然而，這些模型的專家，最大數量僅有32個。最近，谷歌DeepMind提出了全新的策略PEER，可將MoE擴展到百萬個專家，還不會增加計算成本。如果你熟悉當前LLM的主流架構，混合專家（MoE）技術想必是老朋友之一。有人甚至會說，MoE是使大模型崛起的關鍵因素之一。
開源的Mixtral、DBRX、Grok等模型都使用了MoE，而且根據Soumith Chintala等大佬的推測，GPT-4也是一個規模為8×220B的MoE模型。
類似GPT-4，多數MoE模型都會將專家數量限制在較少數量，一般不會超過16或32。
然而，DeepMind研究科學家Xu Owen He最近就在一篇發表的論文中，提出了一種全新的方法——PEER（參數高效專家檢索，Parameter Efficient Expert Retrieval），可以將專家數量擴展到百萬數量級。
論文地址：https://arxiv.org/abs/2407.04153
這究竟是如何做到的？參數量不會嗎

原文鏈接：MoE也有Scaling Law，「百萬專家」利用率近100%！DeepMind華人挑戰MoE極限

聯系作者

文章來源：新智元
作者微信：AI_era
作者簡介：智能+中國主平臺，致力于推動中國從互聯網+邁向智能+新紀元。重點關注人工智能、機器人等前沿領域發展，關注人機融合、人工智能和機器人對人類社會與文明進化的影響，領航中國新智能時代。