被OpenAI、Mistral AI帶火的MoE是怎么回事？一文貫通專家混合架構部署

AIGC動態歡迎閱讀

原標題：被OpenAI、Mistral AI帶火的MoE是怎么回事？一文貫通專家混合架構部署
關鍵字：專家,模型,門控,網絡,參數
文章來源：機器之心
內容字數：17299字

內容摘要：

選自 HuggingFace 博客
編譯：趙陽本文將介紹 MoE 的構建模塊、訓練方法以及在使用它們進行推理時需要考慮的權衡因素。專家混合 (MoE) 是 LLM 中常用的一種技術，旨在提高其效率和準確性。這種方法的工作原理是將復雜的任務劃分為更小、更易于管理的子任務，每個子任務都由專門的迷你模型或「專家」處理。
早些時候，有人爆料 GPT-4 是采用了由 8 個專家模型組成的集成系統。近日，Mistral AI 發布的 Mixtral 8x7B 同樣采用這種架構，實現了非常不錯的性能（傳送門：一條磁力鏈接席卷 AI 圈，87GB 種子直接開源 8x7B MoE 模型）。
OpenAI 和 Mistral AI 的兩波推力，讓 MoE 一時間成為開放人工智能社區最熱門的話題 。
本文將介紹 MoE 的構建模塊、訓練方法以及在使用它們進行推理時需要考慮的權衡因素?；旌蠈＜壹軜嫼喎Q MoE，它的特點如下：
與稠密模型相比，預訓練速度更快；
與參數數量相同的模型相比，推理速度更快；
因為要把所有專家模型都加載在內存中，所以需要大量顯存；
在微調方面面臨許多挑戰，但最近在 MoE 指令微調方面

原文鏈接：被OpenAI、Mistral AI帶火的MoE是怎么回事？一文貫通專家混合架構部署

聯系作者

文章來源：機器之心
作者微信：almosthuman2014
作者簡介：專業的人工智能媒體和產業服務平臺