AIGC動態(tài)歡迎閱讀

原標(biāo)題：算法、系統(tǒng)和應(yīng)用，三個(gè)視角全面讀懂混合專家（MoE）
關(guān)鍵字：門控,專家,模型,報(bào)告,華為
文章來源：機(jī)器之心
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

機(jī)器之心報(bào)道
編輯：Panda WLLM 很強(qiáng)，而為了實(shí)現(xiàn) LLM 的可持續(xù)擴(kuò)展，有必要找到并實(shí)現(xiàn)能提升其效率的方法，混合專家（MoE）就是這類方法的一大重要成員。最近，各家科技公司提出的新一代大模型不約而同地正在使用混合專家（Mixture of Experts：MoE）方法。
混合專家這一概念最早誕生于 1991 年的論文《Adaptive mixtures of local experts》，三十多年來已經(jīng)得到了廣泛的探索和發(fā)展。近年來，隨著稀疏門控 MoE 的出現(xiàn)和發(fā)展，尤其是與基于 Transformer 的大型語言模型相結(jié)合，這種已有三十多年歷史的技術(shù)煥發(fā)出了新的生機(jī)。
MoE 框架基于一個(gè)簡單卻又強(qiáng)大思想：模型的不同部分（稱為專家）專注于不同的任務(wù)或數(shù)據(jù)的不同方面。
使用這一范式時(shí)，對于一個(gè)輸入，僅有與之相關(guān)的專家（Expert）才會參與處理，這樣一來便能控制計(jì)算成本，同時(shí)仍能受益于大量專業(yè)知識。因此，MoE 可在不大幅提升計(jì)算需求的前提下提升大語言模型的能力。
如圖 1 所示，MoE 相關(guān)研究增長強(qiáng)勁，尤其是在 2024 年 Mixtral-8x7B 以及 Grok-1

原文鏈接：算法、系統(tǒng)和應(yīng)用，三個(gè)視角全面讀懂混合專家（MoE）

聯(lián)系作者

文章來源：機(jī)器之心
作者微信：
作者簡介：