AIGC動態(tài)歡迎閱讀

原標(biāo)題：大模型專家混合MoE模型詳解
關(guān)鍵字：專家,模型,門控,參數(shù),知乎
文章來源：算法邦
內(nèi)容字數(shù)：21929字

內(nèi)容摘要：

本文轉(zhuǎn)載自公眾號：青稞AI，原作者：Miller@知乎。Mixtral 8x7B 的推出（參見公告[1]和模型卡片[2]在開放 AI 領(lǐng)域引發(fā)了廣泛關(guān)注，特別是對于專家混合（Mixture-of-Experts：MoEs）這一 Transformer 技術(shù)的熱議。在這篇博客中，我們將深入探討 MoEs 的構(gòu)建基礎(chǔ)、它們的訓(xùn)練方法，以及在推理服務(wù)中需要考慮的各種權(quán)衡因素。
01、太長不看版
MoEs：
相比于常規(guī)密集型模型，MoEs 的預(yù)訓(xùn)練過程更加快速
在具有相同數(shù)量參數(shù)的模型中，MoEs 展現(xiàn)出更快的推理速度
由于需要將所有專家模塊加載到內(nèi)存中，因此對 VRAM 的需求較高
雖然在微調(diào)方面面臨許多挑戰(zhàn)，但最近關(guān)于 MoE 指令調(diào)優(yōu)的研究進展顯示出積極的前景
02、什么是“專家混合體”MOE？
在提升模型質(zhì)量的關(guān)鍵因素中，模型的規(guī)模占據(jù)了重要位置。在固定的計算預(yù)算條件下，相比于訓(xùn)練一個步驟多但規(guī)模小的模型，訓(xùn)練一個步驟少但規(guī)模大的模型更為高效。
專家混合體讓我們能夠在遠低于常規(guī)的計算資源下進行模型預(yù)訓(xùn)練，這意味著你可以在相同的計算預(yù)算下顯著擴大模型或數(shù)據(jù)集的規(guī)模。尤其值得注意的是，Mo

原文鏈接：大模型專家混合MoE模型詳解

聯(lián)系作者

文章來源：算法邦
作者微信：allplusai
作者簡介：「算法邦」，隸屬于智猩猩，關(guān)注大模型、生成式AI、計算機視覺三大領(lǐng)域的研究與開發(fā)，提供技術(shù)文章、講座、在線研討會。