混合專家系統里根本沒專家？開源MoE模型論文引網友熱議

AIGC動態歡迎閱讀

原標題：混合專家系統里根本沒專家？開源MoE模型論文引網友熱議
關鍵字：專家,論文,領域,模型,發現
文章來源：量子位
內容字數：2455字

內容摘要：

克雷西 發自 凹非寺量子位 | 公眾號 QbitAI紅極一時的開源MoE模型Mixtral，論文終于新鮮出爐！
除了披露了更多技術細節，論文中還有一個結論引發了熱烈討論——
研究人員本想研究Mixtral是怎么根據話題分配專家的，結果發現專家的分配……和話題好像沒什么關系。
而在大多數人的印象中，Mixtral里的8個專家，是分別負責處理不同領域的話題的……
論文的結論曝光后，不少網友開始認為“專家混合”這個說法，可能不那么貼切了：
于是，針對Mixtral真實的工作機制，有網友給出了這樣的比喻：
所以，比起“專家的組合”，這樣的工作方式更像是一種硬盤陣列或者負載均衡？
但也有網友表示了不同意見：
這個問題并不根屬于MoE，因為自己之前見過的MoE模型中，是發現了真·專家分工的現象的。
那么，這究竟是怎么一回事呢？
實驗未發現專家按領域分布在訓練過程中，作者觀察了Mixtral中是否有一些專家會針對某些特定領域進行專門化。
具體來說，作者計算了第0、15、31層在The Pile驗證集的不同子集（包含不同領域的文檔）上被選中的專家分布。
這些子集包括LaTeX格式的arXiv論文、生物

原文鏈接：混合專家系統里根本沒專家？開源MoE模型論文引網友熱議

聯系作者

文章來源：量子位
作者微信：QbitAI
作者簡介：追蹤人工智能新趨勢，關注科技行業新突破