AIGC動態歡迎閱讀

原標題：從零實現一個MOE（專家混合模型）
關鍵字：專家,代碼,門控,部分,中國科學院
文章來源：算法邦
內容字數：0字

內容摘要：

7月11日19點，「智猩猩自動駕駛新青年講座」第36講將開講，主講理想汽車最新成果：基于MLLM的閉環規劃智能體PlanAgent，由理想汽車實習研究員、中國科學院自動化研究所在讀博士鄭宇鵬主講，主題為《面向自動駕駛的3D密集描述與閉環規劃智能體》。掃碼預約視頻號直播~原文：https://zhuanlan.zhihu.com/p/701777558
01什么是混合模型（MOE）MOE主要由兩個關鍵點組成：
一是將傳統Transformer中的FFN（前饋網絡層）替換為多個稀疏的專家層（Sparse MoE layers）。每個專家本身是一個的神經網絡，實際應用中，這些專家通常是前饋網絡 (FFN)，但也可以是更復雜的網絡結構。
二是門控網絡或路由：此部分用來決定輸入的token分發給哪一個專家。
可能有對FFN（前饋網絡層）不太熟悉的小伙伴可以看一下下面的代碼及圖例，很簡單就是一個我們平時常見的結構。
class FeedForward(nn.Module): def __init__(self, dim_vector, dim_hidden, dropout=0.1):

原文鏈接：從零實現一個MOE（專家混合模型）

聯系作者

文章來源：算法邦
作者微信：allplusai
作者簡介：智猩猩矩陣賬號之一，聚焦生成式AI，重點關注模型與應用。