從零手搓MoE大模型，大神級教程來了

AIGC動態歡迎閱讀

原標題：從零手搓MoE大模型，大神級教程來了
關鍵字：門控,模型,專家,注意力,分數
文章來源：量子位
內容字數：2986字

內容摘要：

克雷西 發自 凹非寺量子位 | 公眾號 QbitAI傳說中GPT-4的“致勝法寶”——MoE（混合專家）架構，自己也能手搓了！
Hugging Face上有一位機器學神，分享了如何從頭開始建立一套完整的MoE系統。
這個項目被作者叫做MakeMoE，詳細講述了從注意力構建到形成完整MoE模型的過程。
作者介紹，MakeMoE是受到OpenAI創始成員Andrej Karpathy的makemore啟發并以之為基礎編寫的。
makemore是一個針對自然語言處理和機器學習的教學項目，意在幫助學習者理解并實現一些基本模型。
同樣，MakeMoE也是在一步步的搭建過程中，幫助學習者更深刻地理解混合專家模型。
那么，這份“手搓攻略”具體都講了些什么呢？
從頭開始搭建MoE模型和Karpathy的makemore相比，MakeMoE用稀疏的專家混合體代替了孤立的前饋神經網絡，同時加入了必要的門控邏輯。
同時，由于過程中需要用到ReLU激活函數，makemore中的默認初始化方式被替換成了Kaiming He方法。
想要創建一個MoE模型，首先要理解自注意力機制。
模型首先通過線性變換，將輸入

原文鏈接：從零手搓MoE大模型，大神級教程來了

聯系作者

文章來源：量子位
作者微信：QbitAI
作者簡介：追蹤人工智能新趨勢，關注科技行業新突破