首個開源MoE大模型發布！7Bx8個專家，離GPT-4最近的一集

AIGC動態歡迎閱讀

原標題：首個開源MoE大模型發布！7Bx8個專家，離GPT-4最近的一集

關鍵字：模型,磁力,鏈接,專家,對比

文章來源：量子位

內容字數：3370字

內容摘要：夢晨 發自 凹非寺量子位 | 公眾號 QbitAI“取消今晚所有計劃！”，許多AI開發者決定不睡了。只因首個開源MoE大模型剛剛由Mistral AI發布。MoE架構全稱專家混合（Mixture-of-Experts），也就是傳聞中GPT-4采用的方案，可以說這是開源大模型離GPT-4最近的一集了。沒有發布會、沒有宣傳視頻，只靠一個磁力鏈接，就產生如此轟動效果。具體參數還得是網速快的人下載完之后，從配置文件里截圖發出來的：7B參數x8個專家，對每個token選擇前兩個最相關的專家來處理。以至于OpenAI創始成員Karpathy都吐槽，是不是少了點什么？怎么缺了一個那種排練很多次的專業范視頻，大談特談AI變革啊。至于吐槽的是誰，懂得都懂了。以及他還解釋了為什么AI社區這幾天如此活躍：最大的深度學習會議NeurIPS即將在下周開啟。MoE，開源大模型新階段？為何這款開源MoE模型如此受關注？…

原文鏈接：點此閱讀原文：首個開源MoE大模型發布！7Bx8個專家，離GPT-4最近的一集

聯系作者

文章來源：量子位

作者微信：QbitAI

作者簡介：追蹤人工智能新趨勢，關注科技行業新突破