深度揭秘爆火MoE！GPT-4關鍵架構，成開源模型逆襲锏

AIGC動態歡迎閱讀

原標題：深度揭秘爆火MoE！GPT-4關鍵架構，成開源模型逆襲锏

關鍵字：門控,模型,專家,神經網絡,數據

文章來源：新智元

內容字數：7066字

內容摘要：新智元報道編輯：編輯部【新智元導讀】上周末，Mistral甩出的開源MoE大模型，震驚了整個開源社區。MoE究竟是什么？它又是如何提升了大語言模型的性能？Mistral上周末丟出的磁力鏈接震驚了開源圈子，這個7B×8E的開源MoE大模型性能已經到達了LLaMA2 70B的級別！而根據Jim Fan猜測，如果Mistral內部訓練了34B×8E或者甚至100B+×8E級別的模型，那他們的能力很有可能已經無限接近GPT-4了。而在之前對于GPT-4結構的曝料中，大部分的信息也指向GPT-4很可能是由8個或者是16個MoE構成。為什么MoE能成為高性能大模型的必選項？簡單來說，MoE是一種神經網絡架構設計，在Transformer模塊中集成了專家/模型層。當數據流經MoE層時，每個輸入token都會動態路由到專家子模型進行處理。當每個專家專門從事特定任務時，這種方法可以實現更高效的計算并獲得更好…

原文鏈接：點此閱讀原文：深度揭秘爆火MoE！GPT-4關鍵架構，成開源模型逆襲锏

聯系作者

文章來源：新智元

作者微信：AI_era

作者簡介：智能+中國主平臺，致力于推動中國從互聯網+邁向智能+新紀元。重點關注人工智能、機器人等前沿領域發展，關注人機融合、人工智能和機器人對人類社會與文明進化的影響，領航中國新智能時代。