國產最大MoE開源模型發布！騰訊AI Lab創始人帶隊，已融2億美元

AIGC動態歡迎閱讀

原標題：國產最大MoE開源模型發布！騰訊AI Lab創始人帶隊，已融2億美元
關鍵字：騰訊,模型,數據,專家,性能
文章來源：智東西
內容字數：0字

內容摘要：

2550億參數、免費可商用，前騰訊副總裁創業。
編輯|香草
智東西9月13日報道，今日，大模型創企元象XVERSE發布國內最大MoE開源模型XVERSE-MoE-A36B，其總參數2550億，激活參數360億，實現了達到千億級別模型的性能“跨級”躍升。
同時，這款MoE模型與其Dense模型XVERSE-65B-2相比，訓練時間減少30%，推理性能提升100%，每token成本大幅下降。
元象“高性能全家桶”系列全部開源，可無條件免費商用，為中小企業、研究者和開發者提供可按需選擇的多款模型。
01.
國內最大開源MoE模型
無條件免費商用
不少行業前沿模型，包括谷歌Gemini-1.5、OpenAI的GPT-4、馬斯克xAI的Grok等，都使用了MoE架構。
MoE是業界前沿的混合專家模型架構，將多個細分領域的專家模型組合成一個超級模型，打破了傳統擴展定律（Scaling Law）的局限，可在擴大模型規模時，不顯著增加訓練和推理的計算成本，并保持模型性能最大化。
在權威評測中，元象MoE效果大幅超越多個同類模型，包括國內千億MoE模型Skywork-MoE、傳統MoE霸主Mixtral

原文鏈接：國產最大MoE開源模型發布！騰訊AI Lab創始人帶隊，已融2億美元

聯系作者

文章來源：智東西
作者微信：
作者簡介：