國產(chǎn)最大MoE開源模型發(fā)布！騰訊AI Lab創(chuàng)始人帶隊，已融2億美元

AIGC動態(tài)歡迎閱讀

原標(biāo)題：國產(chǎn)最大MoE開源模型發(fā)布！騰訊AI Lab創(chuàng)始人帶隊，已融2億美元
關(guān)鍵字：騰訊,模型,數(shù)據(jù),專家,性能
文章來源：智東西
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

2550億參數(shù)、免費(fèi)可商用，前騰訊副總裁創(chuàng)業(yè)。
編輯|香草
智東西9月13日報道，今日，大模型創(chuàng)企元象XVERSE發(fā)布國內(nèi)最大MoE開源模型XVERSE-MoE-A36B，其總參數(shù)2550億，激活參數(shù)360億，實現(xiàn)了達(dá)到千億級別模型的性能“跨級”躍升。
同時，這款MoE模型與其Dense模型XVERSE-65B-2相比，訓(xùn)練時間減少30%，推理性能提升100%，每token成本大幅下降。
元象“高性能全家桶”系列全部開源，可無條件免費(fèi)商用，為中小企業(yè)、研究者和開發(fā)者提供可按需選擇的多款模型。
01.
國內(nèi)最大開源MoE模型
無條件免費(fèi)商用
不少行業(yè)前沿模型，包括谷歌Gemini-1.5、OpenAI的GPT-4、馬斯克xAI的Grok等，都使用了MoE架構(gòu)。
MoE是業(yè)界前沿的混合專家模型架構(gòu)，將多個細(xì)分領(lǐng)域的專家模型組合成一個超級模型，打破了傳統(tǒng)擴(kuò)展定律（Scaling Law）的局限，可在擴(kuò)大模型規(guī)模時，不顯著增加訓(xùn)練和推理的計算成本，并保持模型性能最大化。
在權(quán)威評測中，元象MoE效果大幅超越多個同類模型，包括國內(nèi)千億MoE模型Skywork-MoE、傳統(tǒng)MoE霸主Mixtral

原文鏈接：國產(chǎn)最大MoE開源模型發(fā)布！騰訊AI Lab創(chuàng)始人帶隊，已融2億美元

聯(lián)系作者

文章來源：智東西
作者微信：
作者簡介：