國內(nèi)首個開源千億參數(shù)MoE大模型來了！性能超Grok-1，單張GPU可跑

AIGC動態(tài)歡迎閱讀

原標題：國內(nèi)首個開源千億參數(shù)MoE大模型來了！性能超Grok-1，單張GPU可跑
關(guān)鍵字：騰訊,模型,參數(shù),智能,專家
文章來源：智東西
內(nèi)容字數(shù)：4516字

內(nèi)容摘要：

APUS-xDAN-4.0（MoE）參數(shù)規(guī)模1360億，可在消費級顯卡4090上運行。
作者|程茜
編輯|心緣
智東西4月2日報道，今天，全球移動互聯(lián)網(wǎng)公司APUS與大模型創(chuàng)企新旦智能宣布，聯(lián)手開源國內(nèi)首個千億參數(shù)的MoE（混合專家模型）APUS-xDAN大模型4.0，這也是國內(nèi)首個可以在消費級顯卡上運行的千億MoE中英文大模型。
APUS-xDAN-4.0（MoE）參數(shù)規(guī)模為1360億，可在消費級顯卡4090上運行，據(jù)APUS實測，其綜合性能超過GPT-3.5，達到GPT-4的90%。
數(shù)學能力上，測評基準GSM8K的測評得分為79，理解能力MMLU達到73分。
項目地址：
https://github.com/shootime2021/APUS-xDAN-4.0-moe?tab=readme-ov-file
推薦智東西年度會議。4月18-19日，2024中國生成式AI大會將在北京舉行。免費報名或購票通道開放中，期待你的參會~01.
數(shù)學、推理能力碾壓
推理成本下降400%
APUS-xDAN-4.0（MoE）在GitHub的頁面顯示了基準測評結(jié)果，其與Mixtral-8x7B（Mo

原文鏈接：國內(nèi)首個開源千億參數(shù)MoE大模型來了！性能超Grok-1，單張GPU可跑

聯(lián)系作者

文章來源：智東西
作者微信：zhidxcom
作者簡介：智能產(chǎn)業(yè)新媒體！智東西專注報道人工智能主導(dǎo)的前沿技術(shù)發(fā)展，和技術(shù)應(yīng)用帶來的千行百業(yè)產(chǎn)業(yè)升級。聚焦智能變革，服務(wù)產(chǎn)業(yè)升級。