昆侖萬維開源 2 千億稀疏大模型天工 MoE,全球首創(chuàng)能用 4090 推理

AIGC動(dòng)態(tài)歡迎閱讀
原標(biāo)題:昆侖萬維開源 2 千億稀疏大模型天工 MoE,全球首創(chuàng)能用 4090 推理
關(guān)鍵字:報(bào)告,模型,元宇宙,切分,參數(shù)
文章來源:AI科技評(píng)論
內(nèi)容字?jǐn)?shù):0字
內(nèi)容摘要:
2024年6月3日,昆侖萬維宣布開源 2 千億稀疏大模型 Skywork-MoE , 性能強(qiáng)勁, 同時(shí)推理成本更低。Skywork-MoE 基于之前昆侖萬維開源的 Skywork-13B 模型中間 checkpoint 擴(kuò)展而來,是首個(gè)完整將 MoE Upcycling 技術(shù)應(yīng)用并落地的開源千億 MoE大模型,也是首個(gè)支持用單臺(tái) 4090 服務(wù)器推理的開源千億 MoE大模型。1開源地址Skywork-MoE 的模型權(quán)重、技術(shù)報(bào)告完全開源,免費(fèi)商用,無需申請(qǐng):
?模型權(quán)重下載:
?https://huggingface.co/Skywork/Skywork-MoE-base
?https://huggingface.co/Skywork/Skywork-MoE-Base-FP8
?模型開源倉庫:https://github.com/SkyworkAI/Skywork-MoE
?模型技術(shù)報(bào)告:https://github.com/SkyworkAI/Skywork-MoE/blob/main/skywork-moe-tech-report.pdf
?模型推理代碼:(支持 8×4090 服務(wù)
原文鏈接:昆侖萬維開源 2 千億稀疏大模型天工 MoE,全球首創(chuàng)能用 4090 推理
聯(lián)系作者
文章來源:AI科技評(píng)論
作者微信:aitechtalk
作者簡介:雷峰網(wǎng)旗下AI新媒體。聚焦AI前沿研究,關(guān)注AI工程落地。

粵公網(wǎng)安備 44011502001135號(hào)