昆侖萬(wàn)維開(kāi)源 2 千億稀疏大模型天工 MoE，全球首創(chuàng)能用 4090 推理

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：昆侖萬(wàn)維開(kāi)源 2 千億稀疏大模型天工 MoE，全球首創(chuàng)能用 4090 推理
關(guān)鍵字：報(bào)告,模型,元宇宙,切分,參數(shù)
文章來(lái)源：AI科技評(píng)論
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

2024年6月3日，昆侖萬(wàn)維宣布開(kāi)源 2 千億稀疏大模型 Skywork-MoE ， 性能強(qiáng)勁， 同時(shí)推理成本更低。Skywork-MoE 基于之前昆侖萬(wàn)維開(kāi)源的 Skywork-13B 模型中間 checkpoint 擴(kuò)展而來(lái)，是首個(gè)完整將 MoE Upcycling 技術(shù)應(yīng)用并落地的開(kāi)源千億 MoE大模型，也是首個(gè)支持用單臺(tái) 4090 服務(wù)器推理的開(kāi)源千億 MoE大模型。1開(kāi)源地址Skywork-MoE 的模型權(quán)重、技術(shù)報(bào)告完全開(kāi)源，免費(fèi)商用，無(wú)需申請(qǐng)：
?模型權(quán)重下載：
?https://huggingface.co/Skywork/Skywork-MoE-base
?https://huggingface.co/Skywork/Skywork-MoE-Base-FP8
?模型開(kāi)源倉(cāng)庫(kù)：https://github.com/SkyworkAI/Skywork-MoE
?模型技術(shù)報(bào)告：https://github.com/SkyworkAI/Skywork-MoE/blob/main/skywork-moe-tech-report.pdf
?模型推理代碼：（支持 8×4090 服務(wù)

原文鏈接：昆侖萬(wàn)維開(kāi)源 2 千億稀疏大模型天工 MoE，全球首創(chuàng)能用 4090 推理

聯(lián)系作者

文章來(lái)源：AI科技評(píng)論
作者微信：aitechtalk
作者簡(jiǎn)介：雷峰網(wǎng)旗下AI新媒體。聚焦AI前沿研究，關(guān)注AI工程落地。