昆侖萬維開源 2 千億稀疏大模型天工 MoE，全球首創能用 4090 推理

AIGC動態歡迎閱讀

原標題：昆侖萬維開源 2 千億稀疏大模型天工 MoE，全球首創能用 4090 推理
關鍵字：報告,模型,元宇宙,切分,參數
文章來源：AI科技評論
內容字數：0字

內容摘要：

2024年6月3日，昆侖萬維宣布開源 2 千億稀疏大模型 Skywork-MoE ， 性能強勁， 同時推理成本更低。Skywork-MoE 基于之前昆侖萬維開源的 Skywork-13B 模型中間 checkpoint 擴展而來，是首個完整將 MoE Upcycling 技術應用并落地的開源千億 MoE大模型，也是首個支持用單臺 4090 服務器推理的開源千億 MoE大模型。1開源地址Skywork-MoE 的模型權重、技術報告完全開源，免費商用，無需申請：
?模型權重下載：
?https://huggingface.co/Skywork/Skywork-MoE-base
?https://huggingface.co/Skywork/Skywork-MoE-Base-FP8
?模型開源倉庫：https://github.com/SkyworkAI/Skywork-MoE
?模型技術報告：https://github.com/SkyworkAI/Skywork-MoE/blob/main/skywork-moe-tech-report.pdf
?模型推理代碼：（支持 8×4090 服務

原文鏈接：昆侖萬維開源 2 千億稀疏大模型天工 MoE，全球首創能用 4090 推理

聯系作者

文章來源：AI科技評論
作者微信：aitechtalk
作者簡介：雷峰網旗下AI新媒體。聚焦AI前沿研究，關注AI工程落地。