馬斯克開(kāi)源Grok-1：3140億參數(shù)迄今最大，權(quán)重架構(gòu)全開(kāi)放，磁力下載

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：馬斯克開(kāi)源Grok-1：3140億參數(shù)迄今最大，權(quán)重架構(gòu)全開(kāi)放，磁力下載
關(guān)鍵字：模型,權(quán)重,數(shù)據(jù),能力,參數(shù)
文章來(lái)源：機(jī)器之心
內(nèi)容字?jǐn)?shù)：7545字

內(nèi)容摘要：

機(jī)器之心報(bào)道
機(jī)器之心編輯部開(kāi)源社區(qū)有福了。
說(shuō)到做到，馬斯克承諾的開(kāi)源版大模型 Grok 終于來(lái)了！
今天凌晨，馬斯克旗下大模型公司 xAI 宣布正式開(kāi)源 3140 億參數(shù)的混合專(zhuān)家（MoE）模型「Grok-1」，以及該模型的權(quán)重和網(wǎng)絡(luò)架構(gòu)。
這也使得Grok-1成為當(dāng)前參數(shù)量最大的開(kāi)源大語(yǔ)言模型。封面圖根據(jù) Grok 提示使用 Midjourney 生成的：神經(jīng)網(wǎng)絡(luò)的 3D 插圖，具有透明節(jié)點(diǎn)和發(fā)光連接，以不同粗細(xì)和顏色的連接線展示不同的權(quán)重。
這個(gè)時(shí)候，馬斯克當(dāng)然不會(huì)忘了嘲諷 OpenAI 一番，「我們想了解更多 OpenAI 的開(kāi)放部分」。回到模型本身，Grok-1 從頭開(kāi)始訓(xùn)練，并且沒(méi)有針對(duì)任何特定應(yīng)用（如對(duì)話）進(jìn)行微調(diào)。相對(duì)的，在 X（原 Twitter）上可用的 Grok 大模型是微調(diào)過(guò)的版本，其行為和原始權(quán)重版本并不相同。
Grok-1 的模型細(xì)節(jié)包括如下：
基礎(chǔ)模型基于大量文本數(shù)據(jù)進(jìn)行訓(xùn)練，沒(méi)有針對(duì)任何具體任務(wù)進(jìn)行微調(diào)；
3140 億參數(shù)的 MoE 模型，在給定 token 上的激活權(quán)重為 25%；
2023 年 10 月，xAI 使用 JAX 庫(kù)和 Rust 語(yǔ)言組

原文鏈接：馬斯克開(kāi)源Grok-1：3140億參數(shù)迄今最大，權(quán)重架構(gòu)全開(kāi)放，磁力下載

聯(lián)系作者

文章來(lái)源：機(jī)器之心
作者微信：almosthuman2014
作者簡(jiǎn)介：專(zhuān)業(yè)的人工智能媒體和產(chǎn)業(yè)服務(wù)平臺(tái)