馬斯克開源Grok-1：3140億參數迄今最大，權重架構全開放，磁力下載

AIGC動態歡迎閱讀

原標題：馬斯克開源Grok-1：3140億參數迄今最大，權重架構全開放，磁力下載
關鍵字：模型,權重,數據,能力,參數
文章來源：機器之心
內容字數：7545字

內容摘要：

機器之心報道
機器之心編輯部開源社區有福了。
說到做到，馬斯克承諾的開源版大模型 Grok 終于來了！
今天凌晨，馬斯克旗下大模型公司 xAI 宣布正式開源 3140 億參數的混合專家（MoE）模型「Grok-1」，以及該模型的權重和網絡架構。
這也使得Grok-1成為當前參數量最大的開源大語言模型。封面圖根據 Grok 提示使用 Midjourney 生成的：神經網絡的 3D 插圖，具有透明節點和發光連接，以不同粗細和顏色的連接線展示不同的權重。
這個時候，馬斯克當然不會忘了嘲諷 OpenAI 一番，「我們想了解更多 OpenAI 的開放部分」。回到模型本身，Grok-1 從頭開始訓練，并且沒有針對任何特定應用（如對話）進行微調。相對的，在 X（原 Twitter）上可用的 Grok 大模型是微調過的版本，其行為和原始權重版本并不相同。
Grok-1 的模型細節包括如下：
基礎模型基于大量文本數據進行訓練，沒有針對任何具體任務進行微調；
3140 億參數的 MoE 模型，在給定 token 上的激活權重為 25%；
2023 年 10 月，xAI 使用 JAX 庫和 Rust 語言組

原文鏈接：馬斯克開源Grok-1：3140億參數迄今最大，權重架構全開放，磁力下載

聯系作者

文章來源：機器之心
作者微信：almosthuman2014
作者簡介：專業的人工智能媒體和產業服務平臺