馬斯克正式開源 Grok-1，成為全球最大的開源大模型

AIGC動態歡迎閱讀

原標題：馬斯克正式開源 Grok-1，成為全球最大的開源大模型
關鍵字：模型,參數,網友,專家,數據
文章來源：愛范兒
內容字數：2327字

內容摘要：

開源了
但又沒
完全開源今日凌晨，在一片質疑聲中，信守承諾的馬斯克卡在最后一日正式開源了 GroK。
好消息是， 馬斯克開源了 Grok 1.0 的完整代碼，壞消息是，關于模型完整的訓練過程和細節卻是一點也沒透露，這就好比給你一本詳盡的教科書讓你自學成才。
另外，藏著掖著的 Grok 1.5 也沒有發布，相信屆時會給我們帶來一波大驚喜。
本次開源的 Grok 1.0 是擁有 314B 參數的先進混合專家模型，也是截至目前參數量最大的開源大型語言模型，其規模相當于 Meta LlaMA 2 70B 的 4.4 倍。
模型是由 xAI 團隊利用定制的訓練技術棧，在 JAX 和 Rust 的基礎上從零開始構建的，包含了 Grok 1.0 在 2023 年 10 月完成預訓練階段時的基礎模型數據。
這也意味著該模型尚未對任何特定應用（如對話系統）進行微調，所以在處理特定任務時的表現甚至不如一些專門為任務微調過的模型。
根據 Apache 2.0 許可協議， 現在公眾可以訪問模型的權重和架構。以下是關于 Grok 1.0 的一些關鍵信息：
模型參數數量高達 314B混合專家模型(MoE 架構

原文鏈接：馬斯克正式開源 Grok-1，成為全球最大的開源大模型

聯系作者

文章來源：愛范兒
作者微信：ifanr
作者簡介：關注明日產品的數字潮牌