馬斯克正式開源 Grok-1，成為全球最大的開源大模型

AIGC動態(tài)歡迎閱讀

原標(biāo)題：馬斯克正式開源 Grok-1，成為全球最大的開源大模型
關(guān)鍵字：模型,參數(shù),網(wǎng)友,專家,數(shù)據(jù)
文章來源：愛范兒
內(nèi)容字數(shù)：2327字

內(nèi)容摘要：

開源了
但又沒
完全開源今日凌晨，在一片質(zhì)疑聲中，信守承諾的馬斯克卡在最后一日正式開源了 GroK。
好消息是， 馬斯克開源了 Grok 1.0 的完整代碼，壞消息是，關(guān)于模型完整的訓(xùn)練過程和細節(jié)卻是一點也沒透露，這就好比給你一本詳盡的教科書讓你自學(xué)成才。
另外，藏著掖著的 Grok 1.5 也沒有發(fā)布，相信屆時會給我們帶來一波大驚喜。
本次開源的 Grok 1.0 是擁有 314B 參數(shù)的先進混合專家模型，也是截至目前參數(shù)量最大的開源大型語言模型，其規(guī)模相當(dāng)于 Meta LlaMA 2 70B 的 4.4 倍。
模型是由 xAI 團隊利用定制的訓(xùn)練技術(shù)棧，在 JAX 和 Rust 的基礎(chǔ)上從零開始構(gòu)建的，包含了 Grok 1.0 在 2023 年 10 月完成預(yù)訓(xùn)練階段時的基礎(chǔ)模型數(shù)據(jù)。
這也意味著該模型尚未對任何特定應(yīng)用（如對話系統(tǒng)）進行微調(diào)，所以在處理特定任務(wù)時的表現(xiàn)甚至不如一些專門為任務(wù)微調(diào)過的模型。
根據(jù) Apache 2.0 許可協(xié)議， 現(xiàn)在公眾可以訪問模型的權(quán)重和架構(gòu)。以下是關(guān)于 Grok 1.0 的一些關(guān)鍵信息：
模型參數(shù)數(shù)量高達 314B混合專家模型(MoE 架構(gòu)

原文鏈接：馬斯克正式開源 Grok-1，成為全球最大的開源大模型

聯(lián)系作者

文章來源：愛范兒
作者微信：ifanr
作者簡介：關(guān)注明日產(chǎn)品的數(shù)字潮牌