馬斯克正式開(kāi)源 Grok-1，成為全球最大的開(kāi)源大模型

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：馬斯克正式開(kāi)源 Grok-1，成為全球最大的開(kāi)源大模型
關(guān)鍵字：模型,參數(shù),網(wǎng)友,專(zhuān)家,數(shù)據(jù)
文章來(lái)源：愛(ài)范兒
內(nèi)容字?jǐn)?shù)：2327字

內(nèi)容摘要：

開(kāi)源了
但又沒(méi)
完全開(kāi)源今日凌晨，在一片質(zhì)疑聲中，信守承諾的馬斯克卡在最后一日正式開(kāi)源了 GroK。
好消息是， 馬斯克開(kāi)源了 Grok 1.0 的完整代碼，壞消息是，關(guān)于模型完整的訓(xùn)練過(guò)程和細(xì)節(jié)卻是一點(diǎn)也沒(méi)透露，這就好比給你一本詳盡的教科書(shū)讓你自學(xué)成才。
另外，藏著掖著的 Grok 1.5 也沒(méi)有發(fā)布，相信屆時(shí)會(huì)給我們帶來(lái)一波大驚喜。
本次開(kāi)源的 Grok 1.0 是擁有 314B 參數(shù)的先進(jìn)混合專(zhuān)家模型，也是截至目前參數(shù)量最大的開(kāi)源大型語(yǔ)言模型，其規(guī)模相當(dāng)于 Meta LlaMA 2 70B 的 4.4 倍。
模型是由 xAI 團(tuán)隊(duì)利用定制的訓(xùn)練技術(shù)棧，在 JAX 和 Rust 的基礎(chǔ)上從零開(kāi)始構(gòu)建的，包含了 Grok 1.0 在 2023 年 10 月完成預(yù)訓(xùn)練階段時(shí)的基礎(chǔ)模型數(shù)據(jù)。
這也意味著該模型尚未對(duì)任何特定應(yīng)用（如對(duì)話系統(tǒng)）進(jìn)行微調(diào)，所以在處理特定任務(wù)時(shí)的表現(xiàn)甚至不如一些專(zhuān)門(mén)為任務(wù)微調(diào)過(guò)的模型。
根據(jù) Apache 2.0 許可協(xié)議， 現(xiàn)在公眾可以訪問(wèn)模型的權(quán)重和架構(gòu)。以下是關(guān)于 Grok 1.0 的一些關(guān)鍵信息：
模型參數(shù)數(shù)量高達(dá) 314B混合專(zhuān)家模型(MoE 架構(gòu)

原文鏈接：馬斯克正式開(kāi)源 Grok-1，成為全球最大的開(kāi)源大模型

聯(lián)系作者

文章來(lái)源：愛(ài)范兒
作者微信：ifanr
作者簡(jiǎn)介：關(guān)注明日產(chǎn)品的數(shù)字潮牌