剛剛！馬斯克履約開源Grok，超越Llama成全球最大開源模型，卻被懷疑是作秀？！

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：剛剛！馬斯克履約開源Grok，超越Llama成全球最大開源模型，卻被懷疑是作秀？！
關(guān)鍵字：解讀,人工智能,模型,表示,算法
文章來(lái)源：AI前線
內(nèi)容字?jǐn)?shù)：8099字

內(nèi)容摘要：

整理| 李冬梅、褚杏娟
本周一，馬斯克在他的社交媒體平臺(tái) X 上宣布 xAI 開源 Grok，這也兌現(xiàn)了他上周的開源承諾。截至目前，Grok 已經(jīng)在 GitHub 上獲得了 4.3k 顆 Star。
開源地址：https://github.com/xai-org/grok-1
Grok-1 是一個(gè)由 xAI 從頭訓(xùn)練的 3140 億參數(shù)的混合專家模型，其中 25% 的權(quán)重來(lái)處理給定的標(biāo)記。xAI 這次發(fā)布的是大型語(yǔ)言模型 Grok-1 的基本模型權(quán)重和網(wǎng)絡(luò)架構(gòu)，使用了 Apache-2.0 許可證。
根據(jù)介紹，Grok 的架構(gòu)是在 2023 年 10 月使用自定義訓(xùn)練堆棧在 JAX 和 Rust 上開發(fā)的，采用了創(chuàng)新的神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)方法。
“該版本是 Grok-1 預(yù)訓(xùn)練階段的原始基本模型檢查點(diǎn)，該階段于 2023 年 10 月宣告結(jié)束。這意味著該模型并未針對(duì)任何一種特定的應(yīng)用（比如對(duì)話和交談）進(jìn)行了微調(diào)?！眡AI 在博文里說(shuō)道。
Andrew Kean Gao 總結(jié)了 Grok-1 的模型情況如下：
此外，他還將 Grok-1 與其他開源模型參數(shù)量進(jìn)行了對(duì)比，Grok-1 是 Llam

原文鏈接：剛剛！馬斯克履約開源Grok，超越Llama成全球最大開源模型，卻被懷疑是作秀？！

聯(lián)系作者

文章來(lái)源：AI前線
作者微信：ai-front
作者簡(jiǎn)介：面向AI愛好者、開發(fā)者和科學(xué)家，提供大模型最新資訊、AI技術(shù)分享干貨、一線業(yè)界實(shí)踐案例，助你全面擁抱AIGC。