馬斯克打臉OpenAI，全球最大巨無霸模型Grok-1開源！3140億參數(shù)8個MoE，GitHub狂攬6k星

AIGC動態(tài)歡迎閱讀

原標(biāo)題：馬斯克打臉OpenAI，全球最大巨無霸模型Grok-1開源！3140億參數(shù)8個MoE，GitHub狂攬6k星
關(guān)鍵字：模型,元宇宙,參數(shù),代碼,權(quán)重
文章來源：新智元
內(nèi)容字?jǐn)?shù)：6014字

內(nèi)容摘要：

新智元報道編輯：編輯部
【新智元導(dǎo)讀】xAI的Grok，在七天后如期開源了！公開Grok背后代碼，讓馬斯克對OpenAI啪啪打臉。3140億參數(shù)8個MoE，權(quán)重架構(gòu)全開放，項目一上線已經(jīng)在GitHub上狂攬6k星。說到做到，馬斯克xAI的Grok，果然如期開源了！
就在剛剛，xAI正式發(fā)布3140億參數(shù)混合專家模型Grok-1的權(quán)重和架構(gòu)。
3140億的參數(shù)，讓Grok-1成為迄今參數(shù)量最大的開源LLM，是Llama 2的4倍。
目前，xAI關(guān)于Grok-1沒有透露更多信息。
官網(wǎng)放出的信息如下——
– 基礎(chǔ)模型在大量文本數(shù)據(jù)上訓(xùn)練，未針對任何特定任務(wù)進(jìn)行微調(diào)。
– 314B參數(shù)的MoE，有25%的權(quán)重在給定token上處于激活狀態(tài)。
– 2023年10月，xAI使用JAX和Rust之上的自定義訓(xùn)練堆棧從頭開始訓(xùn)練。
一經(jīng)上線GitHub，Grok就狂攬了6k星，586個Fork。
項目地址：https://github.com/xai-org/grok-1
馬斯克還不忘嘲諷OpenAI一番，「告訴我們更多關(guān)于OpenAI的「open」部分…」
紐約時報點評道，開源Gork背后的

原文鏈接：馬斯克打臉OpenAI，全球最大巨無霸模型Grok-1開源！3140億參數(shù)8個MoE，GitHub狂攬6k星

聯(lián)系作者

文章來源：新智元
作者微信：AI_era
作者簡介：智能+中國主平臺，致力于推動中國從互聯(lián)網(wǎng)+邁向智能+新紀(jì)元。重點關(guān)注人工智能、機(jī)器人等前沿領(lǐng)域發(fā)展，關(guān)注人機(jī)融合、人工智能和機(jī)器人對人類社會與文明進(jìn)化的影響，領(lǐng)航中國新智能時代。