馬斯克打臉OpenAI，全球最大巨無霸模型Grok-1開源！3140億參數8個MoE，GitHub狂攬6k星

AIGC動態歡迎閱讀

原標題：馬斯克打臉OpenAI，全球最大巨無霸模型Grok-1開源！3140億參數8個MoE，GitHub狂攬6k星
關鍵字：模型,元宇宙,參數,代碼,權重
文章來源：新智元
內容字數：6014字

內容摘要：

新智元報道編輯：編輯部
【新智元導讀】xAI的Grok，在七天后如期開源了！公開Grok背后代碼，讓馬斯克對OpenAI啪啪打臉。3140億參數8個MoE，權重架構全開放，項目一上線已經在GitHub上狂攬6k星。說到做到，馬斯克xAI的Grok，果然如期開源了！
就在剛剛，xAI正式發布3140億參數混合專家模型Grok-1的權重和架構。
3140億的參數，讓Grok-1成為迄今參數量最大的開源LLM，是Llama 2的4倍。
目前，xAI關于Grok-1沒有透露更多信息。
官網放出的信息如下——
– 基礎模型在大量文本數據上訓練，未針對任何特定任務進行微調。
– 314B參數的MoE，有25%的權重在給定token上處于激活狀態。
– 2023年10月，xAI使用JAX和Rust之上的自定義訓練堆棧從頭開始訓練。
一經上線GitHub，Grok就狂攬了6k星，586個Fork。
項目地址：https://github.com/xai-org/grok-1
馬斯克還不忘嘲諷OpenAI一番，「告訴我們更多關于OpenAI的「open」部分…」
紐約時報點評道，開源Gork背后的

原文鏈接：馬斯克打臉OpenAI，全球最大巨無霸模型Grok-1開源！3140億參數8個MoE，GitHub狂攬6k星

聯系作者

文章來源：新智元
作者微信：AI_era
作者簡介：智能+中國主平臺，致力于推動中國從互聯網+邁向智能+新紀元。重點關注人工智能、機器人等前沿領域發展，關注人機融合、人工智能和機器人對人類社會與文明進化的影響，領航中國新智能時代。