AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：突發(fā)：馬斯克Grok開源！
關(guān)鍵字：模型,權(quán)重,參數(shù),賬號(hào),專家
文章來源：智東西
內(nèi)容字?jǐn)?shù)：2647字

內(nèi)容摘要：

全球最大開源大模型！馬斯克Grok-1參數(shù)量3410億，正式開源。
作者|云鵬
編輯|心緣
6個(gè)月掏出3410億參數(shù)自研大模型，馬斯克說到做到！
智東西3月18日消息，就在剛剛，馬斯克的AI創(chuàng)企xAI正式發(fā)布了此前備受期待大模型Grok-1，其參數(shù)量達(dá)到了3140億，遠(yuǎn)超OpenAI GPT-3.5的1750億。
這是迄今參數(shù)量最大的開源大語言模型，遵照Apache 2.0協(xié)議開放模型權(quán)重和架構(gòu)。
Grok-1是一個(gè)混合專家（Mixture-of-Experts，MOE）大模型，這種MOE架構(gòu)重點(diǎn)在于提高大模型的訓(xùn)練和推理效率，形象地理解，MOE就像把各個(gè)領(lǐng)域的“專家”集合到了一起，遇到任務(wù)派發(fā)給不同領(lǐng)域的專家，最后匯總結(jié)論，提升效率。決定每個(gè)專家做什么的是被稱為“門控網(wǎng)絡(luò)”的機(jī)制。
xAI已經(jīng)將Grok-1的權(quán)重和架構(gòu)在GitHub上開源。
GitHub地址：https://github.com/xai-org/grok-1?tab=readme-ov-file
目前Grok-1的源權(quán)重?cái)?shù)據(jù)大小大約為300GB。
截至北京時(shí)間3月18日上午7時(shí)許，Grok-1項(xiàng)目收獲了3400顆星。

原文鏈接：突發(fā)：馬斯克Grok開源！

聯(lián)系作者

文章來源：智東西
作者微信：zhidxcom
作者簡介：智能產(chǎn)業(yè)新媒體！智東西專注報(bào)道人工智能主導(dǎo)的前沿技術(shù)發(fā)展，和技術(shù)應(yīng)用帶來的千行百業(yè)產(chǎn)業(yè)升級(jí)。聚焦智能變革，服務(wù)產(chǎn)業(yè)升級(jí)。