馬斯克突然開源Grok：3140億參數(shù)巨無霸，免費(fèi)可商用

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：馬斯克突然開源Grok：3140億參數(shù)巨無霸，免費(fèi)可商用
關(guān)鍵字：騰訊,模型,參數(shù),專家,大小
文章來源：量子位
內(nèi)容字?jǐn)?shù)：4555字

內(nèi)容摘要：

魚羊 克雷西 發(fā)自 凹非寺量子位 | 公眾號 QbitAI馬斯克說到做到：
旗下大模型Grok現(xiàn)已開源！
代碼和模型權(quán)重已上線GitHub。官方信息顯示，此次開源的Grok-1是一個(gè)3140億參數(shù)的混合專家模型——
就是說，這是當(dāng)前開源模型中參數(shù)量最大的一個(gè)。
消息一出，Grok-1的GitHub倉庫已攬獲4.5k標(biāo)星，并且還在庫庫猛漲。
表情包們，第一時(shí)間被吃瓜群眾們熱傳了起來。
而ChatGPT本Chat，也現(xiàn)身Grok評論區(qū)，開始了和馬斯克新一天的斗嘴……
那么，話不多說，來看看馬斯克這波為懟OpenAI，究竟拿出了什么真東西。
Grok-1說開源就開源此次開源，xAI發(fā)布了Grok-1的基本模型權(quán)重和網(wǎng)絡(luò)架構(gòu)。
具體來說是2023年10月預(yù)訓(xùn)練階段的原始基礎(chǔ)模型，沒有針對任何特定應(yīng)用（例如對話）進(jìn)行微調(diào)。
結(jié)構(gòu)上，Grok-1采用了混合專家（MoE）架構(gòu)，包含8個(gè)專家，總參數(shù)量為314B（3140億），處理Token時(shí)，其中的兩個(gè)專家會被激活，激活參數(shù)量為86B。
單看這激活的參數(shù)量，就已經(jīng)超過了密集模型Llama 2的70B，對于MoE架構(gòu)來說，這樣的參數(shù)量稱之為龐然大物也毫

原文鏈接：馬斯克突然開源Grok：3140億參數(shù)巨無霸，免費(fèi)可商用

聯(lián)系作者

文章來源：量子位
作者微信：QbitAI
作者簡介：追蹤人工智能新趨勢，關(guān)注科技行業(yè)新突破