AIGC動態歡迎閱讀

原標題：馬斯克突然開源Grok：3140億參數巨無霸，免費可商用
關鍵字：騰訊,模型,參數,專家,大小
文章來源：量子位
內容字數：4555字

內容摘要：

魚羊 克雷西 發自 凹非寺量子位 | 公眾號 QbitAI馬斯克說到做到：
旗下大模型Grok現已開源！
代碼和模型權重已上線GitHub。官方信息顯示，此次開源的Grok-1是一個3140億參數的混合專家模型——
就是說，這是當前開源模型中參數量最大的一個。
消息一出，Grok-1的GitHub倉庫已攬獲4.5k標星，并且還在庫庫猛漲。
表情包們，第一時間被吃瓜群眾們熱傳了起來。
而ChatGPT本Chat，也現身Grok評論區，開始了和馬斯克新一天的斗嘴……
那么，話不多說，來看看馬斯克這波為懟OpenAI，究竟拿出了什么真東西。
Grok-1說開源就開源此次開源，xAI發布了Grok-1的基本模型權重和網絡架構。
具體來說是2023年10月預訓練階段的原始基礎模型，沒有針對任何特定應用（例如對話）進行微調。
結構上，Grok-1采用了混合專家（MoE）架構，包含8個專家，總參數量為314B（3140億），處理Token時，其中的兩個專家會被激活，激活參數量為86B。
單看這激活的參數量，就已經超過了密集模型Llama 2的70B，對于MoE架構來說，這樣的參數量稱之為龐然大物也毫

原文鏈接：馬斯克突然開源Grok：3140億參數巨無霸，免費可商用

聯系作者

文章來源：量子位
作者微信：QbitAI
作者簡介：追蹤人工智能新趨勢，關注科技行業新突破