一條磁力鏈接席卷AI圈，87GB種子直接開源8x7B MoE模型

AIGC動態(tài)歡迎閱讀

原標(biāo)題：一條磁力鏈接席卷AI圈，87GB種子直接開源8x7B MoE模型

關(guān)鍵字：專家,模型,融資,參數(shù),公司

文章來源：機(jī)器之心

內(nèi)容字?jǐn)?shù)：3764字

內(nèi)容摘要：機(jī)器之心報道機(jī)器之心編輯部「高端」的開源，往往采用最樸素的發(fā)布方式。昨天，Mistral AI 在 X 平臺甩出一條磁力鏈接，宣布了新的開源動作。沒有長篇官方博客，沒有刻意加速的 Demo，這家公司算是當(dāng)下大模型領(lǐng)域的「一股清流」。打開一看，發(fā)現(xiàn)是接近 87 GB 的種子：參數(shù)配置什么樣？很多人放棄了周末，第一時間下載運(yùn)行起來。看上去，Mistral 8x7B 使用了與 GPT-4 非常相似的架構(gòu)，但是「縮小版」：8 個專家總數(shù)，而不是 16 名（減少一半）每個專家為 7B 參數(shù)，而不是 166B（減少 24 倍）42B 總參數(shù)（估計）而不是 1.8T（減少 42 倍）與原始 GPT-4 相同的 32K 上下文在發(fā)布后 24 小時內(nèi)，已經(jīng)有開發(fā)者做出了在線體驗(yàn)網(wǎng)站：https://replicate.com/nateraw/mixtral-8x7b-32kseqlen有研究者稱：「閉源大模…

原文鏈接：點(diǎn)此閱讀原文：一條磁力鏈接席卷AI圈，87GB種子直接開源8x7B MoE模型

聯(lián)系作者

文章來源：機(jī)器之心

作者微信：almosthuman2014

作者簡介：專業(yè)的人工智能媒體和產(chǎn)業(yè)服務(wù)平臺