AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：8x7B MoE與Flash Attention 2結(jié)合，不到10行代碼實(shí)現(xiàn)快速推理
關(guān)鍵字：模型,表示,基準(zhǔn),初始化,步驟
文章來(lái)源：機(jī)器之心
內(nèi)容字?jǐn)?shù)：2516字

內(nèi)容摘要：

機(jī)器之心報(bào)道
編輯：陳萍感興趣的小伙伴，可以跟著操作過(guò)程試一試。前段時(shí)間，Mistral AI 公布的 Mixtral 8x7B 模型爆火整個(gè)開(kāi)源社區(qū)，其架構(gòu)與 GPT-4 非常相似，很多人將其形容為 GPT-4 的「縮小版」。
我們都知道，OpenAI 團(tuán)隊(duì)一直對(duì) GPT-4 的參數(shù)量和訓(xùn)練細(xì)節(jié)守口如瓶。Mistral 8x7B 的放出，無(wú)疑給廣大開(kāi)發(fā)者提供了一種「非常接近 GPT-4」的開(kāi)源選項(xiàng)。
在基準(zhǔn)測(cè)試中，Mistral 8x7B 的表現(xiàn)優(yōu)于 Llama 2 70B，在大多數(shù)標(biāo)準(zhǔn)基準(zhǔn)測(cè)試上與 GPT-3.5 不相上下，甚至略勝一籌。圖源：https://mistral.ai/news/mixtral-of-experts/
隨著這項(xiàng)研究的出現(xiàn)，很多人表示：「閉源大模型已經(jīng)走到了結(jié)局?！苟潭處字艿臅r(shí)間，機(jī)器學(xué)習(xí)愛(ài)好者 Vaibhav (VB) Srivastav 表示：隨著 AutoAWQ（支持 Mixtral、LLaVa 等模型的量化）最新版本的發(fā)布，現(xiàn)在用戶可以將 Mixtral 8x7B Instruct 與 Flash Attention 2 結(jié)合使用，達(dá)到快速推理的目

原文鏈接：8x7B MoE與Flash Attention 2結(jié)合，不到10行代碼實(shí)現(xiàn)快速推理

聯(lián)系作者

文章來(lái)源：機(jī)器之心
作者微信：almosthuman2014
作者簡(jiǎn)介：專業(yè)的人工智能媒體和產(chǎn)業(yè)服務(wù)平臺(tái)