7B新王！Zamba 2完勝同級(jí)模型，推理效率比Llama 3提升20%，內(nèi)存用量更少

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：7B新王！Zamba 2完勝同級(jí)模型，推理效率比Llama 3提升20%，內(nèi)存用量更少
關(guān)鍵字：模型,模塊,注意力,智能,架構(gòu)
文章來源：新智元
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

新智元報(bào)道編輯：LRS
【新智元導(dǎo)讀】Zamba2-7B是一款小型語言模型，在保持輸出質(zhì)量的同時(shí)，通過創(chuàng)新架構(gòu)實(shí)現(xiàn)了比同類模型更快的推理速度和更低的內(nèi)存占用，在圖像描述等任務(wù)上表現(xiàn)出色，能在各種邊緣設(shè)備和消費(fèi)級(jí)GPU上高效運(yùn)行。除了不斷增加語言模型的尺寸來提升性能外，小語言模型（SLM）賽道也是越來越卷，研究人員在保證輸出質(zhì)量盡量不變的情況下，不斷降低模型尺寸，減少內(nèi)存占用量，提升推理效率，從而能夠在各種邊緣計(jì)算設(shè)備和消費(fèi)級(jí)GPU上部署使用。
最近，Zyphra發(fā)布Zamba2-7B模型，在質(zhì)量和性能上都優(yōu)于Mistral、Google的Gemma和Meta的Llama3系列同尺寸小語言模型；在推理效率上，與 Llama3-8B 等模型相比，第一個(gè)token的時(shí)間縮短了 25%，每秒token數(shù)量提高了 20%，并且內(nèi)存使用量顯著減少。Instruct下載鏈接：https://huggingface.co/Zyphra/Zamba2-7B-Instruct
base下載鏈接：https://huggingface.co/Zyphra/Zamba2-7B
相對(duì)于上一代Zamba1-7B

原文鏈接：7B新王！Zamba 2完勝同級(jí)模型，推理效率比Llama 3提升20%，內(nèi)存用量更少