阿里開(kāi)源Qwen2系列模型，72B有望成為開(kāi)源第一！

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：阿里開(kāi)源Qwen2系列模型，72B有望成為開(kāi)源第一！
關(guān)鍵字：模型,上下文,效果,中文,問(wèn)題
文章來(lái)源：算法邦
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

01寫(xiě)在前面書(shū)接上回，開(kāi)源時(shí)代，沸騰期待。
期待已久的Qwen2，他如約而至，他來(lái)了，他帶著5個(gè)尺寸的大模型迎面走來(lái)了。
Blog:https://qwenlm.github.io/blog/qwen2/HF:https://huggingface.co/collections/Qwen/qwen2-6659360b33528ced941e557fQwen2本次開(kāi)源了4個(gè)Dense模型和1個(gè)MoE模型，Dense模型包括0.5B、1.5B、7B和72B 4個(gè)尺寸，MoE模型總參數(shù)為57B，激活參數(shù)14B。
Qwen2系列模型為多語(yǔ)言模型，除英文和中文外，還支持其他27種語(yǔ)言；同時(shí)具有RAG、工具調(diào)用、角色扮演、Agent等多種功能。
02模型細(xì)節(jié)Qwen2模型跟Qwen1.5模型一致，主要采用更多的數(shù)據(jù)（據(jù)說(shuō)數(shù)據(jù)量在7T以上）進(jìn)行模型訓(xùn)練。
幾種模型支持最大上下文不同：
0.5B、1.5B模型支持最大上下文為32K；
57B-A14B MoE模型支持最大上下文為64K；
7B、72B模型支持最大上下文為128K。
除英文和中文外的27種語(yǔ)言如下：
西歐：德語(yǔ)、法語(yǔ)、西班牙語(yǔ)、葡萄牙語(yǔ)、

原文鏈接：阿里開(kāi)源Qwen2系列模型，72B有望成為開(kāi)源第一！

聯(lián)系作者

文章來(lái)源：算法邦
作者微信：allplusai
作者簡(jiǎn)介：智猩猩矩陣賬號(hào)之一，聚焦生成式AI，重點(diǎn)關(guān)注模型與應(yīng)用。