467億參數(shù)MoE追平GPT-3.5!爆火開源Mixtral模型細(xì)節(jié)首公開,中杯逼近GPT-4
AIGC動(dòng)態(tài)歡迎閱讀
原標(biāo)題:467億參數(shù)MoE追平GPT-3.5!爆火開源Mixtral模型細(xì)節(jié)首公開,中杯逼近GPT-4
文章來源:新智元
內(nèi)容字?jǐn)?shù):4992字
內(nèi)容摘要:新智元報(bào)道編輯:alan 好困【新智元導(dǎo)讀】今天,Mistral AI公布了Mixtral 8x7B的技術(shù)細(xì)節(jié),不僅性能強(qiáng)勁,而且推理速度更快!還有更強(qiáng)型號的Mistral-medium也已開啟內(nèi)測,性能直追GPT-4。今天,Mistral AI正式放出了Mixtral 8x7B的技術(shù)細(xì)節(jié)——在大多數(shù)基準(zhǔn)測試中,Mixtral的表現(xiàn)不僅優(yōu)于Llama 2 70B,而且推理速度提高了整整6倍!尤其是,它在大多數(shù)標(biāo)準(zhǔn)基準(zhǔn)測試上與GPT-3.5打平,甚至略勝一籌。新開源的Mixtral 8x7B自帶了一些出色的表現(xiàn):比如可以很好地處理32k長度的上下文,支持英語、法語、意大利語、德語和西班牙語,且在代碼生成方面表現(xiàn)出強(qiáng)大的性能。另外,它可以微調(diào)為指令跟隨模型(instruction-following model),在MT-Bench上獲得了8.3分的好成績。467億參數(shù)打平GPT-3.5Mix…
原文鏈接:點(diǎn)此閱讀原文:467億參數(shù)MoE追平GPT-3.5!爆火開源Mixtral模型細(xì)節(jié)首公開,中杯逼近GPT-4
聯(lián)系作者
文章來源:新智元
作者微信:AI_era
作者簡介:智能+中國主平臺,致力于推動(dòng)中國從互聯(lián)網(wǎng)+邁向智能+新紀(jì)元。重點(diǎn)關(guān)注人工智能、機(jī)器人等前沿領(lǐng)域發(fā)展,關(guān)注人機(jī)融合、人工智能和機(jī)器人對人類社會與文明進(jìn)化的影響,領(lǐng)航中國新智能時(shí)代。