467億參數(shù)MoE追平GPT-3.5!爆火開源Mixtral模型細節(jié)首公開,中杯逼近GPT-4

AIGC動態(tài)歡迎閱讀
原標題:467億參數(shù)MoE追平GPT-3.5!爆火開源Mixtral模型細節(jié)首公開,中杯逼近GPT-4
文章來源:新智元
內(nèi)容字數(shù):4992字
內(nèi)容摘要:新智元報道編輯:alan 好困【新智元導讀】今天,Mistral AI公布了Mixtral 8x7B的技術細節(jié),不僅性能強勁,而且推理速度更快!還有更強型號的Mistral-medium也已開啟內(nèi)測,性能直追GPT-4。今天,Mistral AI正式放出了Mixtral 8x7B的技術細節(jié)——在大多數(shù)基準測試中,Mixtral的表現(xiàn)不僅優(yōu)于Llama 2 70B,而且推理速度提高了整整6倍!尤其是,它在大多數(shù)標準基準測試上與GPT-3.5打平,甚至略勝一籌。新開源的Mixtral 8x7B自帶了一些出色的表現(xiàn):比如可以很好地處理32k長度的上下文,支持英語、法語、意大利語、德語和西班牙語,且在代碼生成方面表現(xiàn)出強大的性能。另外,它可以微調(diào)為指令跟隨模型(instruction-following model),在MT-Bench上獲得了8.3分的好成績。467億參數(shù)打平GPT-3.5Mix…
原文鏈接:點此閱讀原文:467億參數(shù)MoE追平GPT-3.5!爆火開源Mixtral模型細節(jié)首公開,中杯逼近GPT-4
聯(lián)系作者
文章來源:新智元
作者微信:AI_era
作者簡介:智能+中國主平臺,致力于推動中國從互聯(lián)網(wǎng)+邁向智能+新紀元。重點關注人工智能、機器人等前沿領域發(fā)展,關注人機融合、人工智能和機器人對人類社會與文明進化的影響,領航中國新智能時代。

粵公網(wǎng)安備 44011502001135號