AIGC動態(tài)歡迎閱讀

原標(biāo)題：CMU權(quán)威對比Gemini，GPT-3和Mistral8×7B！GPT-3.5依舊拿捏Gemini，開源模型差距依然不小
關(guān)鍵字：任務(wù),模型,測試,問題,語言
文章來源：新智元
內(nèi)容字?jǐn)?shù)：10060字

內(nèi)容摘要：

新智元報道編輯：山令alan
【新智元導(dǎo)讀】谷歌發(fā)布Gemini以后，一直宣稱Gemini Pro要優(yōu)于GPT-3.5，而CMU的研究人員通過自己實測，給大家來了一個客觀中立第三方的對比。結(jié)果卻是GPT-3.5幾乎還是全面優(yōu)于Gemini Pro，不過雙方差距不大。谷歌最近發(fā)布的Gemini掀起了不小的波瀾。
畢竟，大語言模型領(lǐng)域幾乎是OpenAI的GPT一家獨(dú)大的局面。
不過作為吃瓜群眾，當(dāng)然希望科技公司都卷起來，大模型都打起來！
所以，作為科技巨無霸谷歌的親兒子，Gemini自然承受了很高的期待。
雖然Gemini發(fā)布之后發(fā)生了一些奇奇怪怪的事情吧，什么視頻造假啦，認(rèn)為自己是文心一言啦。
不過問題不大，咱們不看廣告看療效。
最近在CMU，研究人員進(jìn)行了一組公正、深入和可重復(fù)的實驗測試，重點比較了Gemini和GPT在各項任務(wù)中的優(yōu)劣，另外還加入了開源的競爭對手Mixtral。
論文地址：https://arxiv.org/abs/2312.11444
代碼地址：https://github.com/neulab/gemini-benchmark
研究人員在論文中對Google G

原文鏈接：CMU權(quán)威對比Gemini，GPT-3和Mistral8×7B！GPT-3.5依舊拿捏Gemini，開源模型差距依然不小

聯(lián)系作者

文章來源：新智元
作者微信：AI_era
作者簡介：智能+中國主平臺，致力于推動中國從互聯(lián)網(wǎng)+邁向智能+新紀(jì)元。重點關(guān)注人工智能、機(jī)器人等前沿領(lǐng)域發(fā)展，關(guān)注人機(jī)融合、人工智能和機(jī)器人對人類社會與文明進(jìn)化的影響，領(lǐng)航中國新智能時代。