AIGC動態歡迎閱讀

原標題：摸底谷歌Gemini：CMU全面測評，Gemini Pro不敵GPT 3.5 Turbo
關鍵字：模型,任務,作者,測試,語言
文章來源：機器之心
內容字數：16000字

內容摘要：

機器之心報道
機器之心編輯部谷歌的 Gemini 到底幾斤幾兩？和 OpenAI 的 GPT 模型相比表現如何？CMU 這篇論文測明白了。前段時間，谷歌發布了對標 OpenAI GPT 模型的競品 ——Gemini。這個大模型共有三個版本 ——Ultra（能力最強）、Pro 和 Nano。研究團隊公布的測試結果顯示，Ultra 版本在許多任務中優于 GPT4，而 Pro 版本與 GPT-3.5 不相上下。
盡管這些對比結果對大型語言模型研究具有重要意義，但由于確切的評估細節和模型預測尚未公開，這限制了對測試結果的復現、檢測，難以進一步分析其隱含的細節。
為了了解 Gemini 的真正實力，來自卡內基梅隆大學、BerriAI 的研究者對該模型的語言理解和生成能力進行了深入探索。
他們在十個數據集上測試了 Gemini Pro、GPT 3.5 Turbo、GPT 4 Turbo、Mixtral 的文本理解和生成能力。具體來說，他們在 MMLU 上測試了模型回答基于知識的問題的能力，在 BigBenchHard 上測試了模型的推理能力，在 GSM8K 等數據集中測試了模型解答數學問題的能力，

原文鏈接：摸底谷歌Gemini：CMU全面測評，Gemini Pro不敵GPT 3.5 Turbo

聯系作者

文章來源：機器之心
作者微信：almosthuman2014
作者簡介：專業的人工智能媒體和產業服務平臺