谷歌Gemini大逆轉？斯坦福Meta華人證明其推理性能強于GPT-3.5

AIGC動態歡迎閱讀

原標題：谷歌Gemini大逆轉？斯坦福Meta華人證明其推理性能強于GPT-3.5
關鍵字：數據,常識,模型,能力,問題
文章來源：新智元
內容字數：7689字

內容摘要：

新智元報道編輯：編輯部
【新智元導讀】谷歌放出的Gemini，在對標GPT的道路上似乎一直處于劣勢，Gemini真的比GPT-4弱嗎？最近，斯坦福和Meta的學者發文為Gemini正名。Gemini的推理能力，真的比GPT-4弱嗎？
此前，谷歌憋出的重磅復仇神器Gemini Pro，被發現在常識推理任務中落后于OpenAI的GPT模型。
之后又有CMU發布的論文和實驗，證明Gemini Pro的很多能力都略微落后于GPT-3.5 Turbo。
不過最近，斯坦福和Meta的學者為Gemini洗清了這一「冤屈」。
他們發現，這種基于有限數據集（HellaSWAG）的評估，并不能完全捕捉到Gemini真正的常識推理潛力。
論文地址：https://arxiv.org/abs/2312.17661
而在新測試集中，Gemini的推理能力比之前強很多！
Gemini的真正潛力斯坦福和Meta的研究人員表示，以前的基于有限數據集的評估，對于Gemini不夠公平。
這次，研究人員設計了需要跨模態整合常識知識的任務，以對Gemini在復雜推理任務中的表現進行徹底的評估。
研究人員對12個常識推理數據

原文鏈接：谷歌Gemini大逆轉？斯坦福Meta華人證明其推理性能強于GPT-3.5

聯系作者

文章來源：新智元
作者微信：AI_era
作者簡介：智能+中國主平臺，致力于推動中國從互聯網+邁向智能+新紀元。重點關注人工智能、機器人等前沿領域發展，關注人機融合、人工智能和機器人對人類社會與文明進化的影響，領航中國新智能時代。