o3-mini數(shù)學推理暴打DeepSeek-R1？AIME 2025初賽曝數(shù)據(jù)集污染大瓜

原標題：o3-mini數(shù)學推理暴打DeepSeek-R1？AIME 2025初賽曝數(shù)據(jù)集污染大瓜
文章來源：新智元
內(nèi)容字數(shù)：3057字

AIME 2025 I 數(shù)學競賽：大模型成績引發(fā)的質(zhì)疑

近日，AIME 2025 I 數(shù)學競賽的大模型參賽結(jié)果引發(fā)熱議。o3-mini以78%的準確率奪冠，DeepSeek R1則以65%的準確率位居第四。然而，威斯康星大學麥迪遜分校教授Dimitris Papailiopoulos卻對結(jié)果提出質(zhì)疑，他發(fā)現(xiàn)一些參數(shù)量僅為1.5B的小模型也能取得50%左右的準確率，這引發(fā)了關于數(shù)據(jù)集污染和模型泛化能力的討論。

令人意外的高分
Papailiopoulos教授對小模型的意外高分感到震驚。他認為，如果題目完全是新題，這些小模型幾乎不可能取得如此高的分數(shù)。一個連三位數(shù)乘法都難以計算的1.5B參數(shù)模型，卻能解答奧數(shù)題，這顯得異常不合理。
數(shù)據(jù)集污染的證據(jù)
教授通過OpenAI Deep Research搜索發(fā)現(xiàn)，AIME 2025 I競賽中的部分題目，與Quora、math.stackexchange以及2023年佛羅里達在線數(shù)學公開賽中的題目高度相似甚至完全相同。這強烈暗示了數(shù)據(jù)集污染的可能性，模型很可能并非真正理解并解決了問題，而是記住了答案。
MathArena平臺的公平性
MathArena平臺旨在評估大模型解決未見數(shù)學問題的推理和泛化能力。它通過標準化評估和多次重復測試來保證結(jié)果的公平性，并公開排行榜和詳細數(shù)據(jù)。然而，此次暴露了即使是精心設計的平臺，也難以完全避免數(shù)據(jù)集污染的風險。
泛化能力VS記憶能力
此次突顯了LLM“泛化能力VS記憶能力”的爭議。模型究竟是真正理解并解決了問題，還是僅僅記住了答案？這成為一個值得深入探討的問題。Papailiopoulos教授推測，強化學習優(yōu)化策略GRPO可能在提升模型記憶的同時，也意外地提高了其數(shù)學技能。
數(shù)據(jù)凈化：新的Scaling Law？
引發(fā)網(wǎng)友熱議，不少人認為數(shù)據(jù)凈化才是提升模型能力的關鍵，甚至有人將其稱為“新的Scaling Law”。這反映了數(shù)據(jù)質(zhì)量對模型性能至關重要的現(xiàn)實。如何有效地凈化數(shù)據(jù)，避免數(shù)據(jù)集污染，成為未來研究的重點。

總而言之，AIME 2025 I競賽的結(jié)果引發(fā)了對大模型能力和數(shù)據(jù)集污染的深刻反思。這不僅關系到對模型性能的準確評估，更關乎對人工智能未來發(fā)展方向的思考。數(shù)據(jù)凈化和模型泛化能力的提升，將是未來研究的重點方向。