AIGC動態歡迎閱讀

原標題：單靠推理Scaling Law無法成就o1！無限推理token，GPT-4o依然完敗
關鍵字：報告,模型,準確率,性能,方法
文章來源：新智元
內容字數：0字

內容摘要：

新智元報道編輯：編輯部 HXY
【新智元導讀】o1的秘訣，和全新的「推理Scaling Law」關系有多大？Epoch AI最近的對比實驗表明，算法創新才是關鍵。CoT鑄就了o1推理王者。
它開創了一種推理scaling新范式——隨著算力增加、更長響應時間，o1性能也隨之增長。
這一點，為AI scaling開辟了新的可能性。
既然如此，若是將o1這一訓練過程直接應用到所有LLM中，豈不皆是「推理王者」。
然而，研究機構Epoch AI發現，結果并不是這樣的。
單純的擴展推理計算，根本不能彌合o1-preview和GPT-4o之間的差距。他們稱，「雖然o1使用了逐步推理方法訓練，但其性能改進，可能還存在其他的因素」。
o1的秘訣是什么？上周，在o1-preview和o1-mini發布之后，Epoch AI研究人員開啟了GPT-4o和o1-preview對比實驗。
他們選擇了一個具有挑戰性的基準測試GPQA進行評估，其中包含STEM領域研究生級別的多項選擇題，而且考慮到模型的隨機性進行了多次運行。
結果發現o1-preview的性能遠遠好于GPT-4o，比Claude 3.5 Sonn

原文鏈接：單靠推理Scaling Law無法成就o1！無限推理token，GPT-4o依然完敗

聯系作者

文章來源：新智元
作者微信：
作者簡介：