震驚！OpenAI“造假”石錘？ 秘密參與數學基準測試，FrontierMath 透明度遭質疑

原標題：震驚！OpenAI“造假”石錘？ 秘密參與數學基準測試，FrontierMath 透明度遭質疑
文章來源：人工智能學家
內容字數：11057字

Epoch AI就FrontierMath項目透明度問題致歉

Epoch AI公司就其與OpenAI合作的FrontierMath項目透明度問題發表聲明，公開道歉并承諾改進未來合作的透明度。

1. 概述

FrontierMath是一個評估前沿數學模型能力的基準測試項目，Epoch AI與OpenAI合作開發。由于溝通和透明度不足，Epoch AI遭到了批評。其聲明承認在與OpenAI合作過程中存在以下錯誤：

2. 主要錯誤

1. 披露時間過晚：由于合同限制，Epoch AI直到FrontierMath第三次迭代發布前后才披露與OpenAI的合作關系。他們承認應該在談判中爭取盡早披露合作信息。
2. 溝通不一致：Epoch AI向部分數學家透露了他們獲得了實驗室資助，但未系統地告知所有參與者，也未明確指出合作的實驗室是OpenAI。
3. 未將透明度作為合作前提：即使受到合同限制，Epoch AI也應該將與貢獻者的透明度作為與OpenAI達成協議的不可協商部分。數學家們有權知道誰可以訪問他們的工作成果。

3. 數據訪問與使用

OpenAI確實可以訪問FrontierMath的大部分問題和解決方案，但有一個未被OpenAI看到的保留集，用于驗證模型能力。雙方有口頭協議，這些材料不會被用于模型訓練。OpenAI的相關員工公開將FrontierMath描述為“強保留”的評估集，這與Epoch AI的理解一致。OpenAI也支持Epoch AI維護一個單獨的、未被看到的保留集，以防止過擬合并確保準確衡量模型的進步。

4. 未來改進

Epoch AI承諾在未來的合作中改進透明度，確保貢獻者在項目開始時就獲得關于資金來源、數據訪問和使用目的的清晰信息。他們將努力在所有可能的方面提高透明度。

5. 總結

此次突顯了在人工智能研究合作中，保持透明度和開放溝通的重要性。Epoch AI的道歉和承諾改進，為未來人工智能項目合作樹立了改進的榜樣，強調了數據安全和研究倫理的重要性。

聯系作者

文章來源：人工智能學家
作者微信：
作者簡介：致力成為權威的人工智能科技媒體和前沿科技研究機構