UCL博士生創業一年，造出最強AI「ML工程師」，OpenAI蓋戳認證

AIGC動態歡迎閱讀

原標題：UCL博士生創業一年，造出最強AI「ML工程師」，OpenAI蓋戳認證
關鍵字：報告,模型,解讀,任務,框架
文章來源：機器之心
內容字數：0字

內容摘要：

機器之心原創
作者：微胖重要的事說三遍：Agent 框架很重要。一、被忽略的「Agent 框架」
OpenAI 最近又有了新動作，這次他們的野心更大了。
鑒于大型語言模型（ LLM ）強大的先驗知識和行動/反應能力，讓 AI 訓練 AI ，可還行？
幾個頂級大模型在機器學習自動化工程上的表現如何？
人類距離 OpenAI AGI 路線圖上的 Level 3（ Agents ）還有多遠？
懷揣這些問題，OpenAI 自行推出了一個新基準測試—— MLE-bench ，嚴選 75 個與機器學習工程（ MLE ）相關的 Kaggle 競賽題目。畢竟，目前「很少有基準測試能夠全面衡量自主的端到端機器學習工程」。
結果發現，GPT-4o 結合 AIDE 框架平均獲得獎牌數量，明顯優于另外兩個開源 Agent 框架。
更令人驚訝的是，當模型切換到 OpenAI o1-preview（據稱，突破了 LLM 推理極限）后，其表現又翻了一倍：
在大約 16.9% 的比賽中達到了相當于 Kaggle 銅牌以上的水平，獎牌數量也一騎絕塵。
而且，8 次嘗試后，o1-preview 的得分從單次嘗試的 16.

原文鏈接：UCL博士生創業一年，造出最強AI「ML工程師」，OpenAI蓋戳認證