GPT-4o攻破ARC-AGI無法被挑戰的神話！71%準確率成新SOTA

AIGC動態歡迎閱讀

原標題：GPT-4o攻破ARC-AGI無法被挑戰的神話！71%準確率成新SOTA
關鍵字：測試,問題,人類,基線,示例
文章來源：新智元
內容字數：0字

內容摘要：

新智元報道編輯：庸庸喬楊
【新智元導讀】號稱不可能輕易被擊敗的AGI基準ARC-AGI被GPT-4o撼動，GPT-4o以在公共測試集50%、在訓練集71%的準確率成為了新的SOTA！ARC-AGI是唯一可以用來衡量通用人工智能進展的基準，創造者Fran?ois Chollets曾經擲下豪言——
「它不可能輕易被擊敗！」
為了測試這一點，他于2020年在 Kaggle（Google LLC旗下的數據科學競賽平臺）上主辦了首屆ARC-AGI競賽。
獲勝團隊icecuber在測試集上僅取得了21%的成功率，這個成績強有力地證明了Fran?ois的斷言是正確的。
此后幾年，來自世界各地的挑戰者不斷刷新這個紀錄，但進展緩慢。ARC-AGI似乎成為了一座不可跨越的高山。
可是這周二，ARC-AGI基準無法被挑戰的神話被GPT-4o撼動了！GPT-4o以在公共測試集50%、在訓練集的保留子集71%的準確率成為了新的SOTA！
ARC-AGI上周被大肆宣傳為LLM無法解決的基準。這個說法激發了我親愛的同事Ryan Greenblatt的斗志，因此他上周試圖用 LLMs 來解決這個問題。Ryan在一組

原文鏈接：GPT-4o攻破ARC-AGI無法被挑戰的神話！71%準確率成新SOTA

聯系作者

文章來源：新智元
作者微信：AI_era
作者簡介：智能+中國主平臺，致力于推動中國從互聯網+邁向智能+新紀元。重點關注人工智能、機器人等前沿領域發展，關注人機融合、人工智能和機器人對人類社會與文明進化的影響，領航中國新智能時代。