GPT-4不會圖形推理？“放水”后準確率依然只有33%

AIGC動態歡迎閱讀

原標題：GPT-4不會圖形推理？“放水”后準確率依然只有33%

關鍵字：報告,數據,研究者,測試,圖形

文章來源：量子位

內容字數：4204字

內容摘要：克雷西 發自 凹非寺量子位 | 公眾號 QbitAIGPT-4的圖形推理能力，竟然連人類的一半都不到？美國圣塔菲研究所的一項研究顯示，GPT-4做圖形推理題的準確率僅有33%。而具有多模態能力的GPT-4v表現更糟糕，只能做對25%的題目。△虛線表示16項任務的平均表現這項實驗結果發表后，迅速在YC上引發了廣泛熱議。贊同這項結果的網友表示，GPT確實不擅長抽象圖形處理，“位置”“旋轉”等概念理解起來更加困難。但另一邊，不少網友對這個結論也有所質疑，簡單說就是：不能說是錯的，但說完全正確也無法讓人信服。至于具體的原因，我們繼續往下看。GPT-4準確率僅33%為了評估人類和GPT-4在這些圖形題上的表現，研究者使用了自家機構于今年5月推出的ConceptARC數據集。ConceptARC中一共包括16個子類的圖形推理題，每類30道，一共480道題目。這16個子類涵蓋了位置關系、形狀、操作、比較…

原文鏈接：點此閱讀原文：GPT-4不會圖形推理？“放水”后準確率依然只有33%

聯系作者

文章來源：量子位

作者微信：QbitAI

作者簡介：追蹤人工智能新趨勢，關注科技行業新突破