實(shí)測(cè)丨當(dāng) o1 pro 遇上最權(quán)威的智商測(cè)試，結(jié)果竟然是……

o1 pro 的 IQ 水平如何？

原標(biāo)題：實(shí)測(cè)丨當(dāng) o1 pro 遇上最權(quán)威的智商測(cè)試，結(jié)果竟然是……
文章來(lái)源：特工宇宙
內(nèi)容字?jǐn)?shù)：7239字

OpenAI最新模型o1 pro的視覺(jué)推理能力分析

前幾天，OpenAI發(fā)布了其最新的o1 pro模式模型，并將其定價(jià)提高至每月200美元。特工團(tuán)隊(duì)迅速?zèng)Q定進(jìn)行付費(fèi)，并選擇門薩IQ測(cè)試題來(lái)全面評(píng)估o1 pro在視覺(jué)模式識(shí)別與邏輯推理方面的表現(xiàn)。門薩俱樂(lè)部以其高智商標(biāo)準(zhǔn)而聞名，要求申請(qǐng)者通過(guò)其提供的測(cè)試以證明其智商位于全球前2%。這些測(cè)試通常包含抽象的幾何圖形，旨在考察受測(cè)者的邏輯思維與模式識(shí)別能力。

實(shí)驗(yàn)設(shè)計(jì)與測(cè)試方法

本次實(shí)驗(yàn)使用了門薩官網(wǎng)的經(jīng)典圖形測(cè)試題，旨在探討o1 pro的多模態(tài)能力及其在邏輯推理方面的表現(xiàn)。我們給模型的提示是：“我將給你一些基于圖片的IQ測(cè)試多項(xiàng)選擇題，請(qǐng)?jiān)谧疃虝r(shí)間內(nèi)盡力完成?！蓖ㄟ^(guò)這一實(shí)驗(yàn)，我們希望為對(duì)o1 pro感興趣的從業(yè)人員和AI愛(ài)好者提供參考樣本和啟發(fā)。

o1 pro的思維策略與優(yōu)勢(shì)

在測(cè)試過(guò)程中，o1 pro展現(xiàn)了以下幾方面的能力：

1. 形狀特征的捕捉

o1 pro對(duì)基本幾何形狀如圓、方和三角形的識(shí)別準(zhǔn)確率較高。它能夠推斷這些形狀在網(wǎng)格中的相對(duì)分布和排列組合。例如，在某一題中，模型識(shí)別了3×3網(wǎng)格中黑色方塊的水平移動(dòng)規(guī)律，雖然在選項(xiàng)匹配時(shí)出現(xiàn)了一些偏差，但整體表現(xiàn)令人滿意。

2. 數(shù)量統(tǒng)計(jì)的敏感性

在數(shù)量識(shí)別方面，o1 pro表現(xiàn)出色。它通過(guò)對(duì)每個(gè)單元格中元素?cái)?shù)量的歸納和類比，成功推斷出后續(xù)的模式。這與許多高手在做圖形推理時(shí)常用的思維方式一致，即關(guān)鍵元素的數(shù)量通常不會(huì)改變。

3. 位置關(guān)系的基本理解

o1 pro能夠較快辨別圖形間的相對(duì)位置關(guān)系。例如，在某一題中，模型通過(guò)觀察圖形的行變化，推斷出應(yīng)該填入的形狀，這一邏輯推斷顯示了它在行列模式的理解能力。

4. 變化規(guī)律的初步捕捉

模型能夠識(shí)別周期性變化或旋轉(zhuǎn)對(duì)稱等規(guī)律。例如，o1 pro在某題中成功推斷出每一行圖案的移動(dòng)規(guī)律，從而得出正確答案。

o1 pro的盲區(qū)與誤判情況

盡管o1 pro在許多方面表現(xiàn)良好，但它依然存在一些盲點(diǎn)：

1. 定位的精確度不足

在某些題目中，模型對(duì)元素間相對(duì)位置的理解仍顯不足，導(dǎo)致了錯(cuò)誤的判斷。這顯示了其在精確坐標(biāo)定位方面的局限性。

2. 忽視復(fù)雜的數(shù)學(xué)或邏輯運(yùn)算關(guān)系

中階圖形題往往需要挖掘更深層次的數(shù)學(xué)邏輯，而o1 pro在這方面的理解仍顯薄弱。模型在處理這些題目時(shí)常常停留在直觀的層面，難以捕捉到隱藏的邏輯關(guān)系。

3. 多維度交叉分析能力不足

高階圖形題通常涉及多種維度的信息，但o1 pro在處理這些復(fù)雜信息時(shí)常常無(wú)法兼顧多個(gè)方面，往往只關(guān)注某一維度的數(shù)據(jù)。

4. 信息提取的誤區(qū)

o1 pro在進(jìn)行圖形推理時(shí)，主要依賴于文本信息的分析，而缺乏直接的視覺(jué)輸入。這種片段化的信息歸納有時(shí)會(huì)導(dǎo)致模型在推理過(guò)程中忽略關(guān)鍵信息。

總結(jié)與展望

在本次門薩智商測(cè)試中，o1 pro的整體表現(xiàn)為正確率9/35，推理正確率12/35，IQ評(píng)分為88分，未能達(dá)到人類平均水平。盡管如此，該模型在多模態(tài)推理能力方面展現(xiàn)出的潛力讓人充滿期待。未來(lái)，隨著算法和多模態(tài)學(xué)習(xí)機(jī)制的不斷進(jìn)步，我們有理由相信，AI將逐步掌握更接近人類的認(rèn)知邏輯，開(kāi)啟視覺(jué)推理的新篇章。

總的來(lái)說(shuō)，AI的發(fā)展前景廣闊。我們期待未來(lái)的AI不僅能在復(fù)雜視覺(jué)信息的理解與邏輯推理中取得重大突破，還將在醫(yī)療、教育和科學(xué)探索等領(lǐng)域發(fā)揮更大的作用。

聯(lián)系作者

文章來(lái)源：特工宇宙
作者微信：
作者簡(jiǎn)介：Agent Universe，專注于智能體的AI科技媒體。