OpenAI研究員首次提出「AGI時(shí)間」進(jìn)化論！o1數(shù)學(xué)已達(dá)「分鐘級(jí)AGI」

原標(biāo)題：OpenAI研究員首次提出「AGI時(shí)間」進(jìn)化論！o1數(shù)學(xué)已達(dá)「分鐘級(jí)AGI」
文章來(lái)源：新智元
內(nèi)容字?jǐn)?shù)：12395字

OpenAI科學(xué)家就LLM能否實(shí)現(xiàn)AGI展開(kāi)激烈辯論

近期，OpenAI科學(xué)家就大型語(yǔ)言模型(LLM)能否通過(guò)現(xiàn)有路線實(shí)現(xiàn)通用人工智能(AGI)展開(kāi)了激烈的辯論。辯論雙方觀點(diǎn)針?shù)h相對(duì)，一方認(rèn)為現(xiàn)有技術(shù)足以實(shí)現(xiàn)AGI，另一方則持懷疑態(tài)度，認(rèn)為需要更多質(zhì)的飛躍。

1. 辯論核心：LLM能否解決重大數(shù)學(xué)難題？

   辯論的核心在于LLM能否解決像P≠NP或黎曼猜想這樣的重大數(shù)學(xué)猜想。正方代表Sébastien Bubeck認(rèn)為，LLM的進(jìn)步速度驚人，通過(guò)持續(xù)擴(kuò)展，例如增加模型參數(shù)和訓(xùn)練數(shù)據(jù)，最終可以達(dá)到解決這些難題的水平，甚至預(yù)測(cè)明年LLM就能獲得國(guó)際數(shù)學(xué)奧林匹克競(jìng)賽的金牌。他認(rèn)為，衡量AI進(jìn)步的真正標(biāo)準(zhǔn)應(yīng)該是“AGI時(shí)間”，隨著模型能力的提升，“秒級(jí)AGI”、“分鐘級(jí)AGI”最終將進(jìn)化為“周級(jí)AGI”，從而具備解決復(fù)雜問(wèn)題的潛力。

2. 反方觀點(diǎn)：創(chuàng)造性飛躍和長(zhǎng)期推理的缺失

   反方代表Tom McCoy則持反對(duì)意見(jiàn)，他認(rèn)為僅僅依靠現(xiàn)有方法的擴(kuò)展不足以解決復(fù)雜的數(shù)學(xué)猜想。他指出，解決這些難題需要?jiǎng)?chuàng)造性的飛躍，即提出全新的證明思路，而不僅僅是現(xiàn)有想法的組合。此外，LLM缺乏長(zhǎng)期推理和規(guī)劃能力，以及容易出現(xiàn)幻覺(jué)等問(wèn)題，都限制了其解決復(fù)雜數(shù)學(xué)問(wèn)題的可能性。他認(rèn)為，LLM需要質(zhì)變，而不是簡(jiǎn)單的規(guī)模擴(kuò)大。

3. 正方反駁：組合與后訓(xùn)練的潛力

   針對(duì)反方提出的問(wèn)題，Sébastien反駁道，創(chuàng)造性本身就是一種“組合”，通過(guò)不斷將現(xiàn)有知識(shí)和想法組合，并引入隨機(jī)性，就能產(chǎn)生突破性的成果。他還認(rèn)為，LLM目前的能力不足，是由于訓(xùn)練數(shù)據(jù)中某些任務(wù)表示不充分導(dǎo)致的，可以通過(guò)后訓(xùn)練來(lái)彌補(bǔ)。

4. 反方回應(yīng)：后訓(xùn)練無(wú)法改變模型根本特性

   Tom回應(yīng)道，即使經(jīng)過(guò)后訓(xùn)練，LLM基于自回歸的根本特性依然存在，這限制了其解決復(fù)雜問(wèn)題的潛能。他認(rèn)為，需要從預(yù)訓(xùn)練階段就明確且直接地對(duì)推理進(jìn)行訓(xùn)練，才能達(dá)到所需的穩(wěn)健性。

5. 雙方：人機(jī)協(xié)作的重要性

   雙方都認(rèn)同人機(jī)協(xié)作的重要性。Sébastien認(rèn)為，AI將與人類(lèi)合作解決問(wèn)題，并分享了AI輔助其研究的經(jīng)驗(yàn)。Tom也認(rèn)為AI可以與人類(lèi)合作，但這并不意味著它可以做出數(shù)學(xué)創(chuàng)新。

6. 反方擔(dān)憂：指數(shù)級(jí)增長(zhǎng)困境

   Tom提出了另一個(gè)擔(dān)憂，即即使假設(shè)有無(wú)限的時(shí)間和數(shù)據(jù)，擴(kuò)展也可能面臨指數(shù)級(jí)增長(zhǎng)困境。性能提升隨著規(guī)模擴(kuò)大是按對(duì)數(shù)增長(zhǎng)的，這意味著需要更多指數(shù)級(jí)的數(shù)據(jù)或推理時(shí)間才能繼續(xù)看到性能提升，這在實(shí)際操作中可能不可行。

7. 總結(jié)：樂(lè)觀與懷疑并存

   最終，雙方觀點(diǎn)存在分歧。Sébastien對(duì)LLM的未來(lái)發(fā)展持樂(lè)觀態(tài)度，認(rèn)為通過(guò)持續(xù)擴(kuò)展和改進(jìn)，LLM最終能夠?qū)崿F(xiàn)AGI。Tom則對(duì)僅靠擴(kuò)展規(guī)模表示懷疑，他認(rèn)為需要在長(zhǎng)距離推理、可靠性、創(chuàng)造力等方面進(jìn)行根本性的改進(jìn)，才能實(shí)現(xiàn)AGI。

聯(lián)系作者

文章來(lái)源：新智元
作者微信：
作者簡(jiǎn)介：智能+中國(guó)主平臺(tái)，致力于推動(dòng)中國(guó)從互聯(lián)網(wǎng)+邁向智能+新紀(jì)元。重點(diǎn)關(guān)注人工智能、機(jī)器人等前沿領(lǐng)域發(fā)展，關(guān)注人機(jī)融合、人工智能和機(jī)器人對(duì)人類(lèi)社會(huì)與文明進(jìn)化的影響，領(lǐng)航中國(guó)新智能時(shí)代。