如果我們能夠繼續(xù)擴(kuò)大大型語言模型（LLMs++）的規(guī)模（并因此獲得更好、更通用的性能），那么有理由期待到2040年（或更早）出現(xiàn)強(qiáng)大的人工智能（AI），它能夠?qū)崿F(xiàn)大多數(shù)認(rèn)知?jiǎng)趧?dòng)的自動(dòng)化，并加速進(jìn)一步的AI進(jìn)展。

原標(biāo)題：觀點(diǎn)博弈：我們還應(yīng)該期待AGI嗎？
文章來源：AI前線
內(nèi)容字?jǐn)?shù)：19403字

大型語言模型的規(guī)?；?040年AGI的希望與挑戰(zhàn)

本文探討了大型語言模型（LLM）規(guī)模化是否能最終實(shí)現(xiàn)人工通用智能（AGI）的問題。作者通過虛構(gòu)的“堅(jiān)信者”和“質(zhì)疑者”的辯論，呈現(xiàn)了規(guī)?；磧煞矫娴恼摀?jù)。

1. 數(shù)據(jù)瓶頸：質(zhì)疑者的擔(dān)憂

質(zhì)疑者認(rèn)為，即使按照樂觀估計(jì)的擴(kuò)展曲線，構(gòu)建一個(gè)能撰寫科學(xué)論文的可靠AI也需要海量數(shù)據(jù)，比現(xiàn)有數(shù)據(jù)多出5個(gè)數(shù)量級(jí)（10萬倍）。雖然算法改進(jìn)、多模態(tài)訓(xùn)練和數(shù)據(jù)循環(huán)利用等技術(shù)能提高數(shù)據(jù)效率，但不足以彌補(bǔ)如此巨大的差距。自我對(duì)弈/合成數(shù)據(jù)也面臨評(píng)估和計(jì)算兩大挑戰(zhàn)，其所需計(jì)算量可能比現(xiàn)有模型高出9個(gè)數(shù)量級(jí)。質(zhì)疑者認(rèn)為，目前的LLM在常識(shí)推理和長期任務(wù)上的表現(xiàn)平庸，暗示其泛化能力不足，規(guī)模擴(kuò)大可能無法解決根本問題。

2. 規(guī)模化的持續(xù)有效性：堅(jiān)信者的觀點(diǎn)

堅(jiān)信者反駁道，過去LLM的性能提升已經(jīng)持續(xù)了8個(gè)數(shù)量級(jí)，并且在計(jì)算量增加百萬倍的情況下，性能損失微乎其微。這表明規(guī)模化仍然有效。他們認(rèn)為，LLM的“低效率”主要源于訓(xùn)練數(shù)據(jù)和損失函數(shù)的不匹配，而通過大規(guī)模數(shù)據(jù)抓取和改進(jìn)算法，可以實(shí)現(xiàn)顯著的性能提升。自我對(duì)弈/合成數(shù)據(jù)雖然尚未得到充分驗(yàn)證，但其潛力巨大，并可能與人類進(jìn)化過程類似，通過迭代改進(jìn)不斷提升模型能力。

3. 基準(zhǔn)測(cè)試的局限性

質(zhì)疑者指出，常用的基準(zhǔn)測(cè)試（如MMLU和BIG-bench）主要考察的是模型的記憶和檢索能力，而非真正的智力。這些測(cè)試中，模型的表現(xiàn)已經(jīng)接近或超過人類水平，但這并不能說明其具備真正的推理和創(chuàng)造能力。在更能體現(xiàn)自主解決問題能力的基準(zhǔn)測(cè)試（如SWE-bench）上，LLM的表現(xiàn)仍然非常糟糕。這表明，目前的規(guī)?；赡懿⑽磶碚嬲闹橇μ嵘?。

4. 世界模型和基于洞察力的學(xué)習(xí)

堅(jiān)信者認(rèn)為，LLM能夠完成一些需要“世界模型”才能完成的任務(wù)，例如根據(jù)語言描述繪制獨(dú)角獸。這表明，LLM已經(jīng)學(xué)習(xí)到了關(guān)于世界和思維方式的知識(shí)。他們認(rèn)為，通過規(guī)?；Ｐ蛯⒆匀欢坏匕l(fā)展出更高效的元學(xué)習(xí)方法，最終實(shí)現(xiàn)基于洞察力的學(xué)習(xí)。

5. 質(zhì)疑者的反駁和最終結(jié)論

質(zhì)疑者反駁了“智能=壓縮”的觀點(diǎn)，認(rèn)為壓縮本身并不代表智能。他們認(rèn)為，即使規(guī)?；^續(xù)有效，也無法保證其能最終實(shí)現(xiàn)AGI。作者最終給出了70%的概率預(yù)測(cè)：規(guī)模化結(jié)合算法和硬件進(jìn)步，將在2040年實(shí)現(xiàn)AGI；而30%的概率認(rèn)為，LLM及其類似方法將最終失敗。

文章最后還討論了模型的基于洞察力的學(xué)習(xí)能力以及靈長類動(dòng)物進(jìn)化是否為規(guī)模化提供了證據(jù)，進(jìn)一步豐富了對(duì)規(guī)?；行缘挠懻?。

聯(lián)系作者

文章來源：AI前線
作者微信：
作者簡(jiǎn)介：面向AI愛好者、開發(fā)者和科學(xué)家，提供大模型最新資訊、AI技術(shù)分享干貨、一線業(yè)界實(shí)踐案例，助你全面擁抱AIGC。