OpenAI六年元老再發(fā)文：全球AI狂飆，我們應(yīng)該拉手剎還是踩油門(mén)？

新智元報(bào)道編輯：?jiǎn)虠睢拘轮窃獙?dǎo)讀】前段時(shí)間離職后留下公開(kāi)辭職博客的OpenAI六年元老Miles Brundage最近再發(fā)一文，討論了一個(gè)相當(dāng)熱門(mén)但棘手的問(wèn)題：當(dāng)今的AI發(fā)展速度，應(yīng)該加速、減速還是維持現(xiàn)狀？10月末，OpenAI在政策研究領(lǐng)域方面的6年元老Miles Brundage離職，順便發(fā)表了一篇博文，解釋自己離職的原因，并直言——我們遠(yuǎn)遠(yuǎn)沒(méi)有為AGI做好準(zhǔn)備。10天后，似乎是覺(jué)得這篇文章意猶未盡，Brundage再次發(fā)文，題為「AI發(fā)展是應(yīng)該加速、放緩，還是保持不變？」雖然標(biāo)題是問(wèn)句，導(dǎo)讀的一句話(huà)也充滿(mǎn)了不可知論色彩，但文章的結(jié)論非常明確——謹(jǐn)慎起見(jiàn)，我們應(yīng)該為全社會(huì)的AI發(fā)展安裝一個(gè)「剎車(chē)」。負(fù)責(zé)托管的Chris Albon轉(zhuǎn)發(fā)了這篇博客并大力贊賞，將Miles Brundage的內(nèi)容產(chǎn)出與致力于教育領(lǐng)域創(chuàng)業(yè)的Andrej Karpathy相提并論。現(xiàn)在再加上剛離職的Lilian Weng，不得不說(shuō)，OpenAI的「離職潮」大大豐富了高質(zhì)量AI博客的創(chuàng)作和產(chǎn)出。Miles Brundage本科畢業(yè)于喬治華盛頓大學(xué)，本科期間擔(dān)任過(guò)美國(guó)能源部的特別助理，之后前往亞利桑那州立大學(xué)攻讀博士，研究方向?yàn)榭萍嫉娜祟?lèi)和社會(huì)維度，博士后期間曾在牛津大學(xué)擔(dān)任AI政策研究員。2018年，Miles Brundage加入了剛剛成立3年的OpenAI擔(dān)任政策方面的研究科學(xué)家，之后又在2021年升任研究主管，目前是AGI準(zhǔn)備工作的高級(jí)顧問(wèn)。當(dāng)今的AI發(fā)展人工智能應(yīng)該更快、更慢還是保持不變？在回答這個(gè)問(wèn)題之前，我們先簡(jiǎn)要回顧一下目前的人工智能進(jìn)步有多快。2021年出版的一本書(shū)——《人工智能簡(jiǎn)史》（A Brief History of Artificial Intelligence），其中的觀點(diǎn)在短短3年后的今天就已經(jīng)過(guò)時(shí)了。比如書(shū)中提到，「理解一個(gè)故事并回答有關(guān)問(wèn)題」以及「解釋照片中發(fā)生的事情」，這些任務(wù)并沒(méi)有完全被AI解決；但從GPT、Claude、o1等模型中可以看到，這些方面已經(jīng)有了很大的進(jìn)步，甚至很可能超過(guò)了人類(lèi)表現(xiàn)。舉出這些例子并不是為了特意挑刺或抬杠，而是我們要明白一點(diǎn)——嚴(yán)肅的專(zhuān)家經(jīng)常在人工智能領(lǐng)域犯下嚴(yán)重錯(cuò)誤。雖然某些情況下，人們確實(shí)對(duì)人工智能的進(jìn)展過(guò)于樂(lè)觀，但總體而言，近十年來(lái)，堅(jiān)持唱深度學(xué)習(xí)的反調(diào)確實(shí)不是一個(gè)成功的策略。計(jì)算機(jī)已解決和待解決的問(wèn)題總覽，按任務(wù)難度排序另外還有下面這張著名的圖表，告訴我們AI的發(fā)展如何讓各種評(píng)估基準(zhǔn)越來(lái)越快地飽和。在物理、化學(xué)和編碼等領(lǐng)域的測(cè)試問(wèn)題上，AI開(kāi)始超越專(zhuān)家表現(xiàn)，例如基本全新的GPQA問(wèn)答基準(zhǔn)（Google-Proof Question Answering），去年11月剛剛發(fā)布，現(xiàn)在卻正在被碾壓。在解決谷歌搜索都無(wú)法完成的，孤立的、研究生級(jí)別的任務(wù)上，AI可以比大多數(shù)專(zhuān)家做得更好，即使專(zhuān)家有半個(gè)小時(shí)的時(shí)間來(lái)解決問(wèn)題。在有挑戰(zhàn)性的推理基準(zhǔn)上，o1大大超過(guò)GPT-4o這種最新的進(jìn)展的驅(qū)動(dòng)力是AI系統(tǒng)向新范式的過(guò)渡，即所謂的「思維鏈」（chain of thought，CoT），在給出答案之前先思考問(wèn)題。GPQA基準(zhǔn)僅僅是一個(gè)孤立的短期任務(wù)，AI系統(tǒng)在需要花費(fèi)數(shù)小時(shí)/數(shù)天/數(shù)周/數(shù)年的「長(zhǎng)期」任務(wù)上還無(wú)法超越專(zhuān)家，但科技公司正在積極推動(dòng)這一點(diǎn)，并極有可能在10年內(nèi)實(shí)現(xiàn)。這些進(jìn)步開(kāi)始與機(jī)器人技術(shù)相結(jié)合，真正智能的AI系統(tǒng)無(wú)疑將大大加速機(jī)器人技術(shù)的發(fā)展。棘手的問(wèn)題——AI發(fā)展的理想配速盡管在我看來(lái)，對(duì)AI進(jìn)步速度的爭(zhēng)議會(huì)隨著時(shí)間的推移而減少，但這個(gè)問(wèn)題目前仍然非常模糊，因?yàn)槟茉诓煌囊?guī)模和層面上控制它，比如單個(gè)公司、一個(gè)國(guó)家或一組國(guó)家，或全球范圍，也區(qū)分不同類(lèi)型。例如去年發(fā)表的一篇文章中，就做出了如下區(qū)分：人工智能的快速發(fā)展可區(qū)分為橫軸和縱軸：縱軸指的是開(kāi)發(fā)更大更強(qiáng)的模型，這伴隨著許多未知因素和潛在的人類(lèi)生存風(fēng)險(xiǎn)；相比之下，橫軸強(qiáng)調(diào)將當(dāng)前模型融入經(jīng)濟(jì)的各個(gè)角落，并且風(fēng)險(xiǎn)相對(duì)較低，回報(bào)較高。本文下面的內(nèi)容主要關(guān)注全球范圍內(nèi)AI在縱軸上的擴(kuò)展/進(jìn)步，也就是大多數(shù)人所理解的AI進(jìn)步的意思；而且最終我們關(guān)心的是全球成果，因此無(wú)論人工智能發(fā)生在哪里，都應(yīng)該考慮它的進(jìn)展。有些人可能認(rèn)為這是一個(gè)棘手的問(wèn)題，原因之一是他們認(rèn)為這是對(duì)技術(shù)看法的「試金石」，而技術(shù)本身就已經(jīng)是一個(gè)很大的爭(zhēng)議了。但事實(shí)并非如此。實(shí)際上，有很多人總體上支持技術(shù)發(fā)展，但對(duì)人工智能感到擔(dān)憂(yōu)。比如，在這份旨在重視AI風(fēng)險(xiǎn)的倡議書(shū)上，不乏各種大力推動(dòng)技術(shù)發(fā)展的大佬，比如比爾·蓋茨、前OpenAI首席科學(xué)家Ilya Sutskever、DeepMind聯(lián)創(chuàng)兼CEO Demis Hassabis、Anthropic聯(lián)創(chuàng)兼CEO Dario Amodei、OpenAI CEO Sam Altman等人。原文鏈接：https://www.safe.ai/work/statement-on-ai-risk在本文作者M(jìn)iles Brundage看來(lái)，AI發(fā)展的配速之所以成為一個(gè)難題，其真正原因在于，即使大家的出發(fā)點(diǎn)是一個(gè)共同的合理道德前提，例如「不要所有人」和「更多的人 vs. 更少的人應(yīng)該從技術(shù)中受益」，一系列相關(guān)的經(jīng)驗(yàn)問(wèn)題仍然很難解決。AI總體發(fā)展的理想配速可能取決于以下問(wèn)題的答案，而每個(gè)問(wèn)題實(shí)際上都可以成為一個(gè)單獨(dú)的領(lǐng)域：讓功能強(qiáng)大的AI系統(tǒng)變得安全是超級(jí)容易、容易、困難還是超級(jí)困難？中國(guó)在人工智能方面是否有可能超越美國(guó)？這是否會(huì)因改變?nèi)斯ぶ悄苓M(jìn)步而采取的不同步驟而有所不同？人工智能的快速進(jìn)步是會(huì)有助于還是損害我們應(yīng)對(duì)其他重大社會(huì)挑戰(zhàn)/風(fēng)險(xiǎn)的努力（例如氣候變化）？類(lèi)似的問(wèn)題還有很多。這些問(wèn)題本身就很難回答，而要將它們整合到一個(gè)整體框架中，以得出關(guān)于AI理想進(jìn)展速度的有用結(jié)論就更加困難。我們是否需要?jiǎng)x車(chē)需要澄清的是，本文所指的「剎車(chē)」并非用「一刀切」的方式完全停止AI技術(shù)的發(fā)展。而是基于事實(shí)和對(duì)上述問(wèn)題的回答，通過(guò)詳細(xì)定義、分析的技術(shù)和政策選項(xiàng)來(lái)減緩人工智能的進(jìn)步。在Brundage看來(lái)，我們應(yīng)當(dāng)安裝（經(jīng)過(guò)設(shè)計(jì)和辯論的）「剎車(chē)」，因?yàn)楫?dāng)前AI的進(jìn)步明顯快于社會(huì)能夠有效理解和塑造的速度，而且這種情況可能不會(huì)很快改變——甚至，二者之間差距可能逐漸擴(kuò)大。理想情況下，政策制定者能夠掌控一切，但我們不知道最壞的情況是否會(huì)發(fā)生，所以要為各種情況做好準(zhǔn)備。值得一提的是，去年Brundage曾寫(xiě)過(guò)一篇文章，詳細(xì)分析了他所見(jiàn)的AI進(jìn)步和社會(huì)準(zhǔn)備度之間的差距。原文鏈接：https://milesbrundage.substack.com/p/scoring-humanitys-progress-on-ai目前來(lái)看，上述定義的「剎車(chē)」仍不存在，一部分證據(jù)是，我們看到了「科技公司單方面暫停AI開(kāi)發(fā)」這種不切實(shí)際的提議。這類(lèi)政策不會(huì)發(fā)生也不會(huì)起作用，至少在未來(lái)很長(zhǎng)一段時(shí)間內(nèi)是這樣，因?yàn)樨?fù)責(zé)任的AI開(kāi)發(fā)是一個(gè)集體行動(dòng)問(wèn)題。Brundage仍在OpenAI任職時(shí)，他和團(tuán)隊(duì)在2019年發(fā)表的論文就詳細(xì)解釋了這一點(diǎn)。原文鏈接：https://arxiv.org/pdf/1907.04534大部分人都會(huì)擔(dān)心AI的發(fā)展。人們看到問(wèn)題的存在，之后就會(huì)四處尋找答案，并提出一些非常簡(jiǎn)單的解決方案，但政策制定是困難的，需要遠(yuǎn)見(jiàn)、辯論和認(rèn)真的研究。OpenAI、哈佛肯尼迪學(xué)院、牛津、劍橋等機(jī)構(gòu)在今年2月聯(lián)合發(fā)表了一篇論文，討論安裝「剎車(chē)」的一種可能性——「算力儲(chǔ)備」（compute reserve）。原文鏈接：https://arxiv.org/pdf/2402.08797這類(lèi)似于設(shè)置一個(gè)有黃金儲(chǔ)備的銀行，對(duì)市場(chǎng)經(jīng)濟(jì)的發(fā)展進(jìn)行宏觀調(diào)控；「算力儲(chǔ)備」也是如此，調(diào)節(jié)AI發(fā)展的步伐節(jié)奏。盡管已經(jīng)有了一篇104頁(yè)的論文打底，但「算力儲(chǔ)備」的方案仍存在很多問(wèn)題和模糊之處。這不一定是正確的解決方案，但我們確實(shí)應(yīng)該對(duì)此和相關(guān)想法進(jìn)行更多討論，還有人工智能稅等等更多場(chǎng)景。如果需要設(shè)計(jì)一個(gè)剎車(chē)的話(huà)，我們要不要同步配套一個(gè)「油門(mén)」？Brundage認(rèn)為，這也是必要的，但目前我們看到的是，已經(jīng)有各種小型的「油門(mén)踏板」被踩得很緊。例如，CHIPS法案將更多資金投入美國(guó)半導(dǎo)體制造；初創(chuàng)公司、風(fēng)投和大型科技公司不斷嘗試在橫軸和縱軸上擴(kuò)大AI規(guī)模；教育機(jī)構(gòu)不斷培養(yǎng)研究人員和工程師；消費(fèi)者們「用錢(qián)包投票」，通過(guò)為科技公司提供收入來(lái)間接支持AI更快地進(jìn)步。考慮到減速方面的協(xié)調(diào)困難，單方面加速比單方面減速更容易。因此，從分配政策研究注意力的角度來(lái)看，關(guān)注困難的問(wèn)題更有意義，也就是如何放緩AI的發(fā)展。結(jié)論和后續(xù)步驟總而言之，這篇博文著重論證了兩點(diǎn)：1. 對(duì)于標(biāo)題中的這個(gè)問(wèn)題（AI發(fā)展應(yīng)該加速、放緩，還是保持不變？），仍沒(méi)有人能給出合理且明智的答案2. 盡管如此，謹(jǐn)慎地安裝「剎車(chē)」是明智的做法，從而為可能發(fā)生的情況做好準(zhǔn)備Brundage表示，目前缺乏「剎車(chē)」的情況讓他非常擔(dān)憂(yōu)，而且在他職業(yè)生涯下一階段關(guān)注的主題中，「進(jìn)展速度」這個(gè)問(wèn)題相當(dāng)重要。盡管他表示，「AI監(jiān)管措施」與「國(guó)家競(jìng)爭(zhēng)力」之間并不存在大多數(shù)人所認(rèn)為的那種聯(lián)系，但他發(fā)表過(guò)的一篇推文直言：「與過(guò)度監(jiān)管相比，缺乏監(jiān)管，特別是與安全+出口管制相關(guān)的監(jiān)管，更有可能導(dǎo)致美國(guó)失去AI領(lǐng)域的領(lǐng)先地位」參考資料：https://x.com/chrisalbon/status/1852799633380237453https://milesbrundage.substack.com/p/should-ai-progress-speed-up-slow