預(yù)訓(xùn)練時(shí)代已經(jīng)結(jié)束了

原標(biāo)題：Ilya Sutskever 在 NeurIPS 2024 的演講：預(yù)訓(xùn)練時(shí)代已經(jīng)結(jié)束了
文章來源：AI前線
內(nèi)容字?jǐn)?shù)：10392字

Ilya Sutskever 在 NeurIPS 2024 的演講：預(yù)訓(xùn)練時(shí)代終結(jié)與超級(jí)智能展望

本文總結(jié)了 Ilya Sutskever 在 NeurIPS 2024 上的演講要點(diǎn)，該演講回顧了過去十年人工智能技術(shù)的進(jìn)步，并對(duì)未來發(fā)展方向進(jìn)行了展望。Sutskever 認(rèn)為預(yù)訓(xùn)練時(shí)代已經(jīng)結(jié)束，并提出了對(duì)超級(jí)智能的思考。

1. 十年回顧：Sequence to Sequence 學(xué)習(xí)的三個(gè)要點(diǎn)

Sutskever 回顧了其十年前的論文《Sequence to sequence learning with neural networks》，總結(jié)了該論文的三個(gè)核心要點(diǎn)：在文本上訓(xùn)練的自回歸模型、大型神經(jīng)網(wǎng)絡(luò)以及大型數(shù)據(jù)集。他解釋了當(dāng)時(shí)“人類在幾分之一秒內(nèi)能做的事情”這一假設(shè)的背景，以及為什么他們關(guān)注十層神經(jīng)網(wǎng)絡(luò)（當(dāng)時(shí)的技術(shù)限制）。

2. 預(yù)訓(xùn)練時(shí)代的終結(jié)

Sutskever 提出，預(yù)訓(xùn)練時(shí)代已經(jīng)結(jié)束。他認(rèn)為，雖然計(jì)算能力不斷提升，但數(shù)據(jù)增長卻有限，互聯(lián)網(wǎng)數(shù)據(jù)如同“化石燃料”，已經(jīng)被大量使用。未來，人工智能發(fā)展需要探索新的方向。

3. 預(yù)訓(xùn)練時(shí)代后的探索方向

Sutskever 提出了預(yù)訓(xùn)練時(shí)代結(jié)束后可能的發(fā)展方向，包括：Agent、合成數(shù)據(jù)以及推理時(shí)間計(jì)算。他以生物學(xué)中的哺乳動(dòng)物大腦大小與身體大小關(guān)系為例，說明自然界存在多種發(fā)展路徑，人工智能領(lǐng)域也一樣。

4. 超級(jí)智能的展望

Sutskever 探討了超級(jí)智能的特性，認(rèn)為它將在質(zhì)量上與現(xiàn)有智能不同，并提出了幾個(gè)關(guān)鍵特征：代理化、真正的推理能力、從有限數(shù)據(jù)中理解事物以及自我意識(shí)。他強(qiáng)調(diào)，這樣的系統(tǒng)將具有驚人的能力，但也可能帶來新的挑戰(zhàn)。

5. 問答環(huán)節(jié)

問答環(huán)節(jié)中，Sutskever 談到了：

1. 人類認(rèn)知的生物結(jié)構(gòu)探索：他認(rèn)為生物啟發(fā)對(duì)人工智能有幫助，但生物研究的局限性也較大，不排除未來有新的發(fā)現(xiàn)。
2. 推理能力和模型自我糾正：他認(rèn)為未來具備推理能力的模型可以自我糾正，發(fā)現(xiàn)并理解自身的幻覺。
3. 人工智能的權(quán)利：他承認(rèn)這是一個(gè)需要更多思考的問題，并認(rèn)為未來人工智能可能要求與人類一樣的權(quán)利，這并非完全是壞事。
4. LLM 的多跳推理與分布外泛化：他認(rèn)為這個(gè)問題沒有簡單的答案，因?yàn)椤胺植純?nèi)”和“分布外”的定義本身也在不斷演變。

總而言之，Sutskever 的演講不僅回顧了人工智能領(lǐng)域的過去十年，更重要的是對(duì)未來發(fā)展方向進(jìn)行了大膽的預(yù)測，并引發(fā)了對(duì)超級(jí)智能以及相關(guān)倫理問題的深刻思考。他認(rèn)為預(yù)訓(xùn)練時(shí)代已經(jīng)結(jié)束，新的挑戰(zhàn)與機(jī)遇等待著人工智能領(lǐng)域的探索者們。

聯(lián)系作者

文章來源：AI前線
作者微信：
作者簡介：面向AI愛好者、開發(fā)者和科學(xué)家，提供大模型最新資訊、AI技術(shù)分享干貨、一線業(yè)界實(shí)踐案例，助你全面擁抱AIGC。