為什么說 OpenAI o1是自Transformer以來最大的更新?
AIGC動態(tài)歡迎閱讀
原標(biāo)題:為什么說 OpenAI o1是自Transformer以來最大的更新?
關(guān)鍵字:報告,思維,模型,系統(tǒng),慢速
文章來源:AI范兒
內(nèi)容字數(shù):0字
內(nèi)容摘要:
點擊上方藍字關(guān)注我們o1 是自 Transformer 技術(shù)以來最大的一次 AI 更新,但它并不是 AGI。OpenAI 確實在推動一些以前無法實現(xiàn)的關(guān)鍵進展,并為 AGI 鋪平了道路。這個新模型是朝著 AGI 邁出的重要一步,幾乎讓 AGI 觸手可及。
這正是 Ilya 預(yù)見到的,這也解釋了為什么 Sam 想要海量的計算資源。
重新定義縮放定律就像 Transformer 一樣,o1 能夠有效地用計算資源換取更高的準(zhǔn)確性,不同的是,這次是在推理階段而不是預(yù)訓(xùn)練階段。很多人之前預(yù)測LLM能力會停滯,主要是通過外推訓(xùn)練擴展法則,但他們未曾預(yù)見到推理擴展才是真正突破收益遞減的關(guān)鍵。
這就是 Transformer 技術(shù)的 AlphaGo 時刻。所有大實驗室都在研究這個領(lǐng)域,OpenAI 是第一個推出的。
通向 AGI 的道路現(xiàn)在清晰了。接下來只要通過圖像、視頻、網(wǎng)絡(luò)互動、機器人感官數(shù)據(jù)等多種數(shù)據(jù)源來訓(xùn)練這一模型。如果你能夠為某項任務(wù)設(shè)計一個強化學(xué)習(xí)獎勵機制(尤其是代碼和數(shù)學(xué)任務(wù)很容易做到這一點),那么你可以通過強化學(xué)習(xí)和推理計算的結(jié)合來大幅提升完成任務(wù)的效果。
OpenAI 還引入了一項全
原文鏈接:為什么說 OpenAI o1是自Transformer以來最大的更新?
聯(lián)系作者
文章來源:AI范兒
作者微信:
作者簡介: