GPT-5屢遭重創(chuàng):漫長數(shù)月的重訓(xùn)與數(shù)據(jù)重建之路
OpenAI正在嘗試調(diào)整戰(zhàn)略
原標題:Ilya宣判后GPT-5被曝屢訓(xùn)屢敗,一次訓(xùn)數(shù)月,數(shù)據(jù)要人工從頭構(gòu)建
文章來源:量子位
內(nèi)容字數(shù):7074字
GPT-5發(fā)布進展滯后,OpenAI面臨挑戰(zhàn)
近期關(guān)于GPT-5的消息引發(fā)廣泛關(guān)注。OpenAI在連續(xù)12場發(fā)布會后,未能展示GPT-5的影子,華爾街日報的爆料透露,GPT-5已經(jīng)完成至少兩輪長達數(shù)月的訓(xùn)練,但每次訓(xùn)練都遇到新問題。OpenAI目前正在雇傭?qū)iT人員為GPT-5從頭創(chuàng)建數(shù)據(jù),盡管使用合成數(shù)據(jù),但效率仍不足以滿足預(yù)訓(xùn)練需求。
高成本與低效益
根據(jù)市場估算,一次長達6個月的訓(xùn)練算力成本高達5億美元,而GPT-4的訓(xùn)練成本僅超1億美元。盡管GPT-5在性能上有所期待,如科學(xué)探索和更少錯誤,但與其消耗的巨大成本相比,提升并不明顯。OpenAI前CTO曾指出,預(yù)訓(xùn)練的時代或?qū)⒔Y(jié)束,這與當(dāng)前的進展相呼應(yīng)。
新策略與市場預(yù)期
為了應(yīng)對挑戰(zhàn),OpenAI正考慮調(diào)整戰(zhàn)略,推出o1、o3系列。盡管GPT-5的發(fā)布未定,投資者仍對其未來寄予厚望,OpenAI近期融資66億美元,估值升至1570億美元。盡管如此,GPT-5的發(fā)展歷程坎坷,曾放棄代號為Arrakis的模型,表明需要巨大的計算資源和時間來訓(xùn)練更大規(guī)模的模型。
ARC-AGI測試的突破
在o3系列的發(fā)布中,OpenAI實現(xiàn)了ARC-AGI測試的顯著突破。o3在公共任務(wù)上取得了高達91.5%的準確率,顯示出其在解決復(fù)雜問題上的潛力。盡管成本高昂,但o3的成績證明了架構(gòu)的重要性,并為AGI的探索提供了新思路。
未來展望
盡管o3在某些簡單任務(wù)上仍存在不足,AGI的愿景依舊吸引人。專家認為,o3的開發(fā)標志著AI領(lǐng)域的重要進展,但仍需在更廣泛的任務(wù)上取得突破。OpenAI最新的研究成果顯示,通過推理模型的對齊,可以顯著提高模型的安全性,未來的研究將集中于如何在模型中進一步實現(xiàn)這一目標。
聯(lián)系作者
文章來源:量子位
作者微信:
作者簡介:追蹤人工智能新趨勢,關(guān)注科技行業(yè)新突破