研發超過 18 個月卻還未見影子的 GPT-5(代號 Orion)項目又有了新爆料。
原標題:GPT-5 研發一年半進度堪憂!每輪 5 億美金訓練成本打水漂,還得雇人從頭“造數據”
文章來源:AI前線
內容字數:5426字
GPT-5項目進展受阻:高昂成本與數據瓶頸
OpenAI的GPT-5項目(代號Orion)研發已超過18個月,卻遲遲未見發布,其進展困難重重,引發業界關注。本文將總結該項目面臨的主要挑戰。
1. 巨額成本與回報的不確定性
據《華爾街日報》報道,GPT-5已進行過至少兩輪訓練,每次都耗資近5億美元,但結果未能達到預期。如此高昂的成本,使得項目持續性面臨質疑。即使成功,回報也存在極大的不確定性。
2. 數據瓶頸:現有數據不足以支撐模型發展
GPT-5的訓練需要海量數據,而現有的公開互聯網數據已不足以滿足其需求。這導致OpenAI不得不另尋出路,嘗試“從零開始創造數據”,雇傭軟件工程師和數學家編寫代碼、解決數學問題,并記錄其思考過程作為訓練素材。這種方法效率低下,且依賴于AI生成數據的合成數據也存在風險,可能導致模型出錯。
3. 開發過程中的技術挑戰
GPT-5的開發比預期更加復雜。早期的“Arrakis”實驗性訓練進展緩慢,預示著大規模訓練將耗時更長,成本更高。OpenAI被迫進行一系列技術調整,以應對模型訓練現的問題。
4. 內部動蕩與外部競爭壓力
OpenAI內部面臨人才流失和管理層動蕩,多位關鍵高管和研究人員離職,影響了項目進度。同時,Anthropic、谷歌等競爭對手的崛起也加劇了壓力,它們紛紛推出新一代模型,試圖趕超OpenAI。
5. 資源競爭與戰略調整
由于Orion項目進展受阻,OpenAI開始開發其他項目,例如簡化版的GPT-4和AI視頻生成工具Sora,但這導致了團隊之間對有限計算資源的激烈競爭。
6. 行業瓶頸的隱憂
GPT-5的困境可能預示著AI發展已接近瓶頸期。依賴海量數據和更大模型的策略正在失效,數據增長的放緩限制了AI的進一步發展。
7. 未來展望
OpenAI尚未給出GPT-5的明確發布時間,其未來仍存在不確定性。項目能否成功,何時成功,都尚不明確。 高昂的成本、數據瓶頸以及內部和外部的壓力,都對GPT-5的未來發展構成嚴峻挑戰。
聯系作者
文章來源:AI前線
作者微信:
作者簡介:面向AI愛好者、開發者和科學家,提供大模型最新資訊、AI技術分享干貨、一線業界實踐案例,助你全面擁抱AIGC。