GPT5訓練失敗的思考

AIGC動態歡迎閱讀

原標題：GPT5訓練失敗的思考
關鍵字：模型,歸納,信息,下落,智能
文章來源：智猩猩GenAI
內容字數：0字

內容摘要：

原文：https://zhuanlan.zhihu.com/p/718513570
近期硅谷VC、ai創始人交流要點：scaling law或已放緩1、 大模型：AI仍是硅谷唯一的話題，但是沒有去年那么狂熱了，主要是scaling的速度有所放緩（警惕對于訓練算力的需求放緩），大約3-4周前谷歌內部訓練Gemini下一代模型（比上一代大10倍，類似GPT-5）時2次都失敗了。這也解釋了為什么GPT-5延期發布。硅谷目前認為LLM層面再把模型做大難度較大，原因在于：a) MOE后post-training效果不太好，模型沒有收斂b) 數據是瓶頸，合成數據質量比網上搜的數據質量差了不少2、 不排除GPT-5繼續延期
01思考一：在日常使用GPT-4的過程中，我發現其在許多場景下的輸出已經非常接近完美。
這里的“完美”并不意味著通用人工智能（AGI）已經實現。
而是在現有系統形態，對話界面+輸入有限的信息，模型基于有限的信息給出回復，已經接近有限信息理論上應該有的回復。雖然表述有些復雜，但簡而言之，許多問題之所以沒有得到滿意的回答，主要是因為輸入的信息不足。
02思考二：雖然模型擁有龐大的上下

原文鏈接：GPT5訓練失敗的思考

聯系作者

文章來源：智猩猩GenAI
作者微信：
作者簡介：