技術上，如何復現 o1?

AIGC動態歡迎閱讀

原標題：技術上，如何復現 o1?
關鍵字：侵權,知乎,模型,數據,遞歸
文章來源：智猩猩GenAI
內容字數：0字

內容摘要：

開講預約導讀文章轉載自知乎，作者為曠視科技主任研究員 周舒暢博士。
本文是作者在9月15日總結的關于復現 o1的相關技術點，并在9月18日再次更新，對”技術上，如何復現 o1?”進行了續寫。
原文地址：https://zhuanlan.zhihu.com/p/720127190
原文地址：https://zhuanlan.zhihu.com/p/720649745
本文只做學術/技術分享，如有侵權，聯系刪文。9.15 更新
不提基本的資源條件，只猜一下一些技術點。
01基礎模型搞 o1 首先需要一個基模，這個基模必須是
能進行“長”生成。注意這個和“長 context“不是一回事。模型生成的結果，經常有會引發自激的噪聲存在，或分布逐漸變的非常 sharp，從而導致模型生成內容的后半段質量下降。比如寫小說時會“爛尾”用大團圓草草收場。在多模生成模型上也很容易觀察到這一現象，表現為生成的音頻和視頻在結尾處要么糊掉要么變成靜音靜止。
有較強的抗噪能力。目前看這一點剛需大模型，比如萬億的 step2 就是比千億的 step1 好。小模型容易被 context 里的一點點錯誤帶偏?？紤]到 CoT

原文鏈接：技術上，如何復現 o1?

聯系作者

文章來源：智猩猩GenAI
作者微信：
作者簡介：