技術(shù)上，如何復(fù)現(xiàn) o1?

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：技術(shù)上，如何復(fù)現(xiàn) o1?
關(guān)鍵字：侵權(quán),知乎,模型,數(shù)據(jù),遞歸
文章來源：智猩猩GenAI
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

開講預(yù)約導(dǎo)讀文章轉(zhuǎn)載自知乎，作者為曠視科技主任研究員 周舒暢博士。
本文是作者在9月15日總結(jié)的關(guān)于復(fù)現(xiàn) o1的相關(guān)技術(shù)點(diǎn)，并在9月18日再次更新，對(duì)”技術(shù)上，如何復(fù)現(xiàn) o1?”進(jìn)行了續(xù)寫。
原文地址：https://zhuanlan.zhihu.com/p/720127190
原文地址：https://zhuanlan.zhihu.com/p/720649745
本文只做學(xué)術(shù)/技術(shù)分享，如有侵權(quán)，聯(lián)系刪文。9.15 更新
不提基本的資源條件，只猜一下一些技術(shù)點(diǎn)。
01基礎(chǔ)模型搞 o1 首先需要一個(gè)基模，這個(gè)基模必須是
能進(jìn)行“長”生成。注意這個(gè)和“長 context“不是一回事。模型生成的結(jié)果，經(jīng)常有會(huì)引發(fā)自激的噪聲存在，或分布逐漸變的非常 sharp，從而導(dǎo)致模型生成內(nèi)容的后半段質(zhì)量下降。比如寫小說時(shí)會(huì)“爛尾”用大團(tuán)圓草草收?qǐng)觥Ｔ诙嗄Ｉ赡Ｐ蜕弦埠苋菀子^察到這一現(xiàn)象，表現(xiàn)為生成的音頻和視頻在結(jié)尾處要么糊掉要么變成靜音靜止。
有較強(qiáng)的抗噪能力。目前看這一點(diǎn)剛需大模型，比如萬億的 step2 就是比千億的 step1 好。小模型容易被 context 里的一點(diǎn)點(diǎn)錯(cuò)誤帶偏。考慮到 CoT

原文鏈接：技術(shù)上，如何復(fù)現(xiàn) o1?

聯(lián)系作者

文章來源：智猩猩GenAI
作者微信：
作者簡介：