全球首個(gè)類Sora開(kāi)源復(fù)現(xiàn)方案來(lái)了!全面公開(kāi)所有訓(xùn)練細(xì)節(jié)和模型權(quán)重
AIGC動(dòng)態(tài)歡迎閱讀
原標(biāo)題:全球首個(gè)類Sora開(kāi)源復(fù)現(xiàn)方案來(lái)了!全面公開(kāi)所有訓(xùn)練細(xì)節(jié)和模型權(quán)重
關(guān)鍵字:視頻,模型,解讀,數(shù)據(jù),注意力
文章來(lái)源:量子位
內(nèi)容字?jǐn)?shù):6648字
內(nèi)容摘要:
明敏 發(fā)自 凹非寺量子位 | 公眾號(hào) QbitAI全球首個(gè)開(kāi)源的類Sora架構(gòu)視頻生成模型,來(lái)了!
整個(gè)訓(xùn)練流程,包括數(shù)據(jù)處理、所有訓(xùn)練細(xì)節(jié)和模型權(quán)重,全部開(kāi)放。
這就是剛剛發(fā)布的Open-Sora 1.0。
它帶來(lái)的實(shí)際效果如下,能生成繁華都市夜景中的車水馬龍。
還能用航拍視角,展現(xiàn)懸崖海岸邊,海水拍打著巖石的畫面。
亦或是延時(shí)攝影下的浩瀚星空。
自Sora發(fā)布以來(lái),由于效果驚艷但技術(shù)細(xì)節(jié)寥寥,揭秘、復(fù)現(xiàn)Sora成為了開(kāi)發(fā)社區(qū)最熱議話題之一。比如Colossal-AI團(tuán)隊(duì)推出成本直降46%的Sora訓(xùn)練推理復(fù)現(xiàn)流程。
短短兩周時(shí)間后,該團(tuán)隊(duì)再次發(fā)布最新進(jìn)展,復(fù)現(xiàn)類Sora方案,并將技術(shù)方案及詳細(xì)上手教程在GitHub上免費(fèi)開(kāi)源。
那么問(wèn)題來(lái)了,復(fù)現(xiàn)Sora如何實(shí)現(xiàn)?
Open-Sora 開(kāi)源地址:https://github.com/hpcaitech/Open-Sora
全面解讀Sora復(fù)現(xiàn)方案Sora復(fù)現(xiàn)方案包括四個(gè)方面:
模型架構(gòu)設(shè)計(jì)
訓(xùn)練復(fù)現(xiàn)方案
數(shù)據(jù)預(yù)處理
高效訓(xùn)練優(yōu)化策略
模型架構(gòu)設(shè)計(jì)模型采用了Sora同源架構(gòu)Diffusion Transformer (DiT) 。
它
原文鏈接:全球首個(gè)類Sora開(kāi)源復(fù)現(xiàn)方案來(lái)了!全面公開(kāi)所有訓(xùn)練細(xì)節(jié)和模型權(quán)重
聯(lián)系作者
文章來(lái)源:量子位
作者微信:QbitAI
作者簡(jiǎn)介:追蹤人工智能新趨勢(shì),關(guān)注科技行業(yè)新突破