Sora究竟有多燒錢？Sora的推理與訓(xùn)練的計(jì)算成本被扒出來了

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：Sora究竟有多燒錢？Sora的推理與訓(xùn)練的計(jì)算成本被扒出來了
關(guān)鍵字：報(bào)告,模型,視頻,盈虧,成本
文章來源：大數(shù)據(jù)文摘
內(nèi)容字?jǐn)?shù)：5113字

內(nèi)容摘要：

大數(shù)據(jù)文摘授權(quán)轉(zhuǎn)載自夕小瑤科技說作者：Zicy
Sora一經(jīng)發(fā)布，世界再次被AI的力量所震撼。要知道Runway、Pika等明星模型都還在突破幾秒內(nèi)的連貫性的時(shí)候，Sora已經(jīng)可以直接生成長達(dá)60s的一鏡到底視頻。
大家對(duì)Sora的更進(jìn)一步信息和細(xì)節(jié)都非常好奇，但遺憾的是，OpenAI并未公布它的技術(shù)細(xì)節(jié)，而只有一份簡單的技術(shù)報(bào)告。
今天我們就來扒一扒網(wǎng)上對(duì)Sora訓(xùn)練和推理的估算，看看Sora驚艷效果背后的算力究竟是如何的驚人。▲Sora生成的視頻效果
從DiT到Sora在Sora的技術(shù)報(bào)告中，作者提到Sora的設(shè)計(jì)很大程度上受到了《Scalable Diffusion Models with Transformers》論文的影響，這篇論文中提到的模型DiT是用于圖像生成的，Sora將這項(xiàng)工作擴(kuò)展到了視頻生成。
我們先來看看DiT模型，最大的DiT模型DiT-XL具有675M參數(shù)，需要次浮點(diǎn)運(yùn)算進(jìn)行訓(xùn)練。為了使這個(gè)數(shù)字更容易理解，這相當(dāng)于大約一臺(tái)H100運(yùn)行12天。下面是對(duì)Sora所需的計(jì)算量做一個(gè)估算：
1、DiT只對(duì)圖像進(jìn)行建模，但Sora是視頻模型，我們假設(shè)Sora在把圖片變成

原文鏈接：Sora究竟有多燒錢？Sora的推理與訓(xùn)練的計(jì)算成本被扒出來了

聯(lián)系作者

文章來源：大數(shù)據(jù)文摘
作者微信：BigDataDigest
作者簡介：普及數(shù)據(jù)思維，傳播數(shù)據(jù)文化