Sora 究竟有多燒錢？Sora的推理與訓(xùn)練的計(jì)算成本被扒出來了

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：Sora 究竟有多燒錢？Sora的推理與訓(xùn)練的計(jì)算成本被扒出來了
關(guān)鍵字：報(bào)告,模型,視頻,盈虧,成本
文章來源：夕小瑤科技說
內(nèi)容字?jǐn)?shù)：5011字

內(nèi)容摘要：

夕小瑤科技說 原創(chuàng)作者 | ZicySora一經(jīng)發(fā)布，世界再次被AI的力量所震撼。要知道Runway、Pika等明星模型都還在突破幾秒內(nèi)的連貫性的時(shí)候，Sora已經(jīng)可以直接生成長(zhǎng)達(dá)60s的一鏡到底視頻。
大家對(duì)Sora的更進(jìn)一步信息和細(xì)節(jié)都非常好奇，但遺憾的是，OpenAI并未公布它的技術(shù)細(xì)節(jié)，而只有一份簡(jiǎn)單的技術(shù)報(bào)告。
今天我們就來扒一扒網(wǎng)上對(duì)Sora訓(xùn)練和推理的估算，看看Sora驚艷效果背后的算力究竟是如何的驚人。
▲Sora生成的視頻效果從DiT到Sora在Sora的技術(shù)報(bào)告中，作者提到Sora的設(shè)計(jì)很大程度上受到了《Scalable Diffusion Models with Transformers》論文的影響，這篇論文中提到的模型DiT是用于圖像生成的，Sora將這項(xiàng)工作擴(kuò)展到了視頻生成。
我們先來看看DiT模型，最大的DiT模型DiT-XL具有675M參數(shù)，需要次浮點(diǎn)運(yùn)算進(jìn)行訓(xùn)練。為了使這個(gè)數(shù)字更容易理解，這相當(dāng)于大約一臺(tái)H100運(yùn)行12天。
下面是對(duì)Sora所需的計(jì)算量做一個(gè)估算：
1、DiT只對(duì)圖像進(jìn)行建模，但Sora是視頻模型，我們假設(shè)Sora在把圖片變成視頻的過程

原文鏈接：Sora 究竟有多燒錢？Sora的推理與訓(xùn)練的計(jì)算成本被扒出來了

聯(lián)系作者

文章來源：夕小瑤科技說
作者微信：xixiaoyaoQAQ
作者簡(jiǎn)介：更快的AI前沿，更深的行業(yè)洞見。聚集25萬AI一線開發(fā)者、互聯(lián)網(wǎng)中高管和機(jī)構(gòu)投資人。一線作者來自清北、國(guó)內(nèi)外頂級(jí)AI實(shí)驗(yàn)室和大廠，兼?zhèn)湫袠I(yè)嗅覺與報(bào)道深度。