Open-Sora

AI工具1年前 (2024)發(fā)布 AI工具集

Open-Sora是一款由Colossal-AI團隊開發(fā)和開源的視頻生成模型，旨在復現(xiàn)OpenAI的Sora視頻生成產(chǎn)品。該模型基于Diffusion Transformer（DiT）架構，通過三個訓練階段——大規(guī)模圖像預訓練、大規(guī)模視頻預訓練以及高質量視頻數(shù)據(jù)微調，能夠生成與文本描述高度一致的視頻內容。

Open-Sora是什么

Open-Sora是Colossal-AI團隊推出的開源視頻生成模型，目標在于復現(xiàn)OpenAI的Sora視頻生成技術。該模型利用DiT架構，經(jīng)過三個階段的訓練：大規(guī)模圖像預訓練、大規(guī)模視頻預訓練和高質量視頻數(shù)據(jù)微調，從而實現(xiàn)生成與輸入文本描述相符的視頻內容。作為一項開源解決方案，Open-Sora涵蓋了視頻生成模型訓練的全流程，包括數(shù)據(jù)處理、訓練細節(jié)和模型檢查點，供所有對文本生成視頻技術感興趣的用戶免費學習和使用。

Open-Sora

Open-Sora的官網(wǎng)入口

官方項目主頁：https://hpcaitech.github.io/Open-Sora/
GitHub代碼庫：https://github.com/hpcaitech/Open-Sora

Open-Sora的模型架構

Open-Sora采用當前流行的Diffusion Transformer（DiT）架構，基于華為開源的PixArt-α高質量文本到圖像生成模型，并通過添加時間注意力層來擴展至視頻生成。具體設計如下：

核心組件

預訓練的VAE（變分自編碼器）：VAE組件用于數(shù)據(jù)壓縮，將輸入的視頻數(shù)據(jù)映射到潛在空間的低維表示。在Open-Sora中，VAE的編碼器在訓練時壓縮視頻數(shù)據(jù)，而在推理階段，則從潛在空間中采樣高斯噪聲生成視頻。
文本編碼器：該組件負責將文本提示（如描述視頻內容的句子）轉換為文本嵌入，這些嵌入隨后與視頻數(shù)據(jù)結合，確保生成的視頻與文本描述相符。
STDiT（空間時間擴散變換器）：這是Open-Sora的核心組件，利用空間-時間注意力機制的DiT模型。STDiT通過串聯(lián)二維空間注意力模塊與一維時間注意力模塊來建模視頻數(shù)據(jù)中的時序關系，同時交叉注意力模塊用于對齊文本的語義信息。

架構設計

空間-時間注意力機制：STDiT模型的每一層包含空間和時間注意力模塊，空間注意力模塊處理視頻幀的二維特征，而時間注意力模塊則處理幀間的時序關系。這種設計使得模型能夠有效處理視頻數(shù)據(jù)的空間和時間維度。
交叉注意力：在時間注意力模塊之后，交叉注意力模塊用于將文本嵌入與視頻特征融合，確保生成的視頻內容與文本描述相匹配。
訓練與推理流程：在訓練階段，VAE編碼器將視頻數(shù)據(jù)壓縮，并與文本嵌入一起訓練STDiT模型。在推理階段，從VAE潛在空間中采樣噪聲，與文本提示一同輸入到STDiT模型中，生成去噪后的特征，最終通過VAE解碼器解碼得到視頻。

Open-Sora的復現(xiàn)方案

Open-Sora的訓練復現(xiàn)方案借鑒了Stable Video Diffusion（SVD）的工作，分為三個階段：大規(guī)模圖像預訓練、大規(guī)模視頻預訓練以及高質量視頻數(shù)據(jù)微調。通過這三個階段的訓練，Open-Sora模型能夠逐步提升視頻生成能力，從基礎的圖像理解到復雜的視頻內容生成，最終實現(xiàn)高質量的視頻生成效果。

第一階段：大規(guī)模圖像預訓練

在第一階段，模型通過大規(guī)模圖像數(shù)據(jù)集進行預訓練，以建立對圖像內容的基本理解。此階段旨在利用現(xiàn)有的高質量圖像生成模型（如Stable Diffusion）作為基礎，初始化視頻生成模型的權重。通過這種方式，模型能夠從圖像數(shù)據(jù)中學習到豐富的視覺特征，為后續(xù)的視頻預訓練奠定堅實基礎。

第二階段：大規(guī)模視頻預訓練

第二階段專注于大規(guī)模視頻數(shù)據(jù)的預訓練，旨在增強模型對視頻時間序列的理解。此階段通過大量視頻數(shù)據(jù)訓練，以學習視頻中的時序關系和動態(tài)變化。為了提高模型的泛化能力，需要確保視頻題材的多樣性。此外，模型在此階段將加入時序注意力模塊，以更好地處理時間序列數(shù)據(jù)。此階段的訓練將在第一階段的基礎上進行，使用前一階段的權重作為起點。