Open-Sora 2.0

Open-Sora 2.0 – 潞晨科技開源的AI視頻生成模型

Open-Sora 2.0 是潞晨科技推出的一款先進(jìn)開源視頻生成模型，具備業(yè)界領(lǐng)先的性能表現(xiàn)。該模型以 11B 參數(shù)規(guī)模，僅花費(fèi) 20 萬(wàn)美元（224 張 GPU）進(jìn)行訓(xùn)練，顯著降低了傳統(tǒng)視頻生成模型的訓(xùn)練成本。Open-Sora 2.0 在 VBench 和用戶偏好測(cè)試中表現(xiàn)出色，其性能甚至超越了 HunyuanVideo 和 30B 參數(shù)的 Step-Video 等主流閉源模型。

Open-Sora 2.0是什么

Open-Sora 2.0 是潞晨科技全新推出的開源視頻生成模型，以其卓越的性能和顯著的成本效益而聞名。通過(guò)使用 20 萬(wàn)美元的投資和 224 張 GPU，成功訓(xùn)練出 11B 參數(shù)的商業(yè)級(jí)模型。該模型在多項(xiàng)測(cè)試中表現(xiàn)優(yōu)異，與高成本的閉源模型相媲美，甚至在某些方面超越它們。Open-Sora 2.0 采用了先進(jìn)的 3D 自編碼器、全注意力機(jī)制以及 MMDiT 架構(gòu)，結(jié)合高效的并行訓(xùn)練方式和高壓縮比自編碼器，大幅提升了訓(xùn)練效率和推理速度。

Open-Sora 2.0的主要功能

• 高質(zhì)量視頻生成：能夠生成 720p 分辨率、24 FPS 的流暢視頻，支持多種場(chǎng)景和風(fēng)格，無(wú)論是自然風(fēng)光還是復(fù)雜動(dòng)態(tài)場(chǎng)景都能表現(xiàn)出色。
• 動(dòng)作幅度可控：用戶可以根據(jù)需求調(diào)整視頻中人物或物體的動(dòng)作幅度，實(shí)現(xiàn)更細(xì)膩、精準(zhǔn)的動(dòng)態(tài)表現(xiàn)。
• 文本到視頻（T2V）生成：支持通過(guò)文本描述直接生成相應(yīng)的視頻內(nèi)容，滿足創(chuàng)意視頻制作和內(nèi)容生成的需求。
• 圖像到視頻（I2V）生成：結(jié)合開源圖像模型，可以基于圖像生成視頻，進(jìn)一步提升生成效果和多樣性。

Open-Sora 2.0的技術(shù)原理

• 模型架構(gòu)：基于三維自編碼器，能夠高效處理視頻數(shù)據(jù)，捕捉時(shí)間維度上的動(dòng)態(tài)信息；引入全注意力機(jī)制，提升視頻生成的時(shí)空一致性；結(jié)合多模態(tài)擴(kuò)散（MMDiT）架構(gòu)，更精準(zhǔn)地捕捉文本與視頻內(nèi)容的關(guān)聯(lián)。
• 高壓縮比自編碼器：通過(guò) 4×32×32 的高壓縮比自編碼器，顯著降低推理成本。
• 高效訓(xùn)練方法：采用多階段、多層次的數(shù)據(jù)篩選機(jī)制，以確保高質(zhì)量數(shù)據(jù)輸入，提升訓(xùn)練效率。模型優(yōu)先在低分辨率下訓(xùn)練，逐步提升分辨率，大幅降低計(jì)算開銷。
• 并行訓(xùn)練與優(yōu)化：利用 ColossalAI 和系統(tǒng)級(jí)優(yōu)化，提高計(jì)算資源利用率，確保訓(xùn)練效率最大化。
• 模型初始化與蒸餾：借助開源圖生視頻模型 FLUX 進(jìn)行初始化，降低訓(xùn)練成本，并利用蒸餾優(yōu)化策略提升自編碼器特征空間的表達(dá)能力。

Open-Sora 2.0的性能表現(xiàn)

• 媲美 HunyuanVideo 和 30B Step-Video：Open-Sora 2.0 憑借僅 11B 參數(shù)規(guī)模，在 VBench 和用戶偏好測(cè)試中表現(xiàn)出色，與高成本開發(fā)的主流閉源大模型相當(dāng)。
• 用戶偏好評(píng)測(cè)：在視覺表現(xiàn)、文本一致性和動(dòng)作表現(xiàn)等關(guān)鍵維度中，Open-Sora 2.0 在多個(gè)指標(biāo)上超越了開源 SOTA 模型 HunyuanVideo 和商業(yè)模型 Runway Gen-3 Alpha。
• VBench 指標(biāo)表現(xiàn)強(qiáng)勢(shì)：根據(jù)視頻生成權(quán)威榜單 VBench 的評(píng)測(cè)結(jié)果，Open-Sora 2.0 的性能表現(xiàn)極為出色，幾乎實(shí)現(xiàn)與行業(yè)領(lǐng)先的閉源模型之間的性能對(duì)齊。

Open-Sora 2.0的項(xiàng)目地址

• GitHub倉(cāng)庫(kù)：https://github.com/hpcaitech/Open-Sora
• 技術(shù)論文：https://github.com/hpcaitech/Open-Sora-Demo/blob/main/paper/Open_Sora_2

Open-Sora 2.0的生成效果

• 提示詞：A tomato surfing on a piece of lettuce down a waterfall of ranch dressing， with exaggerated surfing moves and creamy wave effects to highlight the 3D animated fun.（一顆番茄在一片生菜上沖浪，順著牧場(chǎng)醬汁的瀑布而下，夸張的沖浪動(dòng)作和柔滑的波浪效果凸顯了 3D 動(dòng)畫的樂趣。）

• 提示詞：A drone camera circles a historic church on a rocky outcrop along the Amalfi Coast， highlighting its stunning architecture， tiered patios， and the dramatic coastal views with waves crashing below and people enjoying the scene in the warm afternoon light.（一架無(wú)人機(jī)攝像機(jī)圍繞著阿馬爾菲海岸巖石露頭上的一座歷史悠久的教堂飛行，突顯了其令人驚嘆的建筑、分層的庭院和壯觀的海岸景色，海浪拍打在教堂下方，人們?cè)跍嘏奈绾箨?yáng)光下欣賞著這美麗的景色。）

• 提示詞：A scene from disaster movie.（災(zāi)難片中的場(chǎng)景。）

• 提示詞：Chinese ancient style， realism. A young woman， dressed in an embroidered red qipao， walks along the ancient streets of a bustling Chinese town. The red lanterns hanging above her sway gently in the evening breeze， and her calm， confident stride contrasts with the lively atmosphere of merchants and performers around her.（中國(guó)古風(fēng)寫實(shí)。一位身著繡花紅旗袍的年輕女子走在繁華的中國(guó)小鎮(zhèn)的古道上。頭頂上懸掛的紅燈籠在晚風(fēng)中輕輕搖曳，她從容自信的步伐與周圍商販和藝人的熱鬧氛圍形成鮮明對(duì)比。）

如何使用Open-Sora 2.0

• 從源代碼安裝：
  • 創(chuàng)建虛擬環(huán)境（推薦使用 Conda）：

conda create -n opensora python=3.9
conda activate opensora

• • 克隆倉(cāng)庫(kù)：

git clone https://github.com/hpcaitech/Open-Sora
cd Open-Sora

pip install -r requirements/requirements-cu121.txt

• • • 安裝項(xiàng)目：

pip install -v .  # 或使用開發(fā)模式：pip install -v -e .

• • • 安裝加速相關(guān)的依賴（可選，但推薦）：

pip install git+https://github.com/hpcaitech/TensorNVMe.git
pip install git+https://github.com/hpcaitech/ColossalAI.git
pip install packaging ninja
pip install flash-attn --no-build-isolation
pip install -v --disable-pip-version-check --no-cache-dir --no-build-isolation --config-settings "--build-option=--cpp_ext" --config-settings "--build-option=--cuda_ext" git+https://github.com/NVIDIA/apex.git

• 使用 Docker 安裝：
  • 構(gòu)建 Docker 鏡像：

docker build -t opensora .

• • 運(yùn)行 Docker 容器（確保掛載 GPU 和工作目錄）：

docker run -ti --gpus all -v .:/workspace/Open-Sora opensora

Open-Sora 2.0的應(yīng)用場(chǎng)景

• 頻制作：快速高效地生成廣告、動(dòng)畫等創(chuàng)意視頻，降作成本。
• 影視后期：輔助生成特效鏡頭和虛擬場(chǎng)景，提升制作效率。
• 教育領(lǐng)域：生成教育視頻，增強(qiáng)教學(xué)的趣味性和效果。
• 游戲開發(fā)：應(yīng)用于生成游戲動(dòng)畫和虛擬場(chǎng)景，豐富游戲內(nèi)容。
• VR/AR 應(yīng)用：構(gòu)建沉浸式虛擬場(chǎng)景，提升用戶體驗(yàn)。