Step-Video-T2V – 階躍星辰開源的文本到視頻模型

Step-Video-T2V 是由階躍星辰團隊開發的開源文本到視頻生成預訓練模型，具備 300 億參數，能夠生成高達 204 幀的高質量視頻。此模型基于深度壓縮的變分自編碼器（Video-VAE），實現了 16×16 的空間壓縮和 8× 的時間壓縮，顯著提高了訓練與推理的效率。

Step-Video-T2V是什么

Step-Video-T2V 是一款由階躍星辰團隊推出的開源文本到視頻生成的預訓練模型。它擁有 300 億個參數，能夠生成長達 204 幀的高質量視頻。該模型采用了深度壓縮的變分自編碼器（Video-VAE）架構，能夠實現 16×16 的空間壓縮和 8× 的時間壓縮，從而大幅提升了訓練和推理的效率。此外，Step-Video-T2V 配備了雙語文本編碼器，支持中英文提示輸入，并通過直接偏好優化（DPO）方法進一步提升視頻生成的質量。該模型基于擴散的 Transformer（DiT）架構和 3D 全注意力機制，在生成具有豐富動態和高美學質量的視頻方面表現尤為突出。

Step-Video-T2V的主要功能

• 高質量視頻生成：Step-Video-T2V 具備 300 億參數，能夠生成長達 204 幀的高質量視頻，支持 544×992 的分辨率。
• 雙語文本支持：內置雙語文本編碼器，能直接處理中文和英文提示，生成與文本描述一致的視頻內容。
• 動態與美學優化：采用 3D 全注意力的 DiT 架構和 Flow Matching 訓練方法，生成具有強烈效果和卓越美學的視頻。

Step-Video-T2V的技術原理

• 深度壓縮的變分自編碼器（Video-VAE）：Step-Video-T2V 采用深度壓縮的變分自編碼器（Video-VAE），實現 16×16 的空間壓縮和 8× 的時間壓縮，有效降低了視頻生成任務的計算復雜度，同時保持了出色的視頻重建質量。
• 雙語文本編碼器：模型配備兩個預訓練的雙語文本編碼器，能夠理解中文和英文提示，從而生成符合文本描述的視頻。
• 基于擴散的 Transformer（DiT）架構：Step-Video-T2V 基于擴散的 Transformer（DiT）架構，結合 3D 全注意力機制，通過 Flow Matching 訓練逐步去噪輸入噪聲，生成潛在幀，利用文本嵌入和時間步作為條件因子，展現出色的動態和美學質量。
• 直接偏好優化（DPO）：為提升生成視頻品質，Step-Video-T2V 引入視頻直接偏好優化（Video-DPO）方法，利用人類偏好數據對模型進行微調，降低偽影并增強視覺效果，使生成的視頻更加流暢和真實。
• 級聯訓練策略：模型采用級聯訓練流程，包括文本到圖像（T2I）預訓練、文本到視頻/圖像（T2VI）預訓練、文本到視頻（T2V）微調及直接偏好優化（DPO）訓練，促進模型快速收斂，充分利用不同質量的視頻數據。
• 系統優化：在系統層面，Step-Video-T2V 進行了優化，包括張量并行、序列并行和 Zero1 優化，確保高效的分布式訓練。引入高性能通信框架 StepRPC 和雙層監控系統 StepTelemetry，以優化數據傳輸效率和識別性能瓶頸。

Step-Video-T2V的項目地址

• Github倉庫：https://github.com/stepfun-ai/Step-Video-T2V
• HuggingFace模型庫：https://huggingface.co/stepfun-ai/stepvideo-t2v
• arXiv技術論文：https://arxiv.org/pdf/2502.10248

Step-Video-T2V的應用場景

• 視頻內容創作：Step-Video-T2V 可根據文本提示快速生成創意視頻，幫助創作者節省時間和精力，降低視頻制作的門檻。
• 廣告制作：能夠為品牌和廣告商生成個性化的視頻廣告內容，提升廣告的吸引力和傳播效果。
• 教育與培訓：可生成教學視頻，幫助學生更好地理解和記憶知識內容。
• 娛樂與影視：為影視制作提供創意素材，輔助生成特效、動畫或短劇片段，加速創作流程。
• 社交媒體：Step-Video-T2V 為用戶提供個性化的視頻生成工具，豐富社交平臺的內容生態，提升用戶互動性。生成的視頻可用于社交媒體的創意內容分享。