CogVideoX

CogVideoX是什么

CogVideoX是智譜AI最新發布的一款開源AI視頻生成模型，它與智譜AI的商業產品“清影”有著共同的技術基礎。CogVideoX能夠接受英文提示詞，生成時長為6秒、幀率為每秒8幀、分辨率為720*480的視頻。推理過程中需要的顯存范圍在7.8GB至26GB之間，目前尚不支持量化推理和多卡推理。該項目還包含了3D Causal VAE組件用于視頻重建，配備豐富的示例和工具，包括CLI/WEB演示、在線體驗、API接口示例以及微調指南。

CogVideoX的主要功能

• 文本生成視頻：用戶可以通過輸入文本提示，生成相應的視頻內容。
• 顯存需求低：在INT8精度下，推理顯存僅需7.8GB，使用1080 Ti顯卡也能完成推理。
• 視頻參數定制：支持用戶自定義視頻的長度、幀率和分辨率，當前版本支持生成6秒長、8幀/秒、720*480分辨率的視頻。
• 3D Causal VAE技術：通過3D Causal VAE技術，實現視頻內容的高效重建。
• 推理與微調：模型不僅支持基本的推理生成視頻，還提供了微調功能，以滿足不同需求。

CogVideoX的技術原理

• 文本到視頻生成：CogVideoX利用深度學習模型，特別是基于Transformer的架構，來解析輸入的文本提示并生成視頻內容。
• 3D Causal VAE：該模型采用了3D Causal Variational Autoencoder（變分自編碼器），這是一種用于視頻重建和壓縮的技術，能夠幾乎無損地重建視頻，降低存儲和計算需求。
• 專家Transformer：CogVideoX運用了專家Transformer模型，這是一種特殊的Transformer架構，通過多個專家協同處理不同的任務，比如空間與時間信息的處理，以及控制信息流動等。
• 編碼器-解碼器架構：在3D VAE中，編碼器將視頻轉換為簡化的代碼，而解碼器根據這些代碼重建出視頻，潛在空間正則化器確保編碼和解碼之間的信息傳遞更加準確。
• 混合時長訓練：CogVideoX采用混合時長訓練法，使模型能夠學習生成不同長度的視頻，提高其泛化能力。
• 多階段訓練：訓練過程分為多個階段，包括低分辨率預訓練、高分辨率預訓練及高質量視頻微調，逐步提升模型的生成質量與細節。
• 自動與人工評估：CogVideoX結合自動評估和人工評估的方式，以確保生成視頻的質量符合預期。

CogVideoX的項目地址

• 智譜清影體驗：http://www.futurefh.com/chatglm-video/
• CogVideoX-2B模型地址：
  • HuggingFace模型庫：https://huggingface.co/THUDM/CogVideoX-2b
  • 魔搭社區模型庫：https://modelscope.cn/models/ZhipuAI/CogVideoX-2b
• CogVideoX-5B模型地址：
  • HuggingFace模型庫：https://huggingface.co/spaces/THUDM/CogVideoX-5B
  • 魔搭社區模型庫：https://modelscope.cn/models/ZhipuAI/CogVideoX-5b
• GitHub倉庫：https://github.com/THUDM/CogVideo
• arXiv技術論文：https://arxiv.org/pdf/2408.06072

CogVideoX-2B與CogVideoX-5B參數對比

CogVideoX的性能評估

為評估文本到視頻生成的質量，我們采用了VBench中的多項指標，包括人類動作、場景及動態程度等。此外，還使用了兩個額外的視頻評估工具：Devil中的動態質量和Chrono-Magic中的GPT4o-MT評分，這些工具專注于視頻的動態特性，如下表所示。

CogVideoX的應用場景

• 創意視頻制作：為視頻創作者和藝術家提供工具，快速將創意文本描述轉化為生動的視頻內容。
• 教育與培訓材料：自動生成教育視頻，有助于闡釋復雜概念或展示教學場景。
• 廣告與品牌宣傳：企業可以利用CogVideoX模型基于廣告文案生成視頻廣告，提升營銷效果。
• 游戲與娛樂產業：輔助游戲開發者快速生成游戲內動畫或劇，增強游戲體驗。
• 電影與視頻編輯：幫助視頻編輯人員通過文本描述生成特定場景或特效視頻。
• 虛擬現實(VR)與增強現實(AR)：為VR和AR應用生成沉浸式視頻內容，提升用戶互動體驗。