CogVideoX是什么

CogVideoX是智譜AI最新發(fā)布的一款開源AI視頻生成模型，它與智譜AI的商業(yè)產(chǎn)品“清影”有著共同的技術(shù)基礎(chǔ)。CogVideoX能夠接受英文提示詞，生成時長為6秒、幀率為每秒8幀、分辨率為720*480的視頻。推理過程中需要的顯存范圍在7.8GB至26GB之間，目前尚不支持量化推理和多卡推理。該項目還包含了3D Causal VAE組件用于視頻重建，配備豐富的示例和工具，包括CLI/WEB演示、在線體驗、API接口示例以及微調(diào)指南。

CogVideoX的主要功能

• 文本生成視頻：用戶可以通過輸入文本提示，生成相應(yīng)的視頻內(nèi)容。
• 顯存需求低：在INT8精度下，推理顯存僅需7.8GB，使用1080 Ti顯卡也能完成推理。
• 視頻參數(shù)定制：支持用戶自定義視頻的長度、幀率和分辨率，當(dāng)前版本支持生成6秒長、8幀/秒、720*480分辨率的視頻。
• 3D Causal VAE技術(shù)：通過3D Causal VAE技術(shù)，實現(xiàn)視頻內(nèi)容的高效重建。
• 推理與微調(diào)：模型不僅支持基本的推理生成視頻，還提供了微調(diào)功能，以滿足不同需求。

CogVideoX的技術(shù)原理

• 文本到視頻生成：CogVideoX利用深度學(xué)習(xí)模型，特別是基于Transformer的架構(gòu)，來解析輸入的文本提示并生成視頻內(nèi)容。
• 3D Causal VAE：該模型采用了3D Causal Variational Autoencoder（變分自編碼器），這是一種用于視頻重建和壓縮的技術(shù)，能夠幾乎無損地重建視頻，降低存儲和計算需求。
• 專家Transformer：CogVideoX運用了專家Transformer模型，這是一種特殊的Transformer架構(gòu)，通過多個專家協(xié)同處理不同的任務(wù)，比如空間與時間信息的處理，以及控制信息流動等。
• 編碼器-解碼器架構(gòu)：在3D VAE中，編碼器將視頻轉(zhuǎn)換為簡化的代碼，而解碼器根據(jù)這些代碼重建出視頻，潛在空間正則化器確保編碼和解碼之間的信息傳遞更加準(zhǔn)確。
• 混合時長訓(xùn)練：CogVideoX采用混合時長訓(xùn)練法，使模型能夠?qū)W習(xí)生成不同長度的視頻，提高其泛化能力。
• 多階段訓(xùn)練：訓(xùn)練過程分為多個階段，包括低分辨率預(yù)訓(xùn)練、高分辨率預(yù)訓(xùn)練及高質(zhì)量視頻微調(diào)，逐步提升模型的生成質(zhì)量與細(xì)節(jié)。
• 自動與人工評估：CogVideoX結(jié)合自動評估和人工評估的方式，以確保生成視頻的質(zhì)量符合預(yù)期。

CogVideoX的項目地址

• 智譜清影體驗：http://www.futurefh.com/chatglm-video/
• CogVideoX-2B模型地址：
  • HuggingFace模型庫：https://huggingface.co/THUDM/CogVideoX-2b
  • 魔搭社區(qū)模型庫：https://modelscope.cn/models/ZhipuAI/CogVideoX-2b
• CogVideoX-5B模型地址：
  • HuggingFace模型庫：https://huggingface.co/spaces/THUDM/CogVideoX-5B
  • 魔搭社區(qū)模型庫：https://modelscope.cn/models/ZhipuAI/CogVideoX-5b
• GitHub倉庫：https://github.com/THUDM/CogVideo
• arXiv技術(shù)論文：https://arxiv.org/pdf/2408.06072

CogVideoX-2B與CogVideoX-5B參數(shù)對比

CogVideoX的性能評估

為評估文本到視頻生成的質(zhì)量，我們采用了VBench中的多項指標(biāo)，包括人類動作、場景及動態(tài)程度等。此外，還使用了兩個額外的視頻評估工具：Devil中的動態(tài)質(zhì)量和Chrono-Magic中的GPT4o-MT評分，這些工具專注于視頻的動態(tài)特性，如下表所示。

CogVideoX的應(yīng)用場景

• 創(chuàng)意視頻制作：為視頻創(chuàng)作者和藝術(shù)家提供工具，快速將創(chuàng)意文本描述轉(zhuǎn)化為生動的視頻內(nèi)容。
• 教育與培訓(xùn)材料：自動生成教育視頻，有助于闡釋復(fù)雜概念或展示教學(xué)場景。
• 廣告與品牌宣傳：企業(yè)可以利用CogVideoX模型基于廣告文案生成視頻廣告，提升營銷效果。
• 游戲與娛樂產(chǎn)業(yè)：輔助游戲開發(fā)者快速生成游戲內(nèi)動畫或劇，增強游戲體驗。
• 電影與視頻編輯：幫助視頻編輯人員通過文本描述生成特定場景或特效視頻。
• 虛擬現(xiàn)實(VR)與增強現(xiàn)實(AR)：為VR和AR應(yīng)用生成沉浸式視頻內(nèi)容，提升用戶互動體驗。