Wan2.1 – 阿里開源的AI視頻生成大模型

Wan2.1是什么

Wan2.1是阿里云推出的一款開源AI視頻生成大模型，擁有強大的視覺創(chuàng)作能力。該模型支持文本生成視頻和圖像生成視頻兩大任務(wù)，提供兩種不同尺寸的模型：14B參數(shù)的專業(yè)版擅長于復(fù)雜的生成和物理建模，性能優(yōu)異；而1.3B參數(shù)的極速版則能夠在消費級顯卡上流暢運行，顯存需求低，特別適合二次開發(fā)和學(xué)術(shù)研究。Wan2.1模型基于因果3D VAE和視頻Diffusion Transformer架構(gòu)，能夠高效進行時空壓縮與長時程依賴建模。在權(quán)威評測集Vbench中，14B版本以總分86.22%的成績顯著超越了包括Sora、Luma和Pika在內(nèi)的多個國內(nèi)外模型，穩(wěn)居第一。Wan2.1采用Apache 2.0協(xié)議開源，支持多種主流框架，已在GitHub、HuggingFace及魔搭社區(qū)上線，為開發(fā)者提供了便捷的使用與部署環(huán)境。

Wan2.1的主要功能

• 文本生成視頻：根據(jù)用戶輸入的文本描述生成相應(yīng)的視頻內(nèi)容，支持中英文長文本指令，精準還原場景切換與角色互動。
• 圖像生成視頻：以圖像為基礎(chǔ)生成動態(tài)視頻，適合將靜態(tài)圖像轉(zhuǎn)化為生動視頻的需求，提供更高的創(chuàng)作控制力。
• 復(fù)雜生成：穩(wěn)定呈現(xiàn)人物或物體的復(fù)雜，如旋轉(zhuǎn)、跳躍和轉(zhuǎn)身，支持高級運鏡控制。
• 物理規(guī)律模擬：精準模擬碰撞、反彈和切割等真實物理場景，生成符合物理法則的視頻內(nèi)容。
• 多風(fēng)格生成：支持多樣化的視頻風(fēng)格與質(zhì)感，滿足不同的創(chuàng)作需求，同時支持多種長寬比的視頻輸出。
• 文字特效生成：具備中文文字生成能力，支持中英文文字特效，為視頻增添視覺吸引力。

Wan2.1的技術(shù)原理

• 因果3D VAE架構(gòu)：Wan2.1自研的因果3D VAE架構(gòu)專為視頻生成而設(shè)計，通過編碼器將輸入數(shù)據(jù)壓縮為潛在空間表示，再通過解碼器重建輸出。在視頻生成中，3D VAE能有效處理時空信息，結(jié)合因果性約束，確保生成視頻的連貫性和邏輯性。
• 視頻Diffusion Transformer架構(gòu)：基于主流的擴散模型和Transformer架構(gòu)，擴散模型通過逐步去噪生成數(shù)據(jù)，而Transformer則利用自注意力機制捕捉長時程依賴關(guān)系。
• 模型訓(xùn)練與推理優(yōu)化：
  • 訓(xùn)練階段：采用DP（數(shù)據(jù)并行）與FSDP（全Sharded數(shù)據(jù)并行）相結(jié)合的分布式策略，加速文本與視頻編碼模塊的訓(xùn)練。對于擴散模塊，使用DP、FSDP、RingAttention和Ulysses混合的并行策略，進一步提升訓(xùn)練效率。
  • 推理階段：通過CP（通道并行）進行分布式加速，減少單個視頻生成的延遲。針對大模型，應(yīng)用模型切分技術(shù)，進一步優(yōu)化推理效率。

Wan2.1的性能優(yōu)勢

• 卓越的生成質(zhì)量：在Vbench評測中，14B參數(shù)的專業(yè)版本總分達到86.22%，顯著超越其他國內(nèi)外模型（如Sora、Luma、Pika等），穩(wěn)居榜首。
• 支持消費級GPU：1.3B參數(shù)的極速版僅需8.2GB顯存即可生成480P視頻，兼容幾乎所有消費級GPU，約在4分鐘內(nèi)在RTX 4090上生成5秒的480P視頻。
• 多功能支持：涵蓋文本生成視頻、圖像生成視頻、視頻編輯、文本生成圖像及視頻生成音頻等多種任務(wù)，同時具備視覺特效與文字渲染能力，滿足多樣化的創(chuàng)作需求。
• 高效的數(shù)據(jù)處理與架構(gòu)優(yōu)化：基于自研的因果3D VAE和優(yōu)化訓(xùn)練策略，支持任意長度視頻的高效編解碼，顯著降低推理內(nèi)存占用，提升訓(xùn)練與推理效率。

Wan2.1的項目地址

• 項目官網(wǎng)：https://wanxai.com
• GitHub倉庫：https://github.com/Wan-Video/Wan2.1
• HuggingFace模型庫：https://huggingface.co/Wan-AI

Wan2.1的效果展示

• 復(fù)雜：擅長生成涵蓋廣泛肢體動作、復(fù)雜旋轉(zhuǎn)、動態(tài)場景切換以及流暢鏡頭的逼真視頻。

• 物理模擬：能夠生成準確模擬現(xiàn)實世界物理規(guī)律和逼真物體交互的視頻。

• 影院級別畫質(zhì)：提供如同電影般的視覺效果，擁有豐富的紋理與多樣化的風(fēng)格化特效。

• 可控編輯：具備通用編輯模型，可以通過圖像或視頻參考進行精準的編輯。

Wan2.1的應(yīng)用場景

• 影視制作與特效：能夠生成復(fù)雜的動作場景、特效鏡頭或虛擬角色動畫，從而顯著降低拍攝成本與時間。
• 廣告與營銷：快速生成創(chuàng)意廣告視頻，依據(jù)產(chǎn)品特點或品牌調(diào)性定制個性化視頻內(nèi)容。
• 教育與培訓(xùn)：生成教育視頻，如科學(xué)實驗演示、歷史場景重現(xiàn)或語言學(xué)習(xí)視頻，以增強學(xué)習(xí)體驗。
• 游戲開發(fā)：用于生成游戲內(nèi)部的動畫、過場視頻或虛擬角色動作，提升游戲的視覺效果與沉浸感。
• 個人創(chuàng)作與社交媒體：幫助創(chuàng)作者迅速生成創(chuàng)意視頻，適用于社交媒體分享、Vlog制作或個人項目展示。