MOFA-Video

MOFA-Video是一個由騰訊AI實驗室與東京大學研究人員共同開發并開源的可控圖像生成視頻模型。該技術利用生成場適應器對靜態圖像進行動態處理，生成高質量的視頻內容。MOFA-Video基于預訓練的Stable Video Diffusion模型，借助手動軌跡、面部標記序列或音頻等稀疏控制信號，能夠精細調控視頻生成中的動作。這一模型的創新之處在于，它不僅可以單獨使用這些控制信號，還能以零樣本的方式進行復雜動畫制作，為用戶提供了一種全新的高可控性圖像動畫解決方案。

MOFA-Video是什么

MOFA-Video是騰訊AI實驗室和東京大學的研究者共同推出的開源模型，旨在實現可控的圖像生成視頻。其核心技術是生成場適應器，能夠將靜態圖像轉化為動態視頻。MOFA-Video在Stable Video Diffusion模型的基礎上，通過稀疏控制信號如手動軌跡、面部標記或音頻，實現對視頻中動作的精細調控。無論是簡單的動畫還是復雜的場景，MOFA-Video都能通過組合不同的控制信號，以零樣本的方式完成高質量的動畫生成。

主要功能

• 軌跡控制動畫：用戶可以在圖像上手動繪制軌跡，從而指導MOFA-Video生成相應的視頻動畫，適合需要精細控制物體或鏡頭移動的場景。
• 面部關鍵點動畫：系統利用面部識別技術獲取的關鍵點數據，實現逼真的面部表情和頭部動作動畫。
• 混合控制動畫：MOFA-Video支持將軌跡控制與面部關鍵點控制結合，生成同步的面部表情與身體動作，創造復雜的多部分動畫效果。
• 音頻驅動面部動畫：通過分析音頻信號，生成與語音或音樂同步的面部動畫，如口型同步等。
• 視頻驅動面部動畫：利用參考視頻，MOFA-Video能夠讓靜態圖像中的面部動作模仿視頻中的表情，實現動態表現。
• 零樣本多模態控制：支持不同控制信號無須額外訓練即可組合使用，提升動畫生成的靈活性與多樣性。
• 長視頻生成能力：通過周期性采樣策略，MOFA-Video可以生成比傳統模型更長的視頻，突破幀數的限制。
• 用戶友好的界面操作：MOFA-Video提供基于Gradio的直觀界面，用戶無需專業編程技能即可輕松進行動畫生成。

產品官網

• 官方項目主頁：https://myniuuu.github.io/MOFA_Video
• GitHub代碼庫：https://github.com/MyNiuuu/MOFA-Video
• 基于軌跡的圖像動畫Gradio演示和模型檢查點：https://huggingface.co/MyNiuuu/MOFA-Video-Traj
• Gradio演示和混合控制圖像動畫檢查點：https://huggingface.co/MyNiuuu/MOFA-Video-Hybrid

應用場景

MOFA-Video適用于多種場景，包括但不限于影視制作、游戲開發、廣告創意和社交媒體內容創作。無論是需要精確控制的動畫場景，還是想要生成與音頻同步的動態視頻，MOFA-Video都可以為創作者提供強大的支持。

常見問題

1. MOFA-Video是否需要編程知識？
不需要。MOFA-Video提供了友好的用戶界面，任何人都可以輕松上手。

2. MOFA-Video支持哪些類型的控制信號？
MOFA-Video支持軌跡控制、面部關鍵點、音頻驅動和視頻驅動等多種控制信號。

3. 如何獲取MOFA-Video的最新版本？
用戶可以訪問其官方網站和GitHub代碼庫獲取最新版本和更新信息。