MOFA-Video是一個由騰訊AI實驗室與東京大學(xué)研究人員共同開發(fā)并開源的可控圖像生成視頻模型。該技術(shù)利用生成場適應(yīng)器對靜態(tài)圖像進(jìn)行動態(tài)處理，生成高質(zhì)量的視頻內(nèi)容。MOFA-Video基于預(yù)訓(xùn)練的Stable Video Diffusion模型，借助手動軌跡、面部標(biāo)記序列或音頻等稀疏控制信號，能夠精細(xì)調(diào)控視頻生成中的動作。這一模型的創(chuàng)新之處在于，它不僅可以單獨(dú)使用這些控制信號，還能以零樣本的方式進(jìn)行復(fù)雜動畫制作，為用戶提供了一種全新的高可控性圖像動畫解決方案。

MOFA-Video是什么

MOFA-Video是騰訊AI實驗室和東京大學(xué)的研究者共同推出的開源模型，旨在實現(xiàn)可控的圖像生成視頻。其核心技術(shù)是生成場適應(yīng)器，能夠?qū)㈧o態(tài)圖像轉(zhuǎn)化為動態(tài)視頻。MOFA-Video在Stable Video Diffusion模型的基礎(chǔ)上，通過稀疏控制信號如手動軌跡、面部標(biāo)記或音頻，實現(xiàn)對視頻中動作的精細(xì)調(diào)控。無論是簡單的動畫還是復(fù)雜的場景，MOFA-Video都能通過組合不同的控制信號，以零樣本的方式完成高質(zhì)量的動畫生成。

主要功能

• 軌跡控制動畫：用戶可以在圖像上手動繪制軌跡，從而指導(dǎo)MOFA-Video生成相應(yīng)的視頻動畫，適合需要精細(xì)控制物體或鏡頭移動的場景。
• 面部關(guān)鍵點動畫：系統(tǒng)利用面部識別技術(shù)獲取的關(guān)鍵點數(shù)據(jù)，實現(xiàn)逼真的面部表情和頭部動作動畫。
• 混合控制動畫：MOFA-Video支持將軌跡控制與面部關(guān)鍵點控制結(jié)合，生成同步的面部表情與身體動作，創(chuàng)造復(fù)雜的多部分動畫效果。
• 音頻驅(qū)動面部動畫：通過分析音頻信號，生成與語音或音樂同步的面部動畫，如口型同步等。
• 視頻驅(qū)動面部動畫：利用參考視頻，MOFA-Video能夠讓靜態(tài)圖像中的面部動作模仿視頻中的表情，實現(xiàn)動態(tài)表現(xiàn)。
• 零樣本多模態(tài)控制：支持不同控制信號無須額外訓(xùn)練即可組合使用，提升動畫生成的靈活性與多樣性。
• 長視頻生成能力：通過周期性采樣策略，MOFA-Video可以生成比傳統(tǒng)模型更長的視頻，突破幀數(shù)的限制。
• 用戶友好的界面操作：MOFA-Video提供基于Gradio的直觀界面，用戶無需專業(yè)編程技能即可輕松進(jìn)行動畫生成。

產(chǎn)品官網(wǎng)

• 官方項目主頁：https://myniuuu.github.io/MOFA_Video
• GitHub代碼庫：https://github.com/MyNiuuu/MOFA-Video
• 基于軌跡的圖像動畫Gradio演示和模型檢查點：https://huggingface.co/MyNiuuu/MOFA-Video-Traj
• Gradio演示和混合控制圖像動畫檢查點：https://huggingface.co/MyNiuuu/MOFA-Video-Hybrid

應(yīng)用場景

MOFA-Video適用于多種場景，包括但不限于影視制作、游戲開發(fā)、廣告創(chuàng)意和社交媒體內(nèi)容創(chuàng)作。無論是需要精確控制的動畫場景，還是想要生成與音頻同步的動態(tài)視頻，MOFA-Video都可以為創(chuàng)作者提供強(qiáng)大的支持。

常見問題

1. MOFA-Video是否需要編程知識？
不需要。MOFA-Video提供了友好的用戶界面，任何人都可以輕松上手。

2. MOFA-Video支持哪些類型的控制信號？
MOFA-Video支持軌跡控制、面部關(guān)鍵點、音頻驅(qū)動和視頻驅(qū)動等多種控制信號。

3. 如何獲取MOFA-Video的最新版本？
用戶可以訪問其官方網(wǎng)站和GitHub代碼庫獲取最新版本和更新信息。