MOFA-Video是一個由騰訊AI實驗室與東京大學(xué)研究人員共同開發(fā)并開源的可控圖像生成視頻模型。該技術(shù)利用生成場適應(yīng)器對靜態(tài)圖像進(jìn)行動態(tài)處理,生成高質(zhì)量的視頻內(nèi)容。MOFA-Video基于預(yù)訓(xùn)練的Stable Video Diffusion模型,借助手動軌跡、面部標(biāo)記序列或音頻等稀疏控制信號,能夠精細(xì)調(diào)控視頻生成中的動作。這一模型的創(chuàng)新之處在于,它不僅可以單獨(dú)使用這些控制信號,還能以零樣本的方式進(jìn)行復(fù)雜動畫制作,為用戶提供了一種全新的高可控性圖像動畫解決方案。
MOFA-Video是什么
MOFA-Video是騰訊AI實驗室和東京大學(xué)的研究者共同推出的開源模型,旨在實現(xiàn)可控的圖像生成視頻。其核心技術(shù)是生成場適應(yīng)器,能夠?qū)㈧o態(tài)圖像轉(zhuǎn)化為動態(tài)視頻。MOFA-Video在Stable Video Diffusion模型的基礎(chǔ)上,通過稀疏控制信號如手動軌跡、面部標(biāo)記或音頻,實現(xiàn)對視頻中動作的精細(xì)調(diào)控。無論是簡單的動畫還是復(fù)雜的場景,MOFA-Video都能通過組合不同的控制信號,以零樣本的方式完成高質(zhì)量的動畫生成。

主要功能
- 軌跡控制動畫:用戶可以在圖像上手動繪制軌跡,從而指導(dǎo)MOFA-Video生成相應(yīng)的視頻動畫,適合需要精細(xì)控制物體或鏡頭移動的場景。
- 面部關(guān)鍵點動畫:系統(tǒng)利用面部識別技術(shù)獲取的關(guān)鍵點數(shù)據(jù),實現(xiàn)逼真的面部表情和頭部動作動畫。
- 混合控制動畫:MOFA-Video支持將軌跡控制與面部關(guān)鍵點控制結(jié)合,生成同步的面部表情與身體動作,創(chuàng)造復(fù)雜的多部分動畫效果。
- 音頻驅(qū)動面部動畫:通過分析音頻信號,生成與語音或音樂同步的面部動畫,如口型同步等。
- 視頻驅(qū)動面部動畫:利用參考視頻,MOFA-Video能夠讓靜態(tài)圖像中的面部動作模仿視頻中的表情,實現(xiàn)動態(tài)表現(xiàn)。
- 零樣本多模態(tài)控制:支持不同控制信號無須額外訓(xùn)練即可組合使用,提升動畫生成的靈活性與多樣性。
- 長視頻生成能力:通過周期性采樣策略,MOFA-Video可以生成比傳統(tǒng)模型更長的視頻,突破幀數(shù)的限制。
- 用戶友好的界面操作:MOFA-Video提供基于Gradio的直觀界面,用戶無需專業(yè)編程技能即可輕松進(jìn)行動畫生成。

產(chǎn)品官網(wǎng)
- 官方項目主頁:https://myniuuu.github.io/MOFA_Video
- GitHub代碼庫:https://github.com/MyNiuuu/MOFA-Video
- 基于軌跡的圖像動畫Gradio演示和模型檢查點:https://huggingface.co/MyNiuuu/MOFA-Video-Traj
- Gradio演示和混合控制圖像動畫檢查點:https://huggingface.co/MyNiuuu/MOFA-Video-Hybrid
應(yīng)用場景
MOFA-Video適用于多種場景,包括但不限于影視制作、游戲開發(fā)、廣告創(chuàng)意和社交媒體內(nèi)容創(chuàng)作。無論是需要精確控制的動畫場景,還是想要生成與音頻同步的動態(tài)視頻,MOFA-Video都可以為創(chuàng)作者提供強(qiáng)大的支持。
常見問題
1. MOFA-Video是否需要編程知識?
不需要。MOFA-Video提供了友好的用戶界面,任何人都可以輕松上手。
2. MOFA-Video支持哪些類型的控制信號?
MOFA-Video支持軌跡控制、面部關(guān)鍵點、音頻驅(qū)動和視頻驅(qū)動等多種控制信號。
3. 如何獲取MOFA-Video的最新版本?
用戶可以訪問其官方網(wǎng)站和GitHub代碼庫獲取最新版本和更新信息。

粵公網(wǎng)安備 44011502001135號