突破想象的界限：東京大學(xué)與騰訊攜手打造MOFA-Video，實(shí)現(xiàn)創(chuàng)意與AI的無(wú)縫融合！

MOFA-Video不僅是技術(shù)上的飛躍，更是創(chuàng)意表達(dá)方式的突破。

原標(biāo)題：實(shí)現(xiàn)精準(zhǔn)控制的圖像動(dòng)畫(huà)化！東京大學(xué)&騰訊開(kāi)源MOFA-Video，創(chuàng)意與AI完美融合 | 一作牛慕堯博士主講預(yù)告
文章來(lái)源：智猩猩GenAI
內(nèi)容字?jǐn)?shù)：2606字

MOFA-Video：可控圖像動(dòng)畫(huà)化的新突破

近年來(lái)，生成式AI技術(shù)的迅猛發(fā)展使得AI在創(chuàng)意領(lǐng)域的應(yīng)用不斷突破，尤其是在動(dòng)畫(huà)制作方面。東京大學(xué)在讀博士牛慕堯與騰訊AI Lab的研究人員共同研發(fā)的MOFA-Video模型，致力于解決傳統(tǒng)動(dòng)畫(huà)生成方法的局限性，為創(chuàng)作者提供更大的與控制力。

1. 動(dòng)畫(huà)生成的挑戰(zhàn)

傳統(tǒng)的動(dòng)畫(huà)生成方法通常只能在特定領(lǐng)域內(nèi)工作，往往局限于生成單一風(fēng)格的內(nèi)容，缺乏對(duì)動(dòng)畫(huà)細(xì)節(jié)的控制手段。這些限制使得生成內(nèi)容的多樣性和表現(xiàn)力受到抑制，影響了其在實(shí)際應(yīng)用中的廣泛使用。

2. MOFA-Video的創(chuàng)新設(shè)計(jì)

MOFA-Video通過(guò)將靜態(tài)圖像轉(zhuǎn)化為生動(dòng)的動(dòng)畫(huà)視頻，奠定了其在動(dòng)畫(huà)制作領(lǐng)域的核心地位。該模型采用了生成場(chǎng)適配器（MOFA-Adapter），在精細(xì)控制視頻生成過(guò)程中的動(dòng)作和細(xì)節(jié)方面表現(xiàn)卓越。通過(guò)稀疏控制信號(hào)生成技術(shù)，用戶(hù)可以利用少量輸入數(shù)據(jù)（如軌跡、面部關(guān)鍵點(diǎn)或音頻信號(hào)）來(lái)生成自然流暢的動(dòng)畫(huà)。

3. 強(qiáng)大的可控性與多模態(tài)集成

MOFA-Video的設(shè)計(jì)核心在于其強(qiáng)大的可控性和多模態(tài)集成能力。用戶(hù)只需簡(jiǎn)單繪制軌跡，便能精準(zhǔn)控制物體或相機(jī)的動(dòng)作；而通過(guò)音頻信號(hào)驅(qū)動(dòng)的面部動(dòng)畫(huà)，使圖像中的人物與語(yǔ)音或音樂(lè)同步，提升了動(dòng)畫(huà)的表現(xiàn)力。

4. 實(shí)驗(yàn)與用戶(hù)體驗(yàn)

實(shí)驗(yàn)結(jié)果顯示，MOFA-Video能夠處理復(fù)雜的動(dòng)畫(huà)制作任務(wù)，生成的長(zhǎng)視頻不僅保持連續(xù)性和邏輯一致性，還在細(xì)節(jié)上展現(xiàn)出高水平的表現(xiàn)力。為了方便用戶(hù)，研究團(tuán)隊(duì)提供了簡(jiǎn)易的用戶(hù)界面，使得即使沒(méi)有編程經(jīng)驗(yàn)的用戶(hù)也能輕松上手，創(chuàng)造出與原始圖像高度一致的動(dòng)態(tài)場(chǎng)景。

5. 講座與交流機(jī)會(huì)

智猩猩將于12月19日19點(diǎn)舉辦講座，邀請(qǐng)論文一作牛慕堯博士分享《基于自適應(yīng)光流場(chǎng)的可控圖像動(dòng)畫(huà)化》。此次講座將深入探討MOFA-Video的研究動(dòng)機(jī)、核心思想及其設(shè)計(jì)細(xì)節(jié)，為有興趣的朋友提供更多交流的機(jī)會(huì)。

總結(jié)而言，MOFA-Video不僅是技術(shù)上的飛躍，更是創(chuàng)意表達(dá)方式的突破。其開(kāi)源代碼將為廣大創(chuàng)作者提供無(wú)限可能，推動(dòng)動(dòng)畫(huà)制作領(lǐng)域的發(fā)展。

聯(lián)系作者

文章來(lái)源：智猩猩GenAI
作者微信：
作者簡(jiǎn)介：智猩猩旗下公眾號(hào)之一，深入關(guān)注大模型與AI智能體，及時(shí)搜羅生成式AI技術(shù)產(chǎn)品。