Movie Gen

Movie Gen 是 Meta 推出的前沿AI視頻生成工具，能夠根據(jù)用戶(hù)提供的文本提示，自動(dòng)生成和編輯視頻，并為其配上同步音頻。該工具具備創(chuàng)建最長(zhǎng)16秒的高清視頻、為現(xiàn)有視頻添加音頻、精確編輯視頻以及根據(jù)照片制作個(gè)性化視頻的強(qiáng)大功能。未來(lái)，Meta計(jì)劃將其整合到現(xiàn)有應(yīng)用中，以提升用戶(hù)的參與體驗(yàn)。

Movie Gen是什么

Movie Gen 是由Meta開(kāi)發(fā)的一款A(yù)I視頻生成工具，用戶(hù)可以通過(guò)文本提示生成和編輯視頻，并為其添加同步音頻。該工具的技術(shù)能力包括生成最長(zhǎng)16秒的高清視頻、為現(xiàn)有視頻配音、進(jìn)行視頻編輯以及根據(jù)用戶(hù)上傳的照片制作個(gè)性化視頻。Movie Gen的視頻生成模型參數(shù)為30B，能夠生成每秒16幀的高質(zhì)量視頻；音頻生成模型參數(shù)為13B，支持生成長(zhǎng)達(dá)45秒的高品質(zhì)音頻，包括環(huán)境音效、擬音效果和樂(lè)器背景音樂(lè)。目前，該工具僅供Meta內(nèi)部員工及部分合作伙伴使用，未來(lái)將計(jì)劃與現(xiàn)有應(yīng)用進(jìn)行整合，以增強(qiáng)用戶(hù)互動(dòng)性。

Movie Gen

Movie Gen的主要功能

視頻生成：用戶(hù)只需輸入文本提示，Movie Gen便能生成長(zhǎng)達(dá)16秒的高清視頻，視頻內(nèi)容將根據(jù)文本描述自動(dòng)生成，并支持不同的長(zhǎng)寬比和分辨率。
個(gè)性化視頻生成：用戶(hù)可以上傳照片，Movie Gen將基于該照片生成包含相關(guān)人物特征的視頻，確保人物身份和動(dòng)作的一致性。
精確視頻編輯：Movie Gen允許用戶(hù)通過(guò)文本指令進(jìn)行精準(zhǔn)的視頻編輯，包括添加、刪除或替換視頻中的元素，以及更改背景或風(fēng)格。
音頻生成：該工具能夠?yàn)樯傻囊曨l提供高質(zhì)量的同步音頻，包括環(huán)境音效、擬音效果和樂(lè)器背景音樂(lè)，音頻內(nèi)容將與視頻相匹配，依據(jù)文本提示生成。

Movie Gen的技術(shù)原理

模型架構(gòu)：Movie Gen由兩個(gè)主要模型構(gòu)成，分別是Movie Gen Video（視頻生成）和Movie Gen Audio（音頻生成）。
預(yù)訓(xùn)練：模型在海量的互聯(lián)網(wǎng)圖像、視頻和音頻數(shù)據(jù)上進(jìn)行預(yù)訓(xùn)練，從而學(xué)習(xí)視覺(jué)和聽(tīng)覺(jué)的多種概念。
流匹配（Flow Matching）：通過(guò)流匹配方法訓(xùn)練生成模型，采用迭代更新樣本的方式生成數(shù)據(jù)。
變分自編碼器（VAE）：使用變分自編碼器將視頻和圖像壓縮到一個(gè)學(xué)習(xí)到的潛在空間，提高訓(xùn)練和推理的效率。
文本嵌入：通過(guò)預(yù)訓(xùn)練的文本編碼器將輸入的文本轉(zhuǎn)換為嵌入，作為模型的條件輸入。
多模態(tài)輸入：該模型能夠處理文本、圖像和視頻等多種輸入類(lèi)型，生成相應(yīng)的輸出結(jié)果。