文生視頻下一站，Meta已經開始視頻生視頻了

AIGC動態歡迎閱讀

原標題：文生視頻下一站，Meta已經開始視頻生視頻了
關鍵字：視頻,研究者,模型,遮擋,條件
文章來源：機器之心
內容字數：6533字

內容摘要：

機器之心報道
編輯：小舟、大盤雞?
文本指導的視頻到視頻（V2V）合成在各個領域具有廣泛的應用，例如短視頻創作以及更廣泛的電影行業。擴散模型已經改變了圖像到圖像（I2I）的合成方式，但在視頻到視頻（V2V）合成方面面臨維持視頻幀間時間一致性的挑戰。在視頻上應用 I2I 模型通常會在幀之間產生像素閃爍。
為了解決這個問題，來自得州大學奧斯汀分校、Meta GenAI 的研究者提出了一種新的 V2V 合成框架 ——FlowVid，聯合利用了源視頻中的空間條件和時間光流線索（clue）。給定輸入視頻和文本 prompt，FlowVid 就可以合成時間一致的視頻。論文地址：https://huggingface.co/papers/2312.17681
項目地址：https://jeff-liangf.github.io/projects/flowvid/
總的來說，FlowVid 展示了卓越的靈活性，可與現有的 I2I 模型無縫協作，完成各種修改，包括風格化、對象交換和局部編輯。在合成效率上，生成 30 FPS、512×512 分辨率的 4 秒視頻僅需 1.5 分鐘，分別比 CoDeF、Re

原文鏈接：文生視頻下一站，Meta已經開始視頻生視頻了

聯系作者

文章來源：機器之心
作者微信：almosthuman2014
作者簡介：專業的人工智能媒體和產業服務平臺