NeurIPS 2023｜有效提高視頻編輯一致性！美圖&國科大聯合提出基于文生圖模型的新方法 EI2

AIGC動態歡迎閱讀

原標題：NeurIPS 2023｜有效提高視頻編輯一致性！美圖&國科大聯合提出基于文生圖模型的新方法 EI2
關鍵字：時序,模塊,模型,語義,視頻
文章來源：AI科技評論
內容字數：5815字

內容摘要：

美圖影像研究院（MT Lab）與中國科學院大學突破性地提出基于文生圖模型的視頻生成新方法EI2，用于提高視頻編輯過程中的語義和內容兩方面的一致性。
該論文從理論角度分析和論證視頻編輯過現的不一致的問題，主要由引入的時序信息學習模塊使特征空間出現協變量偏移造成，并針對性地設計了新的網絡模塊進行解決以生成高質量的編輯結果。目前，該論文已被機器學習頂會之一NeurIPS 2023接收。1背景作為當前炙手可熱的前沿技術之一，生成式AI被廣泛應用于各類視覺合成任務，尤其是在圖像生成和編輯領域獲得了令人贊嘆的生成效果。
對比靜態圖像，視頻擁有更豐富的動態變化和語義信息，而現有的視覺生成任務主要基于變分自編碼器（VAE）和生成對抗網絡（GAN），但通常會受限于特定場景和數據，很難提供普適的解決方案。
因此，近年來基于擴散模型（Diffusion Models）在分布式學習上表現出的卓越能力，擴散模型也開始被拓展到視頻領域，并在視頻生成與編輯領域展現出了巨大的潛力。
在研究初期，基于擴散模型的視頻生成和編輯任務利用文本-視頻數據集直接訓練文生視頻模型以達到目標。然而，由于缺少高質量的視頻數據，這類

原文鏈接：NeurIPS 2023｜有效提高視頻編輯一致性！美圖&國科大聯合提出基于文生圖模型的新方法 EI2

聯系作者

文章來源：AI科技評論
作者微信：aitechtalk
作者簡介：雷峰網旗下AI新媒體。聚焦AI前沿研究，關注AI工程落地。