NeurIPS 2023｜有效提高視頻編輯一致性，美圖&國科大提出基于文生圖模型新方法EI2

AIGC動態歡迎閱讀

原標題：NeurIPS 2023｜有效提高視頻編輯一致性，美圖&國科大提出基于文生圖模型新方法EI2

關鍵字：時序,模塊,模型,語義,視頻

文章來源：機器之心

內容字數：6217字

內容摘要：

機器之心專欄
機器之心編輯部美圖影像研究院（MT Lab）與中國科學院大學突破性地提出了基于文生圖模型的視頻生成新方法 EI2，用于提高視頻編輯過程中的語義和內容兩方面的一致性。該論文從理論角度分析和論證視頻編輯過程現的不一致的問題，主要由引入的時序信息學習模塊使特征空間出現協變量偏移造成，并針對性地設計了新的網絡模塊進行解決以生成高質量的編輯結果。目前，該論文已被機器學習頂會之一 NeurIPS 2023 接收。
背景
作為當前炙手可熱的前沿技術之一，生成式 AI 被廣泛應用于各類視覺合成任務，尤其是在圖像生成和編輯領域獲得了令人贊嘆的生成效果。對比靜態圖像，視頻擁有更豐富的動態變化和語義信息，而現有的視覺生成任務主要基于變分自編碼器（VAE）和生成對抗網絡（GAN），但通常會受限于特定場景和數據，很難提供普適的解決方案。因此，近年來基于擴散模型（Diffusion Models）在分布式學習上表現出的卓越能力，擴散模型也開始被拓展到視頻領域，并在視頻生成與編輯領域展現出了巨大的潛力。
在研究初期，基于擴散模型的視頻生成和編輯任務利用文本 – 視頻數據集直接訓練文生視頻模型以達到

原文鏈接：點此閱讀原文：NeurIPS 2023｜有效提高視頻編輯一致性，美圖&國科大提出基于文生圖模型新方法EI2

聯系作者

文章來源：機器之心

作者微信：almosthuman2014

作者簡介：專業的人工智能媒體和產業服務平臺