VideoPainter

VideoPainter – 港中文聯合騰訊等機構推出的視頻修復和編輯框架

VideoPainter 是一個由香港中文大學、騰訊 ARC Lab、東京大學和澳門大學等機構共同開發的視頻修復與編輯框架，旨在處理任意長度的視頻內容。其獨特之處在于采用雙分支架構，結合輕量級的上下文編碼器與預訓練的擴散模型，實現高效的背景保留和前景生成。此外，VideoPainter 引入了 ID 重采樣技術，確保在長視頻中保持對象的一致性，并構建了 VPData 和 VPBench 數據集，為大規模訓練和評估提供支持。

VideoPainter是什么

VideoPainter 是一款專為視頻修復和編輯而設計的框架，能夠處理從短片段到長視頻的各種視頻內容。該框架的雙分支架構結合了輕量級上下文編碼器和預訓練的擴散模型，有效地保留背景并生成高質量的前景。用戶可以根據個人需求靈活調整修復效果，支持插件式操作。同時，VideoPainter 構建了目前最大的視頻修復數據集 VPData 和 VPBench，包含超過39萬段視頻剪輯，為模型的訓練和評估提供了堅實的基礎。VideoPainter 在視頻質量、掩碼區域保留和文本對齊等多個方面展現了卓越的性能，為視頻修復和編輯領域帶來了新的突破。

VideoPainter

VideoPainter的主要功能

靈活的視頻修復：能夠處理不同長度的視頻，修復被遮擋或損壞的部分。
背景與前景的高效生成：基于雙分支架構，確保背景的準確保留和前景的優質生成。
文本驅動的編輯功能：支持通過文本指令進行視頻編輯，如添加、刪除或替換視頻中的元素。
對象一致性維護：在長視頻中確保對象的身份持續一致，避免出現漂移或突變現象。
插件化控制選項：與不同的擴散模型或 LoRA（低秩適配）模型結合，滿足多樣化的視頻生成和編輯需求。

VideoPainter的技術原理

雙分支架構：
- 背景分支：通過輕量級上下文編碼器提取背景特征，并將其注入到預訓練的擴散模型中，以確保背景的連貫性。
- 前景分支：利用擴散模型的生成能力，根據文本提示生成前景內容，并與背景特征相結合，實現高質量修復。
輕量級上下文編碼器：這個編碼器結構簡單，僅包含兩層，占用主模型參數的6%，有效提取背景特征并以分組方式注入擴散模型中，避免前景與背景信息混淆。
ID重采樣技術：在訓練期間增強目標區域的 ID 信息，以提高模型對修復區域的感知能力。在推理階段，將前一視頻片段的修復區域特征與當前片段結合，確保長視頻中對象的一致性。
插件式控制：支持與不同的擴散模型或 LoRA 模型結合，用戶可以根據需求選擇合適的模型進行視頻修復或編輯，兼容文本到視頻（T2V）和圖像到視頻（I2V）擴散模型，進一步拓展應用范圍。
大規模數據集構建：借助先進的視覺模型（如 SAM2、Grounding DINO 等），自動生成精確的分割掩碼和詳細的文本描述，構建VPData和VPBench，提供超過39萬段視頻剪輯，為大規模訓練和評估奠定基礎。