SketchVideo

SketchVideo – 快手聯(lián)合多所高校推出基于草圖的視頻生成與編輯框架

SketchVideo

SketchVideo是一款由中國科學(xué)院大學(xué)、香港科技大學(xué)及快手可靈團(tuán)隊共同開發(fā)的草圖基礎(chǔ)視頻生成與編輯框架。它允許用戶在關(guān)鍵幀上繪制草圖，并結(jié)合文本提示，從而實現(xiàn)對視頻空間布局和的精細(xì)掌控。

SketchVideo是什么

SketchVideo是一個基于草圖的創(chuàng)新型視頻生成與編輯工具，旨在提升視頻創(chuàng)作的靈活性與效率。用戶可以在關(guān)鍵幀上進(jìn)行草圖描繪，并通過文本提示進(jìn)行指導(dǎo)，從而實現(xiàn)對視頻內(nèi)容的精準(zhǔn)調(diào)整。該框架依托于DiT視頻生成模型，設(shè)計了高效的草圖控制網(wǎng)絡(luò)，涵蓋草圖控制塊和幀間注意力機(jī)制，可以將稀疏的關(guān)鍵幀草圖條件有效傳播到整個視頻幀中。SketchVideo支持對真實視頻或合成視頻進(jìn)行細(xì)粒度的編輯，并利用視頻插入模塊與潛在融合技術(shù)，確保新內(nèi)容與原始視頻在空間和時間上保持一致，保留未編輯區(qū)域的細(xì)節(jié)。

SketchVideo的主要功能

視頻生成：通過草圖與文本提示生成全新視頻。
視頻編輯：在關(guān)鍵幀上繪制草圖，便于簡化視頻內(nèi)容的修改。
動態(tài)控制：支持插值和外推，增強(qiáng)視頻表現(xiàn)力。
細(xì)節(jié)保留：在編輯過程中保留未修改區(qū)域的細(xì)膩細(xì)節(jié)。
高效生成：優(yōu)化內(nèi)存使用，快速生成高質(zhì)量視頻。

SketchVideo的技術(shù)原理

草圖條件網(wǎng)絡(luò)：基于DiT（Diffusion-based Transformer）模型，特別設(shè)計的草圖條件網(wǎng)絡(luò)通過多個草圖控制塊預(yù)測跳過的DiT塊殘差特征，在多個層次的特征中注入控制信號。
幀間注意力機(jī)制：利用幀間注意力機(jī)制，將關(guān)鍵幀上的草圖條件有效傳播到所有視頻幀，計算各幀的隱藏特征與控制幀特征之間的關(guān)系，實現(xiàn)時空特征的傳播。
視頻插入模塊：在視頻編輯任務(wù)中，設(shè)計了視頻插入模塊，以分析輸入草圖與原始視頻的關(guān)系，生成與原始視頻在空間和時間上保持一致的新內(nèi)容，確保編輯后的視頻無縫銜接。
潛在融合技術(shù)：在推理過程中，基于DDIM（Denoising Diffusion Implicit Models）反演生成輸入視頻的噪聲潛在碼，替換未編輯區(qū)域的潛在碼，保持原始視頻的細(xì)節(jié)，確保編輯后的視頻視覺上自然且連貫。
混合訓(xùn)練策略：采用混合訓(xùn)練策略，結(jié)合圖像與視頻數(shù)據(jù)進(jìn)行訓(xùn)練，第一階段使用圖像和視頻數(shù)據(jù)加速收斂，以解決視頻數(shù)據(jù)不足的問題；第二階段則專注于使用視頻數(shù)據(jù)，進(jìn)一步優(yōu)化時間連貫性。