Generative Omnimatte 是一種由 Google DeepMind 等機構(gòu)開發(fā)的先進視頻編輯技術(shù)，能夠?qū)⒁曨l智能化地分解為多個透明背景的 RGBA 圖層。每個圖層都對應(yīng)一個物體及其相關(guān)效果（如陰影和反射），而無需依賴綠幕或深度信息。這種技術(shù)可以實現(xiàn)物體與背景的精確分離，甚至能夠處理被遮擋的部分，極大提升了視頻編輯的靈活性和創(chuàng)意空間。

Generative Omnimatte是什么

Generative Omnimatte 是一項前沿的視頻編輯工具，旨在將視頻內(nèi)容分解為多個透明背景的 RGBA 圖層。每個圖層代表一個物體及其相關(guān)效果，如陰影和反射。該技術(shù)無需綠幕或深度信息，即可實現(xiàn)物體與背景的清晰分離，甚至對被遮擋的部分進行處理。其核心是名為“Casper”的視頻擴散模型，能夠精準擦除視頻中的物體及其陰影，同時保留背景的完整性。用戶可以輕松實現(xiàn)各種創(chuàng)意效果，包括瞬移、改變速度，甚至時間倒流。

Generative Omnimatte的主要功能

• 視頻分層：將視頻內(nèi)容拆分為多個 RGBA 層，每個層都包含一個完全可見的對象及其相關(guān)效果，如陰影和反射。
• 視頻編輯：支持用戶進行廣泛的視頻編輯操作，包括移除對象和效果、替換背景等。
• 動態(tài)背景處理：能夠有效處理動態(tài)背景，避免前景對象與背景元素的交疊。
• 多對象場景處理：有效處理包含多個對象的場景，包括相似對象的隔離和效果關(guān)聯(lián)。
• 用戶指定的 Trimask：允許用戶使用指定的 Trimask 精確控制視頻編輯過程中保留和移除的區(qū)域。

Generative Omnimatte的技術(shù)原理

• 對象效應(yīng)移除模型 Casper：通過輸入視頻和二進制對象掩碼，Casper 模型能夠生成干凈的背景和一系列單一對象（solo）視頻，應(yīng)用不同的 Trimask 條件。
• Trimask 條件：Trimask 指定保留（白色）、移除（黑色）和可能包含不確定對象效應(yīng)（灰色）的區(qū)域，有助于精準處理多對象場景。
• 測試時優(yōu)化：在后續(xù)階段，通過測試時優(yōu)化，從 solo 視頻和背景視頻對中重建 Omnimatte 層。
• 訓練數(shù)據(jù)：通過多個數(shù)據(jù)集（Omnimatte、Tripod、Kubric 和 Object-Paste）訓練模型，提供真實視頻因果關(guān)系的示例，增強模型處理多對象場景的能力。
• 自注意力分析：基于 Lumiere 模型的自注意力模式分析，研究文本到視頻（T2V）模型對對象效應(yīng)關(guān)聯(lián)的內(nèi)在理解，從而訓練出有效的對象效應(yīng)移除模型。

Generative Omnimatte的項目地址

• 項目官網(wǎng)：https://gen-omnimatte.github.io/
• arXiv技術(shù)論文：https://arxiv.org/pdf/2411.16683

Generative Omnimatte的應(yīng)用場景

• 電影和視頻制作：在電影制作中，去除不必要的背景元素或替換背景，以實現(xiàn)特效場景的無縫合成。
• 視頻編輯和后期制作：視頻編輯者可以分離視頻中的對象和背景，實現(xiàn)顏色校正、特效添加等創(chuàng)意編輯。
• 廣告制作：在廣告中，替換產(chǎn)品背景或移除拍攝中的干擾元素，以突出產(chǎn)品。
• 虛擬現(xiàn)實和增強現(xiàn)實：在 VR 和 AR 應(yīng)用中，將現(xiàn)實視頻內(nèi)容與虛擬元素結(jié)合，提供更具沉浸感的體驗。
• 游戲開發(fā)：在游戲制作中，創(chuàng)建復(fù)雜的游戲環(huán)境，將現(xiàn)實世界的元素與虛擬游戲世界無縫融合。

常見問題

• Generative Omnimatte的使用難度大嗎？：Generative Omnimatte 設(shè)計為用戶友好，提供直觀的界面，適合各種水平的用戶。
• 需要哪些硬件要求？：為了獲得最佳性能，建議使用高性能的圖形處理單元（GPU）和充足的內(nèi)存。
• 支持哪些視頻格式？：Generative Omnimatte 支持多種常見視頻格式，具體細節(jié)可參考項目官網(wǎng)。
• 是否可以用于實時視頻處理？：目前主要針對預(yù)先錄制的視頻，實時處理功能正在研發(fā)中。