GEN3C – NVIDIA 聯(lián)合多倫多大學(xué)等推出的生成式視頻模型

GEN3C是什么

GEN3C是由NVIDIA、多倫多大學(xué)和向量研究所共同開發(fā)的一款先進(jìn)的生成式視頻模型，旨在通過精確控制相機(jī)和保持時空一致性來創(chuàng)造高質(zhì)量的3D視頻內(nèi)容。該模型利用基于點(diǎn)云的3D緩存技術(shù)，引入輸入圖像或視頻幀的深度估計，通過反投影生成3D場景。在用戶所提供的相機(jī)軌跡的基礎(chǔ)上，GEN3C能夠渲染出對應(yīng)的2D視頻，成為生成模型的重要條件輸入。其核心優(yōu)勢在于能夠精確控制相機(jī)的，避免了傳統(tǒng)方法中因缺乏明確3D建模而導(dǎo)致的不一致性問題。GEN3C同時支持單視角和多視角的視頻生成，適應(yīng)于靜態(tài)和動態(tài)場景，并在稀疏視圖的新型視圖合成任務(wù)中取得了領(lǐng)先的成果。此外，GEN3C還支持3D編輯和復(fù)雜的相機(jī)（比如推拉鏡頭），為視頻創(chuàng)作和模擬提供了強(qiáng)大的工具。

GEN3C的主要功能

• 精確的相機(jī)控制：根據(jù)用戶輸入的相機(jī)軌跡生成視頻，支持復(fù)雜的相機(jī)（如推拉、旋轉(zhuǎn)等），確保視頻的時空一致性。
• 3D一致性視頻生成：能夠生成外觀真實且一致的視頻，避免物體的突然出現(xiàn)或消失等問題。
• 多視角和稀疏視角的新型視圖合成：支持從單一視角、稀疏多視角到密集多視角的輸入生成高質(zhì)量視頻。
• 3D編輯和場景操作：用戶可對3D點(diǎn)云進(jìn)行修改（如添加或刪除物體），并生成相應(yīng)的視頻。
• 長視頻生成：支持生成長視頻，并保持時空的一致性。

GEN3C的技術(shù)原理

• 構(gòu)建3D緩存：通過輸入圖像或視頻幀的深度估計進(jìn)行反投影，生成3D點(diǎn)云，形成時空一致的3D緩存。這一緩存為視頻生成提供了基礎(chǔ)的3D結(jié)構(gòu)。
• 渲染3D緩存：依據(jù)用戶提供的相機(jī)軌跡，將3D緩存渲染為2D視頻。
• 視頻生成：使用預(yù)訓(xùn)練的視頻擴(kuò)散模型（例如Stable Video Diffusion或Cosmos），將渲染的3D緩存作為條件輸入，生成高質(zhì)量的視頻。該模型優(yōu)化了擴(kuò)散過程中的去噪目標(biāo)，以修復(fù)渲染中的缺陷并填補(bǔ)缺失信息。
• 多視角融合：在處理多個視角輸入時，GEN3C采用最大池化的融合策略，將不同視角的信息整合到視頻生成模型中，以生成一致的視頻。
• 自回歸生成和緩存更新：在生成長視頻時，GEN3C將視頻劃分為多個重疊的部分，逐塊生成，并更新3D緩存以保持視頻的時空一致性。

GEN3C的項目地址

• 項目官網(wǎng)：https://research.nvidia.com/labs/toronto-ai/GEN3C/
• GitHub倉庫：https://github.com/nv-tlabs/GEN3C
• arXiv技術(shù)論文：https://arxiv.org/pdf/2503.03751

GEN3C的應(yīng)用場景

• 單視角視頻生成：能夠從一張靜態(tài)圖片生成動態(tài)視頻，適合快速內(nèi)容創(chuàng)作。
• 新型視圖合成：從少量視角生成新視角視頻，廣泛應(yīng)用于VR/AR和3D重建。
• 駕駛模擬：生成不同視角的駕駛場景視頻，有助于自動駕駛的訓(xùn)練。
• 動態(tài)視頻重渲染：為已有的視頻生成新視角，適合視頻編輯與二次創(chuàng)作。
• 3D場景編輯：用戶可在修改場景內(nèi)容后生成新視頻，助力影視制作與游戲開發(fā)。