Video Depth Anything引領(lǐng)超長視頻深度估計最新SOTA！字節(jié)跳動開源

旨在解決超長視頻中的深度估計問題

原標題：Video Depth Anything引領(lǐng)超長視頻深度估計最新SOTA！字節(jié)跳動開源
文章來源：智猩猩GenAI
內(nèi)容字數(shù)：11928字

Video Depth Anything: 超長視頻深度估計的新方法

本文介紹了一種名為Video Depth Anything (VDA) 的新方法，用于高效地估計任意長度視頻的時間一致性深度。該方法在Depth Anything V2的基礎(chǔ)上進行了改進，實現(xiàn)了在空間和時間上都達到最先進水平的視頻深度估計，同時保持了極高的計算效率。

1. 解決的問題

現(xiàn)有的單目深度估計方法，例如Depth Anything，在單個圖像上表現(xiàn)出色，但在視頻應(yīng)用中常常出現(xiàn)時間不一致性問題，影響了其實用性。雖然一些方法嘗試解決這個問題，但它們通常僅適用于短視頻，并且在質(zhì)量和計算效率之間難以取得平衡。VDA旨在解決超長視頻的深度估計問題，克服現(xiàn)有方法的局限性。

2. 核心技術(shù)

VDA的核心改進在于三個方面：

1. 高效的時空頭 (STH): 用一個高效的時空頭替換Depth Anything V2的原有頭部，該時空頭基于多頭自注意力機制，能夠有效地捕捉視頻幀之間的時間關(guān)系，而無需額外的計算負擔。
2. 時間梯度匹配損失 (TGM): 設(shè)計了一種新穎的時間一致性損失函數(shù)——TGM。與依賴光流的傳統(tǒng)方法不同，TGM直接比較相鄰幀相同位置的深度變化，避免了光流計算的額外開銷，并更有效地保證了時間一致性。
3. 基于關(guān)鍵幀的超長視頻推理策略: 提出了一種結(jié)合關(guān)鍵幀參考和重疊幀插值的策略，用于處理超長視頻。該策略有效地減少了累積誤差，并保證了不同視頻片段之間的平滑過渡。

3. 實驗結(jié)果

VDA在多個公開數(shù)據(jù)集上進行了測試，結(jié)果表明：

1. SOTA性能: 在長視頻深度估計方面，VDA在幾何精度和時間一致性指標上都超越了現(xiàn)有的方法，取得了新的SOTA。
2. 高計算效率: VDA的前饋結(jié)構(gòu)和輕量級的時間模塊使其具有極高的計算效率，即使是最小模型也能達到30 FPS的實時性能。
3. 零樣本泛化能力: VDA在零樣本視頻深度估計中也表現(xiàn)出色，證明了其強大的泛化能力。

消融實驗進一步驗證了各個組件的有效性，特別是TGM損失函數(shù)和基于關(guān)鍵幀的推理策略對提升性能的關(guān)鍵作用。

4. 結(jié)論

Video Depth Anything提供了一種簡單、高效且準確的超長視頻深度估計方法。其在SOTA性能、高計算效率和強大的泛化能力方面的優(yōu)勢，使其在各種視頻應(yīng)用中具有巨大的潛力。

聯(lián)系作者

文章來源：智猩猩GenAI
作者微信：
作者簡介：智猩猩旗下賬號，專注于生成式人工智能，主要分享技術(shù)文章、論文成果與產(chǎn)品信息。