旨在解決超長視頻中的深度估計問題

原標題：Video Depth Anything引領超長視頻深度估計最新SOTA！字節跳動開源
文章來源：智猩猩GenAI
內容字數：11928字

Video Depth Anything: 超長視頻深度估計的新方法

本文介紹了一種名為Video Depth Anything (VDA) 的新方法，用于高效地估計任意長度視頻的時間一致性深度。該方法在Depth Anything V2的基礎上進行了改進，實現了在空間和時間上都達到最先進水平的視頻深度估計，同時保持了極高的計算效率。

1. 解決的問題

現有的單目深度估計方法，例如Depth Anything，在單個圖像上表現出色，但在視頻應用中常常出現時間不一致性問題，影響了其實用性。雖然一些方法嘗試解決這個問題，但它們通常僅適用于短視頻，并且在質量和計算效率之間難以取得平衡。VDA旨在解決超長視頻的深度估計問題，克服現有方法的局限性。

2. 核心技術

VDA的核心改進在于三個方面：

1. 高效的時空頭 (STH): 用一個高效的時空頭替換Depth Anything V2的原有頭部，該時空頭基于多頭自注意力機制，能夠有效地捕捉視頻幀之間的時間關系，而無需額外的計算負擔。
2. 時間梯度匹配損失 (TGM): 設計了一種新穎的時間一致性損失函數——TGM。與依賴光流的傳統方法不同，TGM直接比較相鄰幀相同位置的深度變化，避免了光流計算的額外開銷，并更有效地保證了時間一致性。
3. 基于關鍵幀的超長視頻推理策略: 提出了一種結合關鍵幀參考和重疊幀插值的策略，用于處理超長視頻。該策略有效地減少了累積誤差，并保證了不同視頻片段之間的平滑過渡。

3. 實驗結果

VDA在多個公開數據集上進行了測試，結果表明：

1. SOTA性能: 在長視頻深度估計方面，VDA在幾何精度和時間一致性指標上都超越了現有的方法，取得了新的SOTA。
2. 高計算效率: VDA的前饋結構和輕量級的時間模塊使其具有極高的計算效率，即使是最小模型也能達到30 FPS的實時性能。
3. 零樣本泛化能力: VDA在零樣本視頻深度估計中也表現出色，證明了其強大的泛化能力。

消融實驗進一步驗證了各個組件的有效性，特別是TGM損失函數和基于關鍵幀的推理策略對提升性能的關鍵作用。

4. 結論

Video Depth Anything提供了一種簡單、高效且準確的超長視頻深度估計方法。其在SOTA性能、高計算效率和強大的泛化能力方面的優勢，使其在各種視頻應用中具有巨大的潛力。

聯系作者

文章來源：智猩猩GenAI
作者微信：
作者簡介：智猩猩旗下賬號，專注于生成式人工智能，主要分享技術文章、論文成果與產品信息。