ICLR 2024 Spotlight｜廈門大學、Intel、大疆聯合出品，從網絡視頻中學習零樣本圖像匹配大模型

AIGC動態1年前 (2024)發布機器之心

AIGC動態歡迎閱讀

原標題：ICLR 2024 Spotlight｜廈門大學、Intel、大疆聯合出品，從網絡視頻中學習零樣本圖像匹配大模型
關鍵字：模型,視頻,性能,圖像,數據
文章來源：機器之心
內容字數：5706字

內容摘要：

機器之心專欄
機器之心編輯部圖像匹配是計算機視覺的一項基礎任務，其目標在于估計兩張圖像之間的像素對應關系。圖像匹配是眾多視覺應用如三維重建、視覺定位和神經渲染(neural rendering)等的基礎和前置步驟，其精確度和效率對于后續處理十分重要。
傳統算法（SIFT）在面臨長基線或極端天氣等復雜場景時，其匹配的準確度和密度往往有限。為了解決這些問題，近年來，基于深度學習的匹配模型逐漸流行。然而，由于缺乏大規模且多樣化的具有真值標簽的訓練數據，目前的匹配模型通常是在 ScanNet 和 MegaDepth 上分別訓練室內和室外兩個模型。這種針對特定場景的訓練限制了模型對 zero-shot 場景的泛化，無法擴展至未知場景中。此外，現有的數據構建方法往往依賴于 RGBD 掃描或 SfM+MVS 進行重建，其效率和適用性有限，無法有效地擴展數據并用于模型訓練。
為了解決基于深度學習方法泛化性的問題，來自廈門大學、Intel、大疆的研究者們提出了 GIM: Learning Generalizable Image Matcher from Internet Videos。GIM 是第一個可

原文鏈接：ICLR 2024 Spotlight｜廈門大學、Intel、大疆聯合出品，從網絡視頻中學習零樣本圖像匹配大模型