VideoRefer

VideoRefer – 浙大聯合阿里達摩學院推出的視頻對象感知與推理技術

VideoRefer是由浙江大學與阿里達摩學院聯合研發的一款前沿工具，專注于視頻中對象的感知與推理。借助增強型視頻大型語言模型（Video LLMs），該系統具備出色的空間和時間理解能力，能夠對視頻中的任意對象進行細致入微的分析與推理。

VideoRefer是什么

VideoRefer是浙江大學與阿里達摩學院共同推出的創新產品，旨在提升視頻中的對象感知與推理能力。該工具基于增強型視頻大型語言模型（Video LLMs），具備卓越的空間與時間理解性能，能夠對視頻中的各類對象進行精細的感知和推斷。VideoRefer的設計依賴于三個核心組成部分：VideoRefer-700K數據集，提供豐富且高質量的對象級視頻指令數據；VideoRefer模型，配備多功能的空間-時間對象編碼器，支持單幀和多幀輸入，確保對視頻中任意對象的精準感知、推理及檢索；VideoRefer-Bench基準，旨在全面評估模型在視頻指代任務中的表現，推動細粒度視頻理解技術的進步。

VideoRefer

主要功能

細致的視頻對象理解：能夠準確理解視頻中任意對象的細節，包括空間位置、外觀特征及狀態等信息。
復雜關系分析：分析視頻中多個對象之間的復雜交互關系，如相對位置變化等，深入理解對象間的相互作用。
推理與預測：基于對視頻內容的深刻理解，進行推理和預測，例如推測對象的未來行為或狀態，以及的發展趨勢。
視頻對象檢索：根據用戶指定的對象或條件，從視頻中精準檢索相關對象或場景片段。
多模態交互：支持與用戶的多模態互動，如通過文本指令、語音提示或圖像標記等方式響應用戶需求，提供相應的視頻理解結果。

技術原理

多智能體數據引擎：通過多智能體數據引擎，多個專家模型（如視頻理解模型、分割模型等）協同工作，自動生成高質量的對象級視頻指令數據，包括詳細描述、簡短描述和多輪問答等，為模型訓練提供豐富的支持。
空間-時間對象編碼器：設計了一種多功能的空間-時間對象編碼器，包括空間標記提取器和自適應時間標記合并模塊。空間標記提取器從單幀中提取對象的精確區域特征，而時間標記合并模塊則在多幀模式下，通過計算相鄰幀對象特征的相似度進行合并，捕捉對象在時間維度上的連續性與變化。
融合與解碼：將視頻的全局場景特征、對象特征和語言指令進行融合，形成統一的輸入序列，送入預訓練的大型語言模型（LLM）進行解碼，生成對視頻內容的細粒度語義理解結果，如對象描述、關系分析和推理預測等文本信息。
全面評估基準：建立VideoRefer-Bench評估基準，包括描述生成和多項選擇問答兩個子基準，從多個維度（如主題對應、外觀描述、時間描述、幻覺檢測等）全面評估模型在視頻指代任務中的表現，確保模型在細粒度視頻理解方面的有效性與可靠性。