HourVideo是斯坦福大學(xué)李飛飛及吳佳俊團(tuán)隊(duì)聯(lián)合推出的一個長視頻理解基準(zhǔn)數(shù)據(jù)集。它包含500段第一人稱視角的視頻，時長介于20分鐘到120分鐘之間，涵蓋了77種日常活動，旨在評估多模態(tài)模型在長視頻理解方面的能力。

HourVideo是什么

HourVideo是由斯坦福大學(xué)的李飛飛和吳佳俊團(tuán)隊(duì)推出的長視頻理解基準(zhǔn)數(shù)據(jù)集，包含500個第一人稱視角的視頻，時長從20分鐘到120分鐘不等，涵蓋77種日常活動。這一數(shù)據(jù)集旨在通過一系列任務(wù)（如總結(jié)、感知、視覺推理和導(dǎo)航）來測試模型對多個時間片段信息的識別與綜合能力，以推動長視頻理解技術(shù)的進(jìn)步。

HourVideo的主要功能

• 長視頻理解評測：HourVideo專注于測試模型對長達(dá)一小時視頻的視覺數(shù)據(jù)流的理解能力。
• 多任務(wù)評估套件：數(shù)據(jù)集涵蓋多種任務(wù)，如總結(jié)、感知、視覺推理和導(dǎo)航，全面考察模型在不同視頻語言理解方面的表現(xiàn)。
• 高質(zhì)量問題生成：基于人工注釋者和大型語言模型（LLMs）生成的12,976個多項(xiàng)選擇題，為測試提供標(biāo)準(zhǔn)化的題目。
• 模型性能比較：與其他多模態(tài)模型進(jìn)行比較，評估不同模型在長視頻理解任務(wù)中的表現(xiàn)。

HourVideo的技術(shù)原理

• 視頻數(shù)據(jù)集構(gòu)建：HourVideo從Ego4D數(shù)據(jù)集中挑選出500個第一人稱視角的視頻，涵蓋日常活動，視頻時長從20分鐘到120分鐘不等。
• 任務(wù)套件設(shè)計(jì)：設(shè)計(jì)包含多個子任務(wù)的任務(wù)套件，確保每個任務(wù)都要求模型對視頻內(nèi)容進(jìn)行長期依賴關(guān)系的理解和推理。
• 問題原型開發(fā)：為每個任務(wù)設(shè)計(jì)問題原型，確保回答問題時需要對視頻的多個時間片段進(jìn)行信息識別和綜合。
• 數(shù)據(jù)生成流程：基于多階段的數(shù)據(jù)生成流程，包括視頻篩選、問題生成、人工反饋優(yōu)化、盲篩選及專家優(yōu)化，確保生成高質(zhì)量的多項(xiàng)選擇題。

HourVideo的項(xiàng)目地址

• arXiv技術(shù)論文：https://arxiv.org/pdf/2411.04998v1

HourVideo的應(yīng)用場景

• 多模態(tài)人工智能研究：用于研究和開發(fā)理解長時間連續(xù)視頻內(nèi)容的多模態(tài)模型。
• 自主代理和助手系統(tǒng)：推動開發(fā)能夠理解長時間視覺信息并做出決策的自主代理和虛擬助手。
• 增強(qiáng)現(xiàn)實(shí)（AR）和虛擬現(xiàn)實(shí)（VR）：為創(chuàng)建能理解用戶行為并做出相應(yīng)的沉浸式AR/VR體驗(yàn)提供技術(shù)支持。
• 視頻內(nèi)容分析：對監(jiān)控視頻、新聞報道、教育視頻等進(jìn)行分析，提取關(guān)鍵信息和洞察。
• 機(jī)器人視覺：幫助機(jī)器人理解長時間序列的視覺信息，提升其在復(fù)雜環(huán)境中的導(dǎo)航和操作能力。

常見問題

• HourVideo的目標(biāo)是什么？ HourVideo旨在評估多模態(tài)模型在長視頻理解中的性能，推動相關(guān)技術(shù)的發(fā)展。
• HourVideo包含多少個視頻？ 數(shù)據(jù)集中包含500個第一人稱視角的視頻，時長從20分鐘到120分鐘不等。
• 該數(shù)據(jù)集適合哪些研究領(lǐng)域？ HourVideo適用于多模態(tài)人工智能研究、自主代理、AR/VR、視頻內(nèi)容分析和機(jī)器人視覺等多個領(lǐng)域。