HourVideo是斯坦福大學(xué)李飛飛及吳佳俊團(tuán)隊(duì)聯(lián)合推出的一個(gè)長(zhǎng)視頻理解基準(zhǔn)數(shù)據(jù)集。它包含500段第一人稱視角的視頻，時(shí)長(zhǎng)介于20分鐘到120分鐘之間，涵蓋了77種日常活動(dòng)，旨在評(píng)估多模態(tài)模型在長(zhǎng)視頻理解方面的能力。

HourVideo是什么

HourVideo是由斯坦福大學(xué)的李飛飛和吳佳俊團(tuán)隊(duì)推出的長(zhǎng)視頻理解基準(zhǔn)數(shù)據(jù)集，包含500個(gè)第一人稱視角的視頻，時(shí)長(zhǎng)從20分鐘到120分鐘不等，涵蓋77種日常活動(dòng)。這一數(shù)據(jù)集旨在通過(guò)一系列任務(wù)（如總結(jié)、感知、視覺(jué)推理和導(dǎo)航）來(lái)測(cè)試模型對(duì)多個(gè)時(shí)間片段信息的識(shí)別與綜合能力，以推動(dòng)長(zhǎng)視頻理解技術(shù)的進(jìn)步。

HourVideo的主要功能

• 長(zhǎng)視頻理解評(píng)測(cè)：HourVideo專注于測(cè)試模型對(duì)長(zhǎng)達(dá)一小時(shí)視頻的視覺(jué)數(shù)據(jù)流的理解能力。
• 多任務(wù)評(píng)估套件：數(shù)據(jù)集涵蓋多種任務(wù)，如總結(jié)、感知、視覺(jué)推理和導(dǎo)航，全面考察模型在不同視頻語(yǔ)言理解方面的表現(xiàn)。
• 高質(zhì)量問(wèn)題生成：基于人工注釋者和大型語(yǔ)言模型（LLMs）生成的12,976個(gè)多項(xiàng)選擇題，為測(cè)試提供標(biāo)準(zhǔn)化的題目。
• 模型性能比較：與其他多模態(tài)模型進(jìn)行比較，評(píng)估不同模型在長(zhǎng)視頻理解任務(wù)中的表現(xiàn)。

HourVideo的技術(shù)原理

• 視頻數(shù)據(jù)集構(gòu)建：HourVideo從Ego4D數(shù)據(jù)集中挑選出500個(gè)第一人稱視角的視頻，涵蓋日常活動(dòng)，視頻時(shí)長(zhǎng)從20分鐘到120分鐘不等。
• 任務(wù)套件設(shè)計(jì)：設(shè)計(jì)包含多個(gè)子任務(wù)的任務(wù)套件，確保每個(gè)任務(wù)都要求模型對(duì)視頻內(nèi)容進(jìn)行長(zhǎng)期依賴關(guān)系的理解和推理。
• 問(wèn)題原型開(kāi)發(fā)：為每個(gè)任務(wù)設(shè)計(jì)問(wèn)題原型，確保回答問(wèn)題時(shí)需要對(duì)視頻的多個(gè)時(shí)間片段進(jìn)行信息識(shí)別和綜合。
• 數(shù)據(jù)生成流程：基于多階段的數(shù)據(jù)生成流程，包括視頻篩選、問(wèn)題生成、人工反饋優(yōu)化、盲篩選及專家優(yōu)化，確保生成高質(zhì)量的多項(xiàng)選擇題。

HourVideo的項(xiàng)目地址

• arXiv技術(shù)論文：https://arxiv.org/pdf/2411.04998v1

HourVideo的應(yīng)用場(chǎng)景

• 多模態(tài)人工智能研究：用于研究和開(kāi)發(fā)理解長(zhǎng)時(shí)間連續(xù)視頻內(nèi)容的多模態(tài)模型。
• 自主代理和助手系統(tǒng)：推動(dòng)開(kāi)發(fā)能夠理解長(zhǎng)時(shí)間視覺(jué)信息并做出決策的自主代理和虛擬助手。
• 增強(qiáng)現(xiàn)實(shí)（AR）和虛擬現(xiàn)實(shí)（VR）：為創(chuàng)建能理解用戶行為并做出相應(yīng)的沉浸式AR/VR體驗(yàn)提供技術(shù)支持。
• 視頻內(nèi)容分析：對(duì)監(jiān)控視頻、新聞報(bào)道、教育視頻等進(jìn)行分析，提取關(guān)鍵信息和洞察。
• 機(jī)器人視覺(jué)：幫助機(jī)器人理解長(zhǎng)時(shí)間序列的視覺(jué)信息，提升其在復(fù)雜環(huán)境中的導(dǎo)航和操作能力。

常見(jiàn)問(wèn)題

• HourVideo的目標(biāo)是什么？ HourVideo旨在評(píng)估多模態(tài)模型在長(zhǎng)視頻理解中的性能，推動(dòng)相關(guān)技術(shù)的發(fā)展。
• HourVideo包含多少個(gè)視頻？ 數(shù)據(jù)集中包含500個(gè)第一人稱視角的視頻，時(shí)長(zhǎng)從20分鐘到120分鐘不等。
• 該數(shù)據(jù)集適合哪些研究領(lǐng)域？ HourVideo適用于多模態(tài)人工智能研究、自主代理、AR/VR、視頻內(nèi)容分析和機(jī)器人視覺(jué)等多個(gè)領(lǐng)域。