MMBench-Video是一項創(chuàng)新的長視頻多題問答基準(zhǔn)測試，由浙江大學(xué)、上海人工智能實驗室、上海交通大學(xué)以及香港中文大學(xué)共同開發(fā)。這一基準(zhǔn)測試旨在全面評估大型視覺語言模型（LVLMs）在視頻理解方面的能力，利用包含豐富內(nèi)容和細(xì)粒度能力評估的長視頻，解決了現(xiàn)有評估標(biāo)準(zhǔn)在時序理解及復(fù)雜任務(wù)處理上的不足。MMBench-Video涵蓋約600個YouTube視頻片段，涉及16個類別，視頻長度從30秒到6分鐘不等，配以由志愿者精心編寫的高質(zhì)量問答對。基準(zhǔn)測試借助GPT-4進(jìn)行自動化評估，提升了準(zhǔn)確性，并與人類判斷保持一致。MMBench-Video的推出，為研究人員提供了一種強(qiáng)大的工具，以評估和增強(qiáng)視頻語言模型的能力。

MMBench-Video是什么

MMBench-Video是一項全新的長視頻多題問答評測基準(zhǔn)，由浙江大學(xué)、上海人工智能實驗室、上海交通大學(xué)及香港中文大合研發(fā)。該平臺能夠全面評估大型視覺語言模型（LVLMs）在視頻理解能力方面的表現(xiàn)，通過豐富的視頻內(nèi)容和細(xì)致的能力評估，彌補(bǔ)了目前基準(zhǔn)測試在時序理解及復(fù)雜任務(wù)處理上的短板。MMBench-Video包含約600個YouTube視頻片段，覆蓋16個不同類別，每個視頻時長從30秒到6分鐘不等，配備由志愿者撰寫的高質(zhì)量問答對。該基準(zhǔn)測試采用GPT-4進(jìn)行自動評估，確保結(jié)果的準(zhǔn)確性并與人類評判保持一致，為研究人員提供了有力的工具，助力視頻語言模型能力的評估與提升。

MMBench-Video的主要功能

• 視頻理解能力評估：評估大型視覺語言模型（LVLMs）在理解長視頻內(nèi)容方面的表現(xiàn)。
• 多樣化場景覆蓋：涵蓋16個主要類別的視頻內(nèi)容，涉及廣泛的主題和場景。
• 細(xì)致能力評估：通過26個細(xì)粒度的能力維度，對模型的視頻理解能力進(jìn)行深入分析。
• 高標(biāo)準(zhǔn)數(shù)據(jù)集：所有視頻片段和問答對均由志愿者精心編寫和標(biāo)注，以確保數(shù)據(jù)的高質(zhì)量。
• 自動化評估機(jī)制：利用GPT-4進(jìn)行自動評估，提高評估的效率和準(zhǔn)確性。

MMBench-Video的技術(shù)原理

• 長視頻內(nèi)容：MMBench-Video包含多個從YouTube獲取的長視頻片段，能夠更好地測試模型的時序理解能力。
• 人工標(biāo)注機(jī)制：所有問題和答案均由人類志愿者撰寫，確保高質(zhì)量并減少偏差。
• 能力分類體系：建立了三層級的視頻理解能力分類體系，包括感知和推理兩大類，以及更細(xì)分的26個能力維度。
• 時序推理挑戰(zhàn)：設(shè)計需要時序推理能力的問題，以評估模型對視頻內(nèi)容時間維度的理解。
• 自動化性能評估：語言模型（如GPT-4）自動評估模型輸出與標(biāo)準(zhǔn)答案之間的語義相似度，以評估模型性能。
• 多模型比較：支持對多種LVLMs進(jìn)行評分和比較，以識別在視頻理解任務(wù)中的優(yōu)勢和短板。

MMBench-Video的項目地址

• 項目官網(wǎng)：mmbench-video.github.io
• GitHub倉庫：https://github.com/open-compass/VLMEvalKit
• HuggingFace模型庫：https://huggingface.co/datasets/opencompass/MMBench-Video
• arXiv技術(shù)論文：https://arxiv.org/pdf/2406.14515

MMBench-Video的應(yīng)用場景

• 模型評估與比較：研究人員可利用MMBench-Video評估和比較不同LVLMs在視頻理解方面的能力，包括感知和推理技能。
• 模型優(yōu)化與訓(xùn)練：開發(fā)者可以依據(jù)MMBench-Video的評估結(jié)果，優(yōu)化模型的架構(gòu)和訓(xùn)練流程，以提升模型對視頻內(nèi)容的理解能力。
• 學(xué)術(shù)交流與發(fā)表：作為學(xué)術(shù)交流的工具，助力研究人員展示模型性能，并在學(xué)術(shù)會議或期刊上發(fā)表相關(guān)研究成果。
• 多模態(tài)學(xué)習(xí)研究：MMBench-Video提供豐富的數(shù)據(jù)集，支持多模態(tài)學(xué)習(xí)算法的研究與開發(fā)，特別是涉及視頻和文本理解的任務(wù)。
• 智能視頻分析應(yīng)用：在智能視頻監(jiān)控、內(nèi)容過濾、自動摘要和視頻推薦等領(lǐng)域，幫助開發(fā)者訓(xùn)練和測試更為精準(zhǔn)的視頻分析模型。

常見問題

• MMBench-Video的目標(biāo)是什么？：MMBench-Video旨在評估大型視覺語言模型在長視頻理解方面的能力，提供高質(zhì)量的數(shù)據(jù)集和評估工具。
• 如何參與MMBench-Video的研究？：研究人員可以訪問項目官網(wǎng)或GitHub倉庫，獲取數(shù)據(jù)集并參與評估和比較研究。
• MMBench-Video適用于哪些領(lǐng)域？：MMBench-Video廣泛適用于學(xué)術(shù)研究、模型開發(fā)、視頻分析等多個領(lǐng)域。