突破不可解釋性！視頻異常新檢測框架精度90.67%拿下SOTA｜華科&百度&密歇根大學

AIGC動態歡迎閱讀

原標題：突破不可解釋性！視頻異常新檢測框架精度90.67%拿下SOTA｜華科&百度&密歇根大學
關鍵字：視頻,方法,,數據,團隊
文章來源：量子位
內容字數：0字

內容摘要：

HolmesVAD團隊投稿量子位 | 公眾號 QbitAI大模型當上福爾摩斯，學會對視頻異常進行檢測了。
來自華中科技大學、百度、密歇根大學的研究團隊，提出了一種可解釋性的視頻異常檢測框架，名為Holmes-VAD。
Holmes-VAD不僅能給出精確的視頻異常定位，還能夠對檢測到的異常提供解釋和分析。
比如，給它看一段監控視頻，詢問它視頻中是否有任何異常跡象，它立馬就能識別出：
有異常，一輛白色面包車正在路上行駛，突然一輛摩托車出現并撞上了面包車，造成了一起嚴重的事故。
場景也不在話下：
視頻顯示在沙漠地區發生了一次大規模，導致大量煙塵飄到空中。這是異常的，因為在自然環境中，如此突然和強烈的能量釋放是一種意料之外且不尋常的。
像是打籃球互相追逐競爭這樣嬸兒的具有迷惑性的視頻，它也能正確識別并作出解釋：
視頻中展示的是一場典型的籃球比賽，球員們在一個維護良好的球場上比賽。這是一個常見且熟悉的體育賽事場景，沒有任何不尋常或可疑的活動。
Holmes-VAD基于視頻多模態大模型微調，并利用精確的時序監督和豐富的多模態指令來實現準確的異常定位和全面的解釋，在監控視頻安全分析、視

原文鏈接：突破不可解釋性！視頻異常新檢測框架精度90.67%拿下SOTA｜華科&百度&密歇根大學