谷歌AI視頻再出王炸！全能通用視覺編碼器VideoPrism，性能刷新30項SOTA

AIGC動態歡迎閱讀

原標題：谷歌AI視頻再出王炸！全能通用視覺編碼器VideoPrism，性能刷新30項SOTA
關鍵字：視頻,模型,編碼器,文本,語義
文章來源：新智元
內容字數：5785字

內容摘要：

新智元報道編輯：桃子
【新智元導讀】谷歌團隊推出「通用視覺編碼器」VideoPrism，在3600萬高質量視頻字幕對和5.82億個視頻剪輯的數據集上完成了訓練，性能刷新30項SOTA。AI視頻模型Sora爆火之后，Meta、谷歌等大廠紛紛下場做研究，追趕OpenAI的步伐。
最近，來自谷歌團隊的研究人員提出了一種通用視頻編碼器——VideoPrism。
它能夠通過單一凍結模型，處理各種視頻理解任務。
論文地址：https://arxiv.org/pdf/2402.13217.pdf
比如，VideoPrism能夠將下面視頻中吹蠟燭的人分類、定位出來。
視頻-文本檢索，根據文本內容，可以檢索出視頻中相應的內容。
再比如，描述下面視頻——一個小女孩正在玩積木。
還可以進行QA問答。
– 她放在綠色積木塊上方積木的是什么顏色？
– 紫色。
研究人員在一個異構語料庫對VideoPrism進行了預訓練，包含3600萬高質量視頻字幕對和5.82億個視頻剪輯，并帶有噪聲并行文本（如ASR轉錄文本）。
值得一提的是，VideoPrism在33項視頻理解基準測試中，刷新了30項SOTA。
通用視覺編碼

原文鏈接：谷歌AI視頻再出王炸！全能通用視覺編碼器VideoPrism，性能刷新30項SOTA

聯系作者

文章來源：新智元
作者微信：AI_era
作者簡介：智能+中國主平臺，致力于推動中國從互聯網+邁向智能+新紀元。重點關注人工智能、機器人等前沿領域發展，關注人機融合、人工智能和機器人對人類社會與文明進化的影響，領航中國新智能時代。