AI也會「刷抖音」！清華領銜發布短視頻全模態理解新模型 | ICML 2024

AIGC動態歡迎閱讀

原標題：AI也會「刷抖音」！清華領銜發布短視頻全模態理解新模型 | ICML 2024
關鍵字：視頻,語音,模型,解讀,音頻
文章來源：新智元
內容字數：0字

內容摘要：

新智元報道編輯：LRST 好困
【新智元導讀】音視頻大語言模型在處理視頻內容時，往往未能充分發揮語音的作用。video-SALMONN模型通過三部分創新：音視頻編碼和時間對齊、多分辨率因果Q-Former、多樣性損失函數和混合未配對音視頻數據訓練。該模型不僅在單一模態任務上表現優異，更在視聽聯合任務中展現了卓越的性能，證明了其全面性和準確性。想要看懂短視頻，除了視覺內容外，語音和音頻等聽覺信息，如視頻音樂、音效、語音內容等，也對短視頻的理解起到關鍵作用。
音視頻大語言模型（av-LLMs）在近幾年取得了顯著進展，但語音作為視頻中人類語言的主要載體，仍未在這些模型中得到充分探索。語音不僅提供了豐富的語言和語義信息，還有助于理解視頻中的情感和潛在意義。
與此同時，語音信號還包含豐富的副語言信息，如音調和音高，以及多樣的說話者屬性（如年齡、性別、口音和身份），這些都是視頻理解中不可或缺的要素。
然而，增強通用視聽大語言模型的語音能力極具挑戰性，這需要時間上精細的建模，并在粗略（如視頻主題）和精細（如唇部動作）時間尺度上與其他模態進行復雜的交互。
近期，發表在ICML 2024的論文《vid

原文鏈接：AI也會「刷抖音」！清華領銜發布短視頻全模態理解新模型 | ICML 2024