StoryTeller：全自動長視頻描述生成系統提升內容創作效率與質量

StoryTeller是什么

StoryTeller是由字節跳動、上海交通大學與北京大合研發的一種創新系統，旨在通過音頻視覺角色識別技術提升長視頻的描述質量與一致性。該系統巧妙地結合了基礎視覺概念與復雜劇情信息，能夠生成詳盡且連貫的視頻敘述。StoryTeller主要由三個模塊構成：視頻分割、音頻視覺角色識別和描述生成，能夠有效處理時長數分鐘的視頻。在MovieQA任務中，StoryTeller的準確率超過了現有模型，較最強基線Gemini-1.5-pro提升了9.5%。

StoryTeller的主要功能

• 視頻分割：將較長的視頻切分為多個短片段，確保每個片段且完整。
• 音頻視覺角色識別：通過整合音頻和視覺信息，識別視頻中對話所對應的角色。
• 描述生成：為每個視頻片段創建詳盡的描述，并整合成連貫的整體敘述。
• 數據集構建：構建并運用MovieStory101數據集，為長視頻描述提供訓練和測試的數據基礎。
• 自動評估：基于MovieQA，通過GPT-4自動評價視頻描述的準確性與質量。
• 模型訓練與微調：對多模態大型語言模型進行訓練，提升角色識別和視頻描述的準確性。
• 全局解碼：確保在不同視頻片段中，同一角色保持一致的識別結果。

StoryTeller的技術原理

• 多模態融合：融合視覺（視頻幀）、音頻（對話）和文本（字幕及描述）信息，全面理解視頻內容。
• 音頻分離與角色ID分配：通過音頻嵌入模型對每個對話進行嵌入，利用聚類算法分配全局ID，將相似的音頻嵌入標記為同一角色。
• 音頻視覺角色識別模型：結合大型語言模型（如Tarsier-7B）與OpenAI的Whisper-large-v2音頻編碼器，將每個音頻ID映射到特定角色。
• 全局解碼算法：在推理過程中，確保不同片段中同一角色的全局ID映射到一致的角色名稱，從而提高角色識別的準確性。
• 視頻描述生成：利用識別結果作為輸入，基于大型語言模型為每個片段生成詳細描述，并整合成完整的視頻敘述。

StoryTeller的項目地址

• GitHub倉庫：https://github.com/hyc2026/StoryTeller
• arXiv技術論文：https://arxiv.org/pdf/2411.07076

StoryTeller的應用場景

• 電影與視頻內容制作：自動生成電影預告片或片段描述，幫助導演和編劇迅速把握視頻內容，輔助視頻編輯人員快速定位關鍵片段。
• 視頻內容分析：在視頻分析領域，提取視頻內容的核心信息，如角色、情節和動作，進行深度分析。
• 輔助視障人士：為視障人士提供視頻內容的音頻描述，幫助他們更好地理解視頻情節。
• 教育與培訓：在教育領域，為學生提供視頻教材的詳細描述，增強學習體驗；在職業培訓中，生成視頻教程的詳細步驟描述，提高培訓效率。
• 視頻搜索與索引：提升視頻搜索的準確性，基于視頻描述快速檢索相關片段。

常見問題

• StoryTeller支持哪些視頻格式？：StoryTeller能夠處理多種常見的視頻格式，具體支持的格式請參考官方網站的文檔。
• 如何使用StoryTeller生成視頻描述？：用戶只需將視頻上傳至系統，StoryTeller將自動進行處理并生成描述。
• 是否需要專業知識才能使用StoryTeller？：StoryTeller的設計旨在友好易用，用戶無需具備專業技術背景即可操作。