MM-StoryAgent – 上海交大聯合阿里開源的多智能體故事繪本視頻生成框架

MM-StoryAgent 是一款由上海交通大學X-LANCE實驗室與阿里巴巴集團聯合開發的開源多模態、多智能體框架，旨在生成富有沉浸感的有聲故事繪本視頻。該產品結合了大型語言模型（LLMs）與多種生成工具（如文本、圖像、音頻），通過多階段寫作流程和模態特定的提示修訂機制，顯著提升故事的吸引力與沉浸體驗。

MM-StoryAgent是什么

MM-StoryAgent 是由上海交通大學X-LANCE實驗室與阿里巴巴集團共同推出的開源框架，專注于生成沉浸式有聲故事繪本視頻。該系統利用大型語言模型（LLMs）與多種模態的生成工具（如文本、圖像和音頻）相結合，采用多階段的寫作流程和針對特定模態的提示修訂機制，從而提升故事的吸引力和沉浸感。框架具備靈活的模塊化設計，允許用戶替換不同的生成模型和API。MM-StoryAgent 的推出，為兒童故事書的自動創作提供了一種高效、靈活且富有表現力的解決方案，能夠在圖像、語音、音樂和音效之間實現更為優秀的對齊效果。

MM-StoryAgent的主要功能

• 高質量故事生成：通過多智能體協作和多階段的創作流程，生成引人入勝、具教育意義且富有情感共鳴的故事內容。
• 多模態內容生成：融合文本、圖像、語音、音樂及音效等多種模態，為用戶提供豐富的沉浸式體驗。
• 角色一致性：在圖像生成中，通過角色提取和提示修訂，確保故事角色在視覺上的一致性。
• 模態對齊：利用提示修訂和對比學習模型，優化文本與圖像、音頻之間的對齊效果，提升整體故事的連貫性。
• 靈活的模塊化設計：支持靈活地替換生成模塊（如不同的文本生成模型、圖像生成模型等），方便開發者根據需求進行定制和優化。

MM-StoryAgent的技術原理

• 多智能體協作架構：模擬業余作者與專家之間的對話，生成故事大綱和章節內容。這一對話過程模擬了人類的頭腦風暴，為故事提供了更多創意和吸引力。同時，針對圖像、音頻等不同模態的需求，將文本故事轉化為適合生成模型的提示內容，并通過“修訂者-審核者”的多輪協作來提升提示的質量。
• 多模態生成技術：
  • 文本生成：基于大型語言模型（LLMs）創作故事文本。
  • 圖像生成：應用擴散模型（如 StoryDiffusion）生成與故事內容相符的圖像，并通過角色提取確保角色在多幀圖像中的一致性。
  • 音頻生成：使用文本到語音（TTS）模型生成旁白，同時利用 AudioLDM2 或 MusicGen 等模型生成音效和背景音樂。
  • 視頻合成：將生成的圖像、音頻和文本內容合成，形成完整的有聲故事視頻。
• 模態對齊優化：借助對比學習模型（如 CLIP、CLAP）評估生成內容與文本之間的對齊程度，并通過提示修訂機制優化生成效果。
• 模塊化設計：框架支持靈活替換不同的生成模型和API，開發者可以根據需求選擇更先進的模型以提升生成質量。

MM-StoryAgent的項目地址

• GitHub倉庫：https://github.com/X-PLUG/MM_StoryAgent
• arXiv技術論文：https://arxiv.org/pdf/2503.05242
• 在線體驗Demo：https://huggingface.co/spaces/wsntxxn/MM-StoryAgent

MM-StoryAgent的應用場景

• 兒童教育與娛樂：生成既有趣又富有教育意義的有聲故事視頻，陪伴兒童學習與成長。
• 數字內容創作：為內容創作者快速生成多模態故事內容，降低創作成本，提高效率。
• 在線教育：通過故事形式講解知識，增強學習的趣味性。
• 多媒體出版：自動生成有聲繪本，助力出版社迅速制作多媒體內容。
• 智能設備集成：應用于智能音箱、平板等設備，提供個性化的故事生成服務。

常見問題

• MM-StoryAgent是否免費使用？：是的，MM-StoryAgent是一個開源項目，用戶可以使用和修改。
• 如何開始使用MM-StoryAgent？：用戶可以訪問GitHub倉庫，獲取相關文檔和示例代碼。
• 支持哪些模態的生成？：MM-StoryAgent支持文本、圖像、音頻等多種模態的生成。
• 可以定制生成內容嗎？：是的，框架的模塊化設計允許用戶根據需求替換生成模型，實現個性化定制。