AudioGen-Omni – 快手推出的多模態音頻生成框架

AudioGen-Omni是快手推出的一款革新性的多模態音頻生成框架，它能夠基于視頻、文本等多源輸入，創作出高質量的音頻、語音和歌曲。該框架的核心技術包括統一的歌詞-文本編碼器和相位對齊各向異性位置注入（PAAPI），實現了精準的視聽同步和跨模態對齊。

AudioGen-Omni：音視頻創作的未來

在數字內容創作領域，音頻與視頻的完美結合至關重要。快手推出的AudioGen-Omni正是為此而生，它是一款強大的多模態音頻生成框架，能夠基于視頻、文本或兩者的結合，創造出令人驚艷的音頻、語音和歌曲。AudioGen-Omni不僅功能強大，而且操作簡便，為內容創作者帶來了前所未有的創作。

AudioGen-Omni的核心功能

• 多模態音頻創作：無論是精彩的視頻、生動的文本描述，還是兩者兼備，AudioGen-Omni都能生成與之完美契合的音頻、語音或歌曲。
• 視聽同步的藝術：利用先進的相位對齊各向異性位置注入（PAAPI）技術，確保音頻與視頻的唇音同步和節奏完美匹配，帶來沉浸式的視聽體驗。
• 語言限：支持多種語言輸入，讓您可以輕松創作出不同語言的語音和歌曲，拓展您的創作邊界。
• 極速生成：AudioGen-Omni具備超快的推理速度，僅需1.91秒即可生成8秒的音頻，極大地提升了創作效率。
• 靈活的輸入方式：即使只有視頻或文本輸入，AudioGen-Omni也能穩定地生成音頻輸出，滿足各種創作需求。
• 高品質音頻輸出：生成的音頻在語義和聲學表現上與輸入高度一致，帶來高保真的聽覺享受。

技術解析：AudioGen-Omni的幕后英雄

• 多模態擴散Transformer（MMDiT）：將視頻、音頻和文本等多種模態整合到統一的語義空間中，為各種音頻生成任務提供堅實的基礎。通過聯合訓練，模型能夠更好地理解跨模態之間的關聯。
• 歌詞-文本統一編碼器：將文字和音素轉化為幀級稠密表示，完美適配語音和歌唱任務。利用多語言統一分詞和ConvNeXt細化，生成幀對齊表示。
• 相位對齊各向異性位置注入（PAAPI）：通過選擇性地將旋轉位置編碼應用于時序模態，提升跨模態時序對齊的精度。
• 動態條件機制：通過解凍所有模態并掩碼缺失輸入，避免文本凍結范式的限制，從而支持靈活的多模態條件生成。
• 聯合注意力機制：基于AdaLN（自適應層歸一化）增強跨模態特征融合，通過聯合注意力機制促進跨模態信息交換。

探索AudioGen-Omni的世界

• 項目官網：https://ciyou2.github.io/AudioGen-Omni/
• arXiv技術論文：https://ciyou2.github.io/AudioGen-Omni/

應用場景：無限的可能

• 視頻配音：為您的視頻自動生成精準匹配的語音、歌曲或音效，讓創作更輕松，內容更精彩。
• 語音合成：將文本轉化為自然流暢的語音，應用于有聲讀物、語音助手等多個領域。
• 歌曲創作：根據視頻內容或歌詞，快速生成匹配的歌曲，激發您的音樂創作靈感。
• 音效生成：根據文本描述或視頻內容，生成逼真的環境音效、動作音效等，增強內容的沉浸感。