TANGOFLUX – 英偉達聯合新加坡科技設計大學開源的文本到音頻生成模型

TANGOFLUX是什么

TANGOFLUX是一款高效的文本轉音頻生成模型，由新加坡科技設計大學（SUTD）與NVIDIA聯合開發。該模型擁有約5.15億個參數，能夠在單個A40 GPU上，在僅需3.7秒的時間內生成時長最長可達30秒的44.1kHz音頻。TANGOFLUX采用了CLAP-Ranked Preference Optimization（CRPO）框架，通過迭代生成和優化偏好數據，提升了模型在音頻對齊方面的能力。其在多項客觀和主觀基準測試中表現卓越，并已在GitHub等平臺上開源代碼和模型，便于進一步研究。

TANGOFLUX的主要功能

• 高效音頻生成：TANGOFLUX能夠迅速生成高質量音頻內容，僅需3.7秒即可產生長達30秒的44.1kHz音頻。
• 文本到音頻轉換：該模型可以直接將文本描述轉換為相應的音頻輸出，實現文本與音頻的無縫連接。
• 偏好優化：TANGOFLUX能夠根據用戶偏好和輸入文本的意圖優化音頻輸出，提高匹配度。
• 非專有數據訓練：模型基于非專有數據集進行訓練，使其更加開放和可獲取。

TANGOFLUX的技術原理

• 變分自編碼器：通過VAE將音頻波形編碼為潛在表示，并從中重構原始音頻。
• 文本和時長嵌入：模型利用文本編碼和時長編碼來控制生成音頻的內容及時長，實現音頻生成的可控性。
• FluxTransformer架構：構建于FluxTransformer模塊之上，結合了Diffusion Transformer (DiT) 和 Multimodal Diffusion Transformer (MMDiT)，以處理文本提示并生成音頻。
• 流匹配（Flow Matching， FM）：采用流匹配框架，學習從簡單的先驗分布到復雜目標分布的映射，生成樣本。
• CLAP-Ranked Preference Optimization (CRPO)：CRPO框架通過迭代生成偏好數據對，優化音頻與文本的對齊。利用CLAP模型作為代理獎勵模型，基于文本和音頻的聯合嵌入評估音頻輸出的質量，構建偏好數據集以進行優化。
• 直接偏好優化：TANGOFLUX將直接偏好優化（DPO）應用于流匹配，比較成功與失敗的音頻樣本，從而提升模型的音頻與文本描述的對齊度。

TANGOFLUX的項目地址

• 項目官網：tangoflux.github.io
• GitHub倉庫：https://github.com/declare-lab/TangoFlux
• HuggingFace模型庫：https://huggingface.co/declare-lab/TangoFlux
• arXiv技術論文：https://export.arxiv.org/pdf/2412.21037
• 在線體驗Demo：https://huggingface.co/spaces/declare-lab/TangoFlux

TANGOFLUX的應用場景

• 多媒體內容創作：在電影、游戲、廣告及視頻制作中，TANGOFLUX可用于生成背景音樂、音效和配音，顯著提升制作效率并降低成本。
• 音頻制作與設計：音樂制作人和聲音設計師可利用該模型創作新的音樂作品或設計特定音效。
• 播客與有聲書：為播客或有聲書自動生成背景音樂和音效，增強聽眾的聽覺體驗。
• 教育與培訓：在教育領域，TANGOFLUX可用于創建模擬真實場景的音頻，輔助語言學習或專業技能訓練。
• 虛擬助手與機器人：為虛擬助手和機器人提供更加自然且豐富的語音反饋，提升用戶的互動體驗。

常見問題

• Q: TANGOFLUX是否適用于所有類型的文本？
  A: 是的，TANGOFLUX能夠處理多種類的文本輸入并生成相應的音頻輸出。
• Q: 我可以在本地運行TANGOFLUX嗎？
  A: 是的，您可以通過GitHub上的開源代碼在本地環境中運行TANGOFLUX。
• Q: TANGOFLUX支持哪些語言？
  A: 目前，TANGOFLUX主要支持多種主要語言的文本生成，具體取決于訓練數據的覆蓋范圍。