ACE-Step – ACE Studio聯(lián)合階躍星辰開源的音樂生成基礎(chǔ)模型

ACE-Step 是由 ACE Studio 和 StepFun 聯(lián)合開發(fā)的一個開源音樂生成基礎(chǔ)模型，旨在通過其創(chuàng)新的架構(gòu)設(shè)計，實現(xiàn)高效、連貫且可控的音樂創(chuàng)作。這一模型結(jié)合了擴散模型、深度壓縮自編碼器（DCAE）和輕量級線性變換器，使得生成高質(zhì)量音樂的速度比傳統(tǒng)的大型語言模型快 15 倍。ACE-Step 支持多樣化的音樂風格、語言及可控性功能，為音樂創(chuàng)作者提供了強大的工具，適合快速生成音樂，并可作為多種音樂創(chuàng)作子任務(wù)的基礎(chǔ)模型，助力音樂人、制作人及內(nèi)容創(chuàng)作者實現(xiàn)高效創(chuàng)作。

什么是ACE-Step

ACE-Step是一個由ACE Studio與StepFun聯(lián)合推出的開源音樂生成基礎(chǔ)模型。憑借創(chuàng)新的架構(gòu)設(shè)計，ACE-Step實現(xiàn)了高效、連貫且可控的音樂創(chuàng)作。它結(jié)合了擴散模型、深度壓縮自編碼器（DCAE）和輕量級線性變換器，能夠在短時間內(nèi)生成高質(zhì)量音樂作品，速度比傳統(tǒng)的LLM（大型語言模型）快15倍。ACE-Step支持多種音樂風格和語言的生成，提供強大的音樂創(chuàng)作工具，適合快速生成音樂，并在多種音樂創(chuàng)作子任務(wù)中發(fā)揮基礎(chǔ)模型的作用，幫助音樂創(chuàng)作者和制作人高效完成創(chuàng)作。

ACE-Step的主要功能

• 快速合成：在極短的時間內(nèi)生成高質(zhì)量音樂，例如，在A100 GPU上僅需20秒即可生成4分鐘的音樂。
• 多樣化風格：支持多種流行音樂風格（如流行、搖滾、電子、爵士等）及多種語言的歌詞生成。
• 變體生成：可調(diào)整噪聲比例，生成不同的音樂變體，提供多樣化的選擇。
• 重繪功能：能夠?qū)μ囟ú糠诌M行重新生成，修改風格、歌詞或人聲，同時保留其他元素。
• 歌詞編輯：允許對生成的音樂進行局部歌詞修改，而不影響旋律和伴奏。
• 多語言支持：支持19種語言，其中英語、中文、俄語、西班牙語、日語等10種語言表現(xiàn)尤為突出。
• Lyric2Vocal：基于LoRA微調(diào)，從歌詞中直接生聲音頻。
• Text2Samples：生成音樂樣本和循環(huán)，幫助制作人快速創(chuàng)建樂器循環(huán)和音效。

ACE-Step的技術(shù)原理

• 擴散模型（Diffusion Model）：通過逐步去除噪聲來生成數(shù)據(jù)，ACE-Step在傳統(tǒng)擴散模型在長結(jié)構(gòu)連貫性上的不足方面進行了創(chuàng)新性設(shè)計，以快速合成音樂。
• 深度壓縮自編碼器：DCAE用于高效的數(shù)據(jù)壓縮和解壓，保留音樂的細致音頻特征，降低計算資源的消耗。
• 輕量級線性變換器：處理音樂序列信息，確保生成的音樂在旋律、和聲和節(jié)奏上具備連貫性。
• 語義對齊：通過MERT（Music Embedding Representation）和m-hubert技術(shù)，ACE-Step在訓練中對齊語義表示（REPA），實現(xiàn)快速收斂和高質(zhì)量生成效果。
• 訓練優(yōu)化：基于語義對齊和優(yōu)化技術(shù)，ACE-Step能夠在短時間內(nèi)生成高質(zhì)量音樂，保持生成速度與連貫性之間的平衡。

ACE-Step的官方網(wǎng)站

• 項目官網(wǎng)：https://ace-step.github.io/
• GitHub倉庫：https://github.com/ace-step/ACE-Step
• HuggingFace模型庫：https://huggingface.co/ACE-Step/ACE-Step-v1-3.5B
• 在線體驗Demo：https://huggingface.co/spaces/ACE-Step/ACE-Step

ACE-Step的應用場景

• 音樂創(chuàng)作：快速生成旋律和歌詞，激發(fā)創(chuàng)作靈感。
• 人聲生成：從歌詞直接生聲音頻，適合制作人聲演示。
• 音樂制作：生成樂器循環(huán)和音效，提供豐富的創(chuàng)作素材。
• 多語言支持：適合跨語言的音樂創(chuàng)作。
• 音樂教育：作為教學工具，幫助學習者掌握音樂創(chuàng)作技能。

常見問題

• ACE-Step支持哪些音樂風格？：ACE-Step支持多種主流音樂風格，包括流行、搖滾、電子、爵士等。
• 生成音樂的速度有多快？：在A100 GPU上，ACE-Step能夠在20秒內(nèi)生成4分鐘的音樂。
• ACE-Step是否支持多語言歌詞生成？：是的，ACE-Step支持19種語言的歌詞生成。
• 可以對生成的音樂進行修改嗎？：可以，ACE-Step提供了重繪和歌詞編輯功能，允許對特定部分進行修改。