NotaGen – 音樂學院聯合北航、清華等推出的音樂生成模型

NotaGen 是一個由音樂學院、北京航空航天大學和清華大學等多家機構共同開發的音樂生成模型。該模型靈感來源于大型語言模型（LLM）的訓練方法，旨在生成高質量的古典樂譜。NotaGen 采用預訓練、微調和強化學習相結合的方式，其預訓練階段使用了超過160萬首樂曲，而微調階段則基于大約9000首優質古典作品，通過“時期-作曲家-樂器”的提示進行條件生成。通過引入 CLaMP-DPO 方法，NotaGen 在強化學習階段對生成的音樂進行優化，無需人工標注，顯著提升了音樂的藝術性和可控性。

NotaGen是什么

NotaGen 是一個創新的音樂生成模型，由音樂學院、北京航空航天大學和清華大學等高等院校研發，專注于高質量古典樂譜的自動生成。模型通過模仿大型語言模型的訓練方式，結合預訓練、微調和強化學習的策略，使得生成的音樂作品不僅風格多樣且質量上乘。NotaGen 在預訓練階段吸收了超過160萬首樂曲的知識，隨后在約9000首高質量古典作品上進行微調，以確保模型能夠生成符合特定音樂風格的樂譜。此外，通過強化學習的技術，NotaGen 在生成音樂的過程中能夠自我優化，大幅提升作品的音樂性和表現力。

NotaGen的主要功能

• 生成高質量古典樂譜：用戶可以根據所選的時期（如巴洛克、古典、浪漫）、作曲家（如、莫扎特、肖邦）和樂器（如鍵盤、弦樂四重奏、管弦樂）生成符合特定風格的樂譜。
• 提升音樂性：通過綜合預訓練、微調和強化學習，NotaGen 能夠生成旋律優美、和聲流暢、結構嚴謹的音樂作品。
• 可控性生成：用戶可以通過“時期-作曲家-樂器”等條件提示，靈活控制生成音樂的風格和特色。
• 支持多種模型規模：提供多種參數規模的模型（如 NotaGen-small、NotaGen-medium 和 NotaGen-large），以適應不同硬件配置和應用需求。

NotaGen的技術原理

• 預訓練：基于超過160萬首樂曲進行預訓練，涵蓋多種風格和樂器，模型學習音樂的基本結構和模式，類似于語言模型中的“語言理解”階段。使用符號音樂表示（如 ABC 符號）進行編碼，并通過預測下一個符號進行訓練。
• 微調：在約9000首高質量古典作品上進行微調，優化模型以符合特定風格（如巴洛克、古典、浪漫）和作曲家，增強其生成特定風格音樂的能力。
• 強化學習：采用 CLaMP-DPO（Contrastive Language-Music Pretraining with Direct Preference Optimization）方法，通過對比學習模型 CLaMP2 提供反饋，優化生成音樂的質量和一致性，避免了傳統的人工標注或預定義獎勵。生成的音樂樣本根據評分被分為“選擇”和“拒絕”兩類，利用 DPO 算法優化模型，提升生成音樂的音樂性和可控性。
• 符號音樂表示：采用 ABC 符號表示樂譜，簡化編碼和生成過程，支持多聲部音樂的生成。通過去除全休止符、添加小節索引等方法優化數據，提高生成效率和質量。
• 模型架構：基于層次化的 Transformer 解碼器，包括 patch-level decoder 和 character-level decoder，分別處理音樂片段和符號生成。結合 CLaMP2 提供的多模態反饋，優化生成音樂的全局特征（如風格、和聲、結構）。

NotaGen的項目地址

• 項目官網：https://electricalexis.github.io/notagen
• GitHub倉庫：https://github.com/ElectricAlexis/NotaGen
• HuggingFace模型庫：https://huggingface.co/ElectricAlexis/NotaGen
• arXiv技術論文：https://arxiv.org/pdf/2502.18008

NotaGen的應用場景

• 音樂創作輔助：為作曲家提供靈感，快速生成符合特定風格的樂譜草稿，節省創作時間。
• 音樂教育：幫助學生理解不同音樂時期的風格特點，生成教學用樂譜。
• 音樂制作：為影視、游戲等快速生成背景音樂或配樂，提升制作效率。
• 音樂表演：生成高質量樂譜，供樂團、合唱團等排練或演出使用。
• 音樂娛樂：提供互動式演示，讓用戶實時生成音樂，體驗創作的樂趣。

常見問題

• NotaGen是否支持多種音樂風格？ 是的，NotaGen 可以根據用戶輸入的時期和作曲家生成多種風格的音樂。
• 我可以使用NotaGen生成自定義樂譜嗎？ 是的，用戶可以通過條件提示來定制生成的樂譜。
• NotaGen的生成速度如何？ 生成速度取決于所選的模型規模和硬件配置，但總體上能夠快速生成高質量的樂譜。
• 如何獲取NotaGen？ 您可以通過項目官網、GitHub倉庫和HuggingFace模型庫獲取 NotaGen。