NotaGen

NotaGen – 音樂學院聯合北航、清華等推出的音樂生成模型

NotaGen 是一個由音樂學院、北京航空航天大學和清華大學等多家機構共同開發的音樂生成模型。該模型靈感來源于大型語言模型（LLM）的訓練方法，旨在生成高質量的古典樂譜。NotaGen 采用預訓練、微調和強化學習相結合的方式，其預訓練階段使用了超過160萬首樂曲，而微調階段則基于大約9000首優質古典作品，通過“時期-作曲家-樂器”的提示進行條件生成。通過引入 CLaMP-DPO 方法，NotaGen 在強化學習階段對生成的音樂進行優化，無需人工標注，顯著提升了音樂的藝術性和可控性。

NotaGen是什么

NotaGen 是一個創新的音樂生成模型，由音樂學院、北京航空航天大學和清華大學等高等院校研發，專注于高質量古典樂譜的自動生成。模型通過模仿大型語言模型的訓練方式，結合預訓練、微調和強化學習的策略，使得生成的音樂作品不僅風格多樣且質量上乘。NotaGen 在預訓練階段吸收了超過160萬首樂曲的知識，隨后在約9000首高質量古典作品上進行微調，以確保模型能夠生成符合特定音樂風格的樂譜。此外，通過強化學習的技術，NotaGen 在生成音樂的過程中能夠自我優化，大幅提升作品的音樂性和表現力。

NotaGen

NotaGen的主要功能

生成高質量古典樂譜：用戶可以根據所選的時期（如巴洛克、古典、浪漫）、作曲家（如、莫扎特、肖邦）和樂器（如鍵盤、弦樂四重奏、管弦樂）生成符合特定風格的樂譜。
提升音樂性：通過綜合預訓練、微調和強化學習，NotaGen 能夠生成旋律優美、和聲流暢、結構嚴謹的音樂作品。
可控性生成：用戶可以通過“時期-作曲家-樂器”等條件提示，靈活控制生成音樂的風格和特色。
支持多種模型規模：提供多種參數規模的模型（如 NotaGen-small、NotaGen-medium 和 NotaGen-large），以適應不同硬件配置和應用需求。

NotaGen的技術原理

預訓練：基于超過160萬首樂曲進行預訓練，涵蓋多種風格和樂器，模型學習音樂的基本結構和模式，類似于語言模型中的“語言理解”階段。使用符號音樂表示（如 ABC 符號）進行編碼，并通過預測下一個符號進行訓練。
微調：在約9000首高質量古典作品上進行微調，優化模型以符合特定風格（如巴洛克、古典、浪漫）和作曲家，增強其生成特定風格音樂的能力。
強化學習：采用 CLaMP-DPO（Contrastive Language-Music Pretraining with Direct Preference Optimization）方法，通過對比學習模型 CLaMP2 提供反饋，優化生成音樂的質量和一致性，避免了傳統的人工標注或預定義獎勵。生成的音樂樣本根據評分被分為“選擇”和“拒絕”兩類，利用 DPO 算法優化模型，提升生成音樂的音樂性和可控性。
符號音樂表示：采用 ABC 符號表示樂譜，簡化編碼和生成過程，支持多聲部音樂的生成。通過去除全休止符、添加小節索引等方法優化數據，提高生成效率和質量。
模型架構：基于層次化的 Transformer 解碼器，包括 patch-level decoder 和 character-level decoder，分別處理音樂片段和符號生成。結合 CLaMP2 提供的多模態反饋，優化生成音樂的全局特征（如風格、和聲、結構）。