GTSinger是一個(gè)由浙江大學(xué)研究團(tuán)隊(duì)開(kāi)發(fā)的大型開(kāi)源高質(zhì)量歌聲數(shù)據(jù)集，旨在支持多種歌聲任務(wù)。該數(shù)據(jù)集包含80.59小時(shí)的專業(yè)錄音棚錄制的歌聲，涵蓋九種語(yǔ)言，包括漢語(yǔ)、英語(yǔ)、日語(yǔ)、韓語(yǔ)、俄語(yǔ)、西班牙語(yǔ)、法語(yǔ)、德語(yǔ)和意大利語(yǔ)，由20位專業(yè)歌手演唱，展現(xiàn)出豐富的音色和風(fēng)格多樣性。

GTSinger是什么

GTSinger是浙江大學(xué)研究團(tuán)隊(duì)推出的一款大型開(kāi)源高質(zhì)量歌聲數(shù)據(jù)集，專注于支持多元化的歌聲相關(guān)任務(wù)。該數(shù)據(jù)集包含80.59小時(shí)的專業(yè)錄音棚錄制的歌聲，覆蓋九種不同的語(yǔ)言，包括漢語(yǔ)、英語(yǔ)、日語(yǔ)、韓語(yǔ)、俄語(yǔ)、西班牙語(yǔ)、法語(yǔ)、德語(yǔ)和意大利語(yǔ)，所有錄音均由20位專業(yè)歌手演唱，呈現(xiàn)出豐富多彩的音色與風(fēng)格。GTSinger特別關(guān)注歌唱技巧的控制與建模，提供六種常用歌唱技巧的對(duì)照組和音素級(jí)標(biāo)注，并附有真實(shí)樂(lè)譜，便于實(shí)際音樂(lè)創(chuàng)作。數(shù)據(jù)集還包括人工音素對(duì)齊、全局風(fēng)格標(biāo)簽及配對(duì)朗讀數(shù)據(jù)，適應(yīng)各種歌聲任務(wù)。

GTSinger的主要功能

• 多語(yǔ)言歌聲數(shù)據(jù)集：GTSinger提供九種不同語(yǔ)言的歌聲，支持跨語(yǔ)言的歌聲合成與分析，展現(xiàn)多樣的音色和風(fēng)格。
• 歌唱技巧控制：該數(shù)據(jù)集提供六種常用歌唱技巧的對(duì)照組和音素級(jí)標(biāo)注，幫助研究者更好地建模和控制歌聲中的技巧。
• 真實(shí)樂(lè)譜支持：伴隨歌聲提供匹配的真實(shí)樂(lè)譜，為歌聲合成技術(shù)在實(shí)際音樂(lè)創(chuàng)作中的應(yīng)用提供便利。
• 多任務(wù)適配：GTSinger設(shè)計(jì)支持多種歌聲任務(wù)，包括歌聲合成、技巧識(shí)別、風(fēng)格遷移及語(yǔ)音轉(zhuǎn)歌聲等。
• 基準(zhǔn)測(cè)試：數(shù)據(jù)集提供基準(zhǔn)測(cè)試，用于評(píng)估在不同歌聲任務(wù)下的表現(xiàn)和適用性。

GTSinger的技術(shù)原理

• 高質(zhì)量音頻錄制：GTSinger的數(shù)據(jù)集在專業(yè)錄音棚中錄制，確保音頻數(shù)據(jù)的高品質(zhì)。
• 音素對(duì)齊與標(biāo)注：應(yīng)用音樂(lè)信息檢索技術(shù)（如MFA和Praat）進(jìn)行音素對(duì)齊與標(biāo)注，實(shí)現(xiàn)音素級(jí)的精確控制。
• 歌唱技巧標(biāo)注：通過(guò)專家聽(tīng)感和音頻分析技術(shù)對(duì)歌聲中的歌唱技巧進(jìn)行標(biāo)注，便于模型學(xué)習(xí)與控制。
• 樂(lè)譜生成：結(jié)合音頻信號(hào)處理技術(shù)與音樂(lè)理論，從歌聲中提取音高信息，生成MIDI形式的樂(lè)譜，并由專家調(diào)整為真實(shí)樂(lè)譜。
• 數(shù)據(jù)集構(gòu)建與驗(yàn)證：通過(guò)人工審核和后期處理，確保數(shù)據(jù)集的質(zhì)量與適用性，包括音頻片段的語(yǔ)義分割和無(wú)聲區(qū)域的處理。

GTSinger的項(xiàng)目地址

• 項(xiàng)目官網(wǎng)：gtsinger.github.io
• GitHub倉(cāng)庫(kù)：https://github.com/GTSinger/GTSinger
• HuggingFace模型庫(kù)：https://huggingface.co/datasets/GTSinger/GTSinger
• arXiv技術(shù)論文：https://arxiv.org/pdf/2409.13832

GTSinger的應(yīng)用場(chǎng)景

• 歌聲合成：基于數(shù)據(jù)集中的歌聲樣本和技巧標(biāo)注，開(kāi)發(fā)出合成特定技巧和風(fēng)格的高質(zhì)量歌聲的系統(tǒng)。
• 歌聲技巧識(shí)別：分析歌聲中的音素級(jí)技巧標(biāo)注，訓(xùn)練模型識(shí)別與分類不同的歌聲技巧。
• 歌聲風(fēng)格遷移：將一種風(fēng)格的歌聲轉(zhuǎn)換為另一種風(fēng)格，例如將流行歌曲的歌聲轉(zhuǎn)化為古典風(fēng)格。
• 語(yǔ)音轉(zhuǎn)歌聲（Speech-to-Singing,STS）：將普通語(yǔ)音轉(zhuǎn)化為旋律化的歌聲，應(yīng)用于語(yǔ)音合成和音樂(lè)創(chuàng)作。
• 音樂(lè)教育：利用數(shù)據(jù)集中的真實(shí)樂(lè)譜和歌聲樣本，開(kāi)發(fā)音樂(lè)教育工具，幫助學(xué)生學(xué)習(xí)與練習(xí)唱歌技巧。