解鎖方言+音樂合成新玩法

原標題：在線教程丨石磯娘娘秒變「川渝妹子」？Step-Audio-TTS實現(xiàn)語音克隆/音樂合成/語音合成三合一
文章來源：HyperAI超神經(jīng)
內容字數(shù)：4370字

Step-Audio-TTS-3B 模型：方言語音生成新突破

本文介紹了HyperAI超神經(jīng)官網(wǎng)上線的Step-Audio-TTS-3B產品級方言語音生成模型教程，該模型由階躍星辰與吉利汽車集團聯(lián)合開源，能夠實現(xiàn)語音合成、音樂合成和語音克隆三大功能，并在方言語音生成領域取得了顯著突破。

1. 模型突破與功能亮點

以往，方言語音克隆模型因方言數(shù)據(jù)多樣性和模型泛化能力要求高而表現(xiàn)欠佳。Step-Audio-TTS-3B模型基于LLM-Chat范式大規(guī)模合成數(shù)據(jù)集訓練，能夠精準捕捉不同方言的韻律和語氣，例如四川話和粵語。該模型還首創(chuàng)性地實現(xiàn)了RAP和哼唱的語音生成，填補了音樂類語音合成的空白。

2. 教程內容與使用方法

HyperAI超神經(jīng)官網(wǎng)提供了詳細的教程，涵蓋語音合成、音樂合成和語音克隆三個功能。用戶可在OpenBayes平臺上在線運行教程，需進行實名認證后才能訪問API地址。教程步驟包括：登錄HyperAI超神經(jīng)官網(wǎng)，選擇教程，克隆至個人容器，選擇資源配置（推薦NVIDIA RTX A6000和PyTorch鏡像），等待資源分配，最后跳轉至Demo頁面進行操作。

3. 功能詳解

3.1 普通語音合成：支持多種語言（中文、英文、日語等）、方言（四川話、粵語等）、情感（高興、生氣、悲傷、撒嬌）和語速設置。預設了Tingting和哪吒兩種音色，分別由4秒和14秒的音頻prompt文件生成。

3.2 音樂合成：支持RAP和哼唱兩種模式，同樣預設了Tingting和哪吒兩種音色，并提供了相應的prompt文件示例。RAP音色由11秒和14秒的音頻prompt文件生成，哼唱音色由12秒和14秒的音頻prompt文件生成。

3.3 語音克隆：支持用戶上傳自定義.wav格式音頻，生成個性化語音。用戶可設置情感、語種/方言和語速。

4. 贈書活動

HyperAI超神經(jīng)聯(lián)合人民郵電出版社推出贈書活動，送出5本《人工智能簡史》。參與方式：關注HyperAI超神經(jīng)公眾號，并在后臺回復“人工智能簡史”，即可參與抽獎。

5. 總結

Step-Audio-TTS-3B模型及其教程的上線，為用戶提供了強大的方言語音生成工具，并拓展了語音合成的應用場景。其在音樂合成方面的創(chuàng)新，更是為音樂創(chuàng)作提供了新的可能性。

聯(lián)系作者

文章來源：HyperAI超神經(jīng)
作者微信：
作者簡介：解構技術先進性與普適性，報道更前沿的 AIforScience 案例