Llasa TTS – 香港科技大學(xué)開源的文本轉(zhuǎn)語音模型

Llasa TTS是什么

Llasa TTS 是由香港科技大學(xué)開發(fā)的一款基于 LLaMA 架構(gòu)的開源文本轉(zhuǎn)語音（TTS）模型。該模型以高質(zhì)量的語音合成和克隆技術(shù)為特色，采用單層向量量化（VQ）編解碼器和單個 Transformer 架構(gòu)，確保與標(biāo)準(zhǔn) LLaMA 模型的完美對接。Llasa TTS 能夠生成自然流暢的語音，并支持情感表達(dá)和音色克隆等多種功能。在訓(xùn)練和推理階段，該模型表現(xiàn)出色，通過擴(kuò)展訓(xùn)練和推理所需的計(jì)算資源，顯著提升了語音的自然度、韻律的準(zhǔn)確性以及情感的表達(dá)能力。Llasa TTS 提供了多種參數(shù)規(guī)模的模型，包括 1B、3B 和 8B，能夠支持多語言的合成。

Llasa TTS的主要功能

• 高質(zhì)量語音合成：生成自然流暢的語音，支持中英文雙語，適用于多種應(yīng)用場景。
• 情感表達(dá)：注入情感信息，生成帶有快樂、憤怒、悲傷等情感色彩的語音，增強(qiáng)語音的自然度和表現(xiàn)力。
• 語音克隆：僅需少量音頻樣本（如15秒），即可克隆特定的人聲音色與情感，實(shí)現(xiàn)個性化的語音合成。
• 長文本支持：能夠處理長文本輸入，生成連貫的語音輸出，適用于有聲讀物、語音播報(bào)等場景。
• 零樣本學(xué)習(xí)：支持對未見過的說話者或情感進(jìn)行語音合成，且無需額外的微調(diào)。

Llasa TTS的技術(shù)原理

• 基于 Transformer 的架構(gòu)：使用單個 Transformer 架構(gòu)，完全與大型語言模型對齊。通過單層向量量化（VQ）編解碼器將語音波形轉(zhuǎn)化為離散語音標(biāo)記，并基于 Transformer 進(jìn)行建模。
• 語音分詞器：
  • 編碼：將語音信號分解為語義和聲學(xué)特征，分別通過預(yù)訓(xùn)練的 Wav2Vec2-BERT 和卷積模塊進(jìn)行提取。
  • 量化：采用改進(jìn)的向量量化（VQ）技術(shù)將特征編碼為離散標(biāo)記。
  • 解碼：將離散標(biāo)記轉(zhuǎn)換回高質(zhì)量的語音波形，支持語義和聲學(xué)信息的重建。
• 訓(xùn)練與推理擴(kuò)展：
  • 訓(xùn)練時間擴(kuò)展：通過增加模型規(guī)模（如 1B、3B、8B 參數(shù)）或訓(xùn)練數(shù)據(jù)量（如 250k 小時語音數(shù)據(jù)），提升語音的自然度和韻律準(zhǔn)確性。
  • 推理時間擴(kuò)展：在推理階段引入語音理解模型作為驗(yàn)證器，利用復(fù)雜的搜索策略（如束搜索、最佳候選選擇）優(yōu)化生成結(jié)果，增強(qiáng)情感表達(dá)和音色一致性。
• 自回歸生成：采用自回歸生成方式，逐個生成語音標(biāo)記，確保生成的語音在語義和韻律上與輸入文本保持一致。

Llasa TTS的項(xiàng)目地址

• GitHub倉庫：https://github.com/zhenye234/LLaSA_training
• HuggingFace模型庫：https://huggingface.co/collections/HKUSTAudio/llasa
• arXiv技術(shù)論文：https://arxiv.org/pdf/2502.04128
• 在線體驗(yàn)Demo：https://huggingface.co/spaces/srinivasbilla/llasa-3b-tts

Llasa TTS的應(yīng)用場景

• 智能語音助手：為智能設(shè)備或軟件提供自然流暢的語音交互功能，提升用戶體驗(yàn)。
• 有聲讀物與在線教育：將文字內(nèi)容轉(zhuǎn)化為生動的語音，為用戶或?qū)W生提供聽覺學(xué)習(xí)體驗(yàn)。
• 語音播報(bào)與客服：用于新聞播報(bào)、交通信息提示或客服系統(tǒng)，提供高效的信息傳遞。
• 游戲與娛樂：為游戲角色或虛擬形象賦予個性化的語音，增強(qiáng)沉浸感。
• 語音克隆與內(nèi)容創(chuàng)作：克隆特定人聲，用于廣告配音、視頻制作或個性化語音內(nèi)容創(chuàng)作。

常見問題

• Llasa TTS是否免費(fèi)？ 是的，Llasa TTS 是一個開源項(xiàng)目，用戶可以使用和修改。
• 如何使用Llasa TTS進(jìn)行語音合成？ 用戶可以通過訪問 GitHub 或 HuggingFace 的鏈接獲取模型，并根據(jù)文檔指導(dǎo)進(jìn)行使用。
• Llasa TTS支持哪些語言？ 該模型支持中英文雙語合成，且具有多語言擴(kuò)展的能力。
• 需要多少音頻樣本來進(jìn)行語音克隆？ 只需少量音頻樣本，通常約為 15 秒，即可實(shí)現(xiàn)有效的音色和情感克隆。