ToucanTTS

ToucanTTS官網(wǎng)

一套用于最先進語音合成的工具包，ToucanTTS覆蓋超過7，000種語言的大型多語言模型。

網(wǎng)站提供：Ai工具箱，AI語音工具，ToucanTTS，TTS，ToucanTTS。

ToucanTTS簡介

ToucanTTS is a voice generation model on GitHub at DigitalPhonetics/IMS-Toucan，Toucan TTS is a toolkit developed by the Institute for Natural Language Processing (IMS) at the University of Stuttgart， Germany， for teaching， training， and using state-of-the-art speech synthesis models. It is built entirely in Python and PyTorch， aiming to be simple， beginner-friendly， yet powerful.

ToucanTTS，一套用于最先進語音合成的工具包，由斯圖加特大學自然語言處理研究所（IMS）開發(fā)的超全文本轉語音（Text-to-Speech， TTS）模型。ToucanTTS覆蓋超過7，000種語言的大型多語言模型。

ToucanTTS不僅支持多語言，還具備多說話人語音合成功能，可以模擬不同說話人的節(jié)奏、重音和語調。

它還提供了多種應用的交互演示，包括語音設計、風格克隆、多語言語音合成和人工編輯詩歌朗讀，展示了其多功能性和強大性能。

ToucanTTS功能：

多語言支持：ToucanTTS 能夠合成 7，000 多種語言的語音，使其成為可用的最多語言的 TTS 模型。這種廣泛的語言支持迎合了廣泛的國際受眾。

多說話人語音合成：ToucanTTS可能多人語音合成，用戶能夠模仿不同說話人的節(jié)奏、重音和語調。對于需要風格多樣性和語音定制的應用程序來說，特別的有用呢。

人機交互編輯：ToucanTTS可以讓用戶自定義合成語音來滿足特定要求，對于文學研究和詩歌閱讀作業(yè)特別有用的吶。

架構：ToucanTTS 基于 FastSpeech 2 架構構建，并受到 PortaSpeech 的啟發(fā)進行了改進。它包括一個基于歸一化流的 PostNet 和一個經(jīng)過連接主義時間分類 (CTC) 和頻譜圖重建訓練的對齊器，可以實現(xiàn)高質量、聽起來自然的語音合成 。

發(fā)音表示：ToucanTTS 的一項獨特功能是使用音素的發(fā)音表示作為輸入?？梢酝ㄟ^利用多語言數(shù)據(jù)提高了低資源語言語音合成的質量和可用性。

交互式演示：ToucanTTS 為各種應用提供交互式演示，例如語音設計、風格克隆、多語言語音合成和人工編輯的詩歌朗讀。這些演示展示了該工具包的多功能性和穩(wěn)健性。

訓練和推理：該工具包提供了有關安裝依賴項、配置存儲、下載預訓練模型和運行訓練管道的全面說明。它支持從預訓練模型進行微調和從頭開始訓練 。

ToucanTTS特點

多語言和多說話者支持：通過大規(guī)模的多語言預訓練模型，支持涵蓋超過7，000種語言的多語言語音合成。實現(xiàn)多說話者語音合成，并克隆節(jié)奏、重音和語調等韻律跨說話者。

人機協(xié)同編輯：允許對合成語音進行人機協(xié)同編輯，例如用于詩歌朗誦和文學研究。

交互式演示：提供大規(guī)模多語言語音合成、跨說話者風格克隆、語音設計和人工編輯的詩歌朗誦的交互式演示

架構和組件：主要基于FastSpeech 2架構，具有一些修改，例如受PortaSpeech啟發(fā)的基于正規(guī)化流的PostNet。包括經(jīng)CTC訓練的自包含對齊器和各種應用的譜圖重建。提供多語言模型、對齊器、嵌入函數(shù)、聲碼器和嵌入GAN的預訓練模型。

易用性：完全采用Python和PyTorch構建，旨在簡單且適合初學者，同時功能強大。

口腔表征：IMS Toucan系統(tǒng)將音素的口腔表征作為輸入，使多語言數(shù)據(jù)可以惠及低資源語言。

ToucanTTS應用：

多語言應用程序的語音合成：ToucanTTS 支持 7，000 多種語言，非常有利于創(chuàng)建多語言應用程序，比如全球客戶服務平臺、教育工具和非母語人士的輔助功能 。

語音設計和定制：多揚聲器語音合成功能允許創(chuàng)建可用于各種應用的定制語音，例如虛擬助理、有聲讀物和個性化營銷信息。

人機交互編輯：此功能在文學研究和詩歌閱讀作業(yè)中特別有用，因為在這些作業(yè)中需要精確控制語音輸出以滿足特定的文體要求。

如何使用ToucanTTS？

只需簡單幾步，即可開始使用ToucanTTS。

1、從GitHub下載

從GitHub下載代碼。git clone https://github.com/2noise/ToucanTTS下載ToucanTTS

2、安裝依賴項

在開始之前，請確保已安裝所需的軟件包。您將需要torch和ToucanTTS。如果尚未安裝，可以使用pip安裝：

3、導入所需庫

為您的腳本導入必要的庫。您將需要torch、ToucanTTS和IPython.display中的Audio。

4、初始化ToucanTTS，創(chuàng)建ToucanTTS類的實例并加載預訓練模型。

5、準備文本，定義要轉換為語音的文本。將<YOUR TEXT HERE>替換為您想要的文本。

6、生成語音，使用infer方法從文本生成語音。設置use_decoder=True以啟用解碼器。

7、播放音頻

使用IPython.display中的Audio類播放生成的音頻。將采樣率設置為24，000 Hz并啟用自動播放。

8、完成腳本

ToucanTTS的GitHub鏈接：https://github.com/DigitalPhonetics/IMS-Toucan

在線演示鏈接：https://huggingface.co/spaces/Flux9665/MassivelyMultilingualTTS

數(shù)據(jù)集鏈接：https://huggingface.co/datasets/Flux9665/BibleMMS

ToucanTTS官網(wǎng)入口網(wǎng)址

https://toucantts.com/zh

OpenI小編發(fā)現(xiàn)ToucanTTS網(wǎng)站非常受用戶歡迎，請訪問ToucanTTS網(wǎng)址入口試用。