ToucanTTS

ToucanTTS，一套用于最先进语音合成的工具包，由斯图加特大学自然语言处理研究所（IMS）开发的超全文本转语音（Text-to-Speech, TTS）模型。ToucanTTS覆盖超过7,000种语言的大型多语言模型。

ToucanTTS不仅支持多语言，还具备多说话人语音合成功能，可以模拟不同说话人的节奏、重音和语调。

它还提供了多种应用的交互演示，包括语音设计、风格克隆、多语言语音合成和人工编辑诗歌朗读，展示了其多功能性和强大性能。

ToucanTTS功能：

多语言支持：ToucanTTS 能够合成 7,000 多种语言的语音，使其成为可用的最多语言的 TTS 模型。这种广泛的语言支持迎合了广泛的国际受众。

多说话人语音合成：ToucanTTS可能多人语音合成，用户能够模仿不同说话人的节奏、重音和语调。对于需要风格多样性和语音定制的应用程序来说，特别的有用呢。

人机交互编辑：ToucanTTS可以让用户自定义合成语音来满足特定要求，对于文学研究和诗歌阅读作业特别有用的呐。

架构：ToucanTTS 基于 FastSpeech 2 架构构建，并受到 PortaSpeech 的启发进行了改进。它包括一个基于归一化流的 PostNet 和一个经过连接主义时间分类 (CTC) 和频谱图重建训练的独立对齐器，可以实现高质量、听起来自然的语音合成 。

发音表示：ToucanTTS 的一项独特功能是使用音素的发音表示作为输入。可以通过利用多语言数据提高了低资源语言语音合成的质量和可用性。

交互式演示：ToucanTTS 为各种应用提供交互式演示，例如语音设计、风格克隆、多语言语音合成和人工编辑的诗歌朗读。这些演示展示了该工具包的多功能性和稳健性。

训练和推理：该工具包提供了有关安装依赖项、配置存储、下载预训练模型和运行训练管道的全面说明。它支持从预训练模型进行微调和从头开始训练 。

ToucanTTS特点：

多语言和多说话者支持：通过大规模的多语言预训练模型，支持涵盖超过7,000种语言的多语言语音合成。实现多说话者语音合成，并克隆节奏、重音和语调等韵律跨说话者。

人机协同编辑：允许对合成语音进行人机协同编辑，例如用于诗歌朗诵和文学研究。

交互式演示：提供大规模多语言语音合成、跨说话者风格克隆、语音设计和人工编辑的诗歌朗诵的交互式演示

架构和组件：主要基于FastSpeech 2架构，具有一些修改，例如受PortaSpeech启发的基于正规化流的PostNet。包括经CTC训练的自包含对齐器和各种应用的谱图重建。提供多语言模型、对齐器、嵌入函数、声码器和嵌入GAN的预训练模型。

易用性：完全采用Python和PyTorch构建，旨在简单且适合初学者，同时功能强大。

口腔表征：IMS Toucan系统将音素的口腔表征作为输入，使多语言数据可以惠及低资源语言。

ToucanTTS应用：

多语言应用程序的语音合成：ToucanTTS 支持 7,000 多种语言，非常有利于创建多语言应用程序，比如全球客户服务平台、教育工具和非母语人士的辅助功能 。

语音设计和定制：多扬声器语音合成功能允许创建可用于各种应用的定制语音，例如虚拟助理、有声读物和个性化营销信息。

人机交互编辑：此功能在文学研究和诗歌阅读作业中特别有用，因为在这些作业中需要精确控制语音输出以满足特定的文体要求。

如何使用ToucanTTS？

只需简单几步，即可开始使用ToucanTTS。

1、从GitHub下载

从GitHub下载代码。git clone https://github.com/2noise/ToucanTTS下载ToucanTTS

2、安装依赖项

在开始之前，请确保已安装所需的软件包。您将需要torch和ToucanTTS。如果尚未安装，可以使用pip安装：

3、导入所需库

为您的脚本导入必要的库。您将需要torch、ToucanTTS和IPython.display中的Audio。

4、初始化ToucanTTS，创建ToucanTTS类的实例并加载预训练模型。

5、准备文本，定义要转换为语音的文本。将替换为您想要的文本。

6、生成语音，使用infer方法从文本生成语音。设置use_decoder=True以启用解码器。

7、播放音频

使用IPython.display中的Audio类播放生成的音频。将采样率设置为24,000 Hz并启用自动播放。

8、完成脚本

ToucanTTS的GitHub链接：https://github.com/DigitalPhonetics/IMS-Toucan

在线演示链接：https://huggingface.co/spaces/Flux9665/MassivelyMultilingualTTS

数据集链接：https://huggingface.co/datasets/Flux9665/BibleMMS