| language: | |
| - zh | |
| - en | |
| tags: | |
| - speech-synthesis | |
| - speech-to-speech | |
| - voice-conversion | |
| - pytorch | |
| - audio | |
| - chinese-tts | |
| - multi-speaker | |
| - convolution | |
| - encoder-decoder | |
| - aishell | |
| - vctk | |
| license: apache-2.0 | |
| datasets: | |
| - aishell | |
| - thchs30 | |
| - primewords | |
| - vctk | |
| library_name: pytorch | |
| # Convbased | |
| Convbased是一个高性能的中文语音合成模型，基于卷积神经网络和编码器-解码器架构设计。该模型在多个中文数据集上进行训练，支持多说话人和多方言的语音合成。 | |
| - 更快的训练收敛速度 | |
| - 更稳定的训练过程 | |
| - 更好的语音质量输出 | |
| - 支持多种中文方言（普通话、粤语、闽南语、四川话、温州话等） | |
| - 多说话人语音合成能力 | |
| ## 模型信息 | |
| ### 训练规模 | |
| - **说话人数量**: 476个不同说话人 | |
| - **训练时长**: 35天连续训练 | |
| - **模型类型**: 编码器 + 解码器架构 | |
| - **总训练数据**: 约467小时高质量语音数据 | |
| ### 模型架构 | |
| - **编码器**: 基于卷积的文本编码器 | |
| - **解码器**: 声学特征解码器 | |
| - **判别器**: 对抗训练判别器 | |
| - **损失函数**: 组合损失（Mel频谱损失 + KL散度损失 + 特征匹配损失） | |
| ## 训练曲线 | |
| 模型训练过程中的各项损失函数变化： | |
|  | |
| *判别器总损失* | |
|  | |
| *生成器特征匹配损失* | |
|  | |
| *KL散度损失* | |
|  | |
| *Mel频谱损失* | |
|  | |
| *生成器总损失* | |
| ## 训练数据集 | |
| 本模型使用以下高质量中文语音数据集进行训练： | |
| | 数据集名称 | 时长（小时） | 描述 | | |
| |-------------------|-------------|------| | |
| | data_aishell | 178 | 中文普通话语音识别数据集 | | |
| | data_thchs30 | 30 | 清华大学中文语音数据集 | | |
| | primewords_md_2018| 178 | 中文语音合成数据集 | | |
| | VCTK | 44 | 英文多说话人数据集 | | |
| | 四川方言 | 4 | 四川话方言数据 | | |
| | 闽南语 | 3 | 闽南话方言数据 | | |
| | 粤语 | 3 | 粤语方言数据 | | |
| | 温州方言 | 7 | 温州话方言数据 | | |
| | 噪声 | 20 | 噪声环境语音数据 | | |
| *本模型致力于推进中文语音合成技术的发展，该底模已用于微调大部分模型于 [Convbased](https://weights.chat/)* |