VoxCPM：开源无分词器文本转语音系统，端到端实现高逼真语音合成

一、VoxCPM是什么

VoxCPM是一款创新型无分词器文本转语音（TTS）系统。该系统采用端到端的扩散自回归架构，能够直接从文本生成连续的语音表示，彻底摆脱了传统TTS系统中离散分词的限制，重新定义了语音合成的真实感和自然度。

作为一个开源项目，VoxCPM基于MiniCPM-4骨干网络构建，通过大规模的双语语料库训练（180万小时），实现了高质量的语音合成效果。与传统TTS系统相比，VoxCPM在语音自然度、表现力和克隆精度等方面都有显著提升，为语音合成领域带来了新的技术突破。

二、功能特色

VoxCPM具有多项核心功能特色，使其在众多TTS系统中脱颖而出：

1. 上下文感知的表现力语音生成

VoxCPM能够深入理解文本内容，并根据文本的语境和情感自动推断出合适的韵律。无论是陈述句、疑问句还是感叹句，系统都能生成符合语言习惯的语音。同时，它能根据文本内容自发调整说话风格，使合成的语音更具表现力和感染力。

这一功能得益于模型在大规模语料库上的训练，使其能够学习到不同语境下的语音特征和变化规律。

2. 逼真的零样本语音克隆

仅需一段短暂的参考音频片段（通常几秒到几十秒），VoxCPM就能精确克隆说话人的多种特征，包括音色、口音、情感语调、节奏等。这种零样本语音克隆能力无需大量的目标说话人数据，大大降低了语音克隆的门槛。

克隆出的语音不仅在音色上与参考音频高度相似，还能保留原说话人的语言习惯和情感表达，达到了极高的逼真度。

3. 高效合成能力

VoxCPM支持流式合成，能够在生成语音的同时进行输出，减少了用户的等待时间。在硬件性能方面，该系统表现出色，在消费级NVIDIA RTX 4090 GPU上的实时因子（RTF）可低至0.17，意味着生成10秒的语音仅需要1.7秒的时间，非常适合实时应用场景。

4. 双语支持

VoxCPM主要支持中文和英文两种语言的语音合成，能够满足双语场景下的使用需求。无论是纯中文文本、纯英文文本还是中英混合文本，都能生成流畅自然的语音。

5. 多样化的使用方式

该项目提供了多种使用方式，包括Python API调用、命令行工具和Web演示界面，方便不同用户根据自己的需求选择合适的使用方法。

三、技术细节

VoxCPM的出色表现源于其先进的技术架构和创新的设计理念，以下是一些关键的技术细节：

1. 整体架构

VoxCPM基于MiniCPM-4骨干网络构建，采用了分层语言建模和FSQ（Fully Quantized Softmax）约束相结合的方式，实现了隐式的语义-声学解耦。这种架构设计使得模型能够更好地捕捉文本的语义信息和语音的声学特征，从而提升了语音合成的质量和稳定性。

2. 无分词器设计

传统的TTS系统通常需要将文本分割成离散的单元（如音素、音节等），然后再生成对应的语音。而VoxCPM采用了无分词器的设计，直接从原始文本生成连续的语音表示。这种方法避免了分词过程中可能出现的误差和信息损失，使得合成的语音更加自然流畅。

3. 扩散自回归模型

VoxCPM采用了扩散自回归架构，结合了扩散模型和自回归模型的优点。扩散模型能够生成高质量的连续数据，而自回归模型则能够捕捉序列数据中的依赖关系。通过这种组合，VoxCPM能够生成具有高度连贯性和自然度的语音。

4. 训练数据

模型的训练基于180万小时的双语（中文和英文）语料库，这些数据涵盖了不同的说话人、语速、语调、情感等多种语音特征。大规模、多样化的训练数据为模型的良好性能提供了坚实的基础。

5. 语音克隆技术

VoxCPM的语音克隆技术基于参考音频中的语音特征提取和迁移。通过分析参考音频的频谱特征、基频、时长等信息，模型能够学习到说话人的独特语音特征，并将这些特征应用到新的文本合成中，实现逼真的语音克隆效果。

四、应用场景

VoxCPM凭借其强大的功能和出色的性能，在多个领域都有广泛的应用前景：

五、使用方法

VoxCPM提供了多种使用方式，满足不同用户的需求：

1. 安装

可以通过PyPI直接安装VoxCPM：

pip install voxcpm

2. Python API使用

通过Python API可以灵活地调用VoxCPM的功能，进行语音合成和语音克隆等操作。

基本语音合成

import soundfile as sf
from voxcpm import VoxCPM

# 加载模型
model = VoxCPM.from_pretrained("openbmb/VoxCPM-0.5B")

# 生成语音
wav = model.generate(
  text="VoxCPM is an innovative end-to-end TTS model from ModelBest.",
  prompt_wav_path=None, # 不使用语音克隆
  prompt_text=None    # 不使用参考文本
)

# 保存生成的语音
sf.write("output.wav", wav, 16000)

语音克隆

import soundfile as sf
from voxcpm import VoxCPM

# 加载模型
model = VoxCPM.from_pretrained("openbmb/VoxCPM-0.5B")

# 基于参考音频进行语音克隆
wav = model.generate(
  text="这是一个语音克隆的示例。",
  prompt_wav_path="reference.wav", # 参考音频路径
  prompt_text="这是参考音频对应的文本"    # 参考文本
)

# 保存克隆后的语音
sf.write("cloned_output.wav", wav, 16000)

3. 命令行使用

VoxCPM提供了命令行工具，方便用户快速进行语音合成操作。

直接合成

voxcpm --text "Hello world" --output out.wav

语音克隆

voxcpm --text "Hello" --prompt-audio reference.wav --prompt-text "参考文本" --output clone.wav

批量处理

可以通过命令行进行批量的语音合成：

voxcpm --input-file texts.txt --output-dir output_folder

其中，texts.txt文件中每一行是一个需要合成的文本，生成的语音文件将保存在output_folder目录下。

4. Web演示

VoxCPM还提供了Web演示界面，方便用户直观地体验其功能。运行以下命令启动Web演示：

python app.py

然后在浏览器中访问相应的地址（通常是http://localhost:7860），即可使用Web界面进行语音合成和语音克隆等操作。

六、常见问题解答

1. VoxCPM支持哪些语言？

VoxCPM主要支持中文和英文两种语言，其他语言的合成性能不保证。

2. 语音克隆需要多长的参考音频？

通常情况下，几秒钟到几十秒钟的参考音频就可以实现较好的语音克隆效果。参考音频的质量越高（如无噪音、清晰），克隆效果越好。

3. VoxCPM在什么硬件上可以运行？

VoxCPM可以在CPU和GPU上运行，但GPU能提供更好的性能。在消费级NVIDIA RTX 4090 GPU上，实时因子可低至0.17，适合实时应用场景。

4. 如何提高合成语音的质量？

可以通过以下方式提高合成语音的质量：

• 确保输入文本的准确性和规范性；

• 对于语音克隆，提供高质量、清晰的参考音频；

• 根据需要调整相关参数，如语速、语调等（如果支持）。

5. VoxCPM的许可证是什么？

VoxCPM模型权重和代码采用Apache-2.0许可证开源，允许商业使用，但需要遵守许可证的相关规定。

6. 语音克隆功能有什么使用限制？

语音克隆功能存在被滥用的潜在风险，如用于伪造他人语音进行诈骗等。因此，用户需要负责任地使用该功能，遵守相关法律法规和道德规范。

7. 目前版本的VoxCPM有什么局限性？

目前版本的VoxCPM对特定语音属性（如情感或说话风格）的直接控制有限，无法像人类一样根据复杂的情感需求精确调整语音。

8. 如何获取VoxCPM的更新信息？

可以关注项目的GitHub仓库、官方网站或相关社交媒体账号，及时获取VoxCPM的更新信息、新功能发布等内容。

七、相关链接

• 项目GitHub仓库：https://github.com/OpenBMB/VoxCPM

• 在线演示：https://huggingface.co/spaces/OpenBMB/VoxCPM-Demo

• 模型下载：https://huggingface.co/openbmb/VoxCPM-0.5B

八、总结

VoxCPM作为一款创新的无分词器文本转语音系统，通过端到端扩散自回归架构实现了高逼真的语音合成，具备上下文感知的表现力语音生成、逼真的零样本语音克隆、高效合成等多项优秀功能，支持多种使用方式，在智能助手、有声内容制作、教育培训等多个领域都有广泛应用前景，其开源特性也为语音合成技术的发展和应用提供了有力支持。