OmniVoice：小米开源的646种语言零样本文本转语音（TTS）系统

一、OmniVoice是什么

OmniVoice是由k2-fsa（小米AI实验室旗下语音团队）于2026年4月开源的多语言零样本文本转语音（TTS）项目，核心定位是全域多语种、零样本克隆、极速高质量的开源TTS解决方案。

项目以"Omnilingual（全语种）"为核心目标，突破传统TTS模型语言覆盖少、级联架构误差大、推理速度慢的痛点，采用单阶段离散非自回归扩散语言模型架构，直接实现文本到多码本声学Token的端到端映射，无需中间语义表征层。

• 开发团队：k2-fsa（小米下一代Kaldi团队，语音领域顶尖开源社区）

• 核心定位：全球覆盖最广的开源零样本多语言TTS系统

• 模型规模：0.8B参数

• 训练数据：58.1万小时、覆盖646种语言的开源多语言语音数据

• 开源协议：Apache-2.0（商业友好，可自由使用、修改、分发）

二、功能特色

1. 超广语言覆盖：646种语言全域支持

• 支持646种语言，含主流语种（中、英、日、韩、西、法等）、低资源语种（非洲、南美本土语言）及濒危语言

• 完整语言列表见仓库docs/languages.md，覆盖全球99%以上人口使用语言

• 零样本适配新语言，无需针对单一语言重新训练

2. 零样本语音克隆：3秒复刻任意音色

• 仅需3-10秒参考音频，即可1:1克隆说话人音色、语调、语气

• 克隆后支持跨语言生成（如用中文音色生成英文、泰语语音）

• 支持无参考语音定制：通过自然语言描述（性别、年龄、音调、口音、耳语等）直接"捏"出专属声音

3. 极速推理效率：比实时快40倍

• 实时因子（RTF）低至0.025，单卡GPU可实现40倍实时合成速度

• 长文本生成无延迟，1万字文本秒级生成语音

• 单阶段架构+离散扩散设计，彻底告别传统TTS级联延迟

4. 高质量生成效果：SOTA级音质与可懂度

• 中文词错误率（WER）低至**0.84%**，英文WER低至1.57%，超越主流商业TTS模型

• 语音自然度、相似度（SIM-o）、情感表现力达业界顶尖水平

• 支持非语言符号：[laughter]（笑）、[sigh]（叹气）、[breath]（呼吸）等拟声标记

• 支持精细发音控制：通过拼音、音素修正发音，适配方言、生僻字、多语言混合场景

5. 灵活可控与易用性

• 提供Web UI、CLI、Python API三种使用方式，适配不同场景

• 支持批量生成、流式生成、长文本分段合成

• 模型轻量化，单卡RTX 3090/4090即可流畅运行，支持Apple Silicon加速

• 兼容Hugging Face生态，一键加载预训练模型

三、技术细节

1. 核心架构：单阶段离散非自回归扩散模型

传统TTS采用两阶段级联架构（文本→语义Token→声学Token），存在误差传播、信息瓶颈、多语言适配差三大痛点。

OmniVoice首创单阶段离散非自回归（NAR）扩散语言模型：

• 直接映射：文本→多码本声学Token，彻底消除语义中间层，无误差累积

• 双向Transformer骨干：采用Qwen3-0.6B预训练LLM权重初始化，继承强语言先验，解决单阶段模型可懂度低难题

• 多码本设计：4组独立声学码本，精准捕捉音色、韵律、语调、语速等细节

• 掩码扩散训练：全码本随机掩码+交叉熵损失，高效学习文本-声学映射关系

2. 关键技术创新

（1）LLM权重初始化（核心突破）

• 首次将预训练AR-LLM（Qwen3-0.6B）权重迁移至双向NAR-TTS骨干

• 实验验证：LLM初始化相比随机初始化，LibriSpeech-P WER从2.79%降至1.57%，中文SEED-ZH CER从1.11%降至0.89%

• 因果掩码→双向注意力无缝迁移，语言知识完美复用

（2）离散扩散与多码本并行

• 离散Token扩散替代连续信号扩散，推理速度提升10倍+

• 4组码本并行预测，同时建模频谱、基频、能量、韵律，音质更细腻

• 非自回归生成：一次性输出全部Token，无自回归累积延迟

（3）大规模多语言训练策略

• 58.1万小时多语言数据，646种语言均衡采样，避免语种偏科

• 统一文本-声学映射框架，无语言特定模块，支持动态扩展新语言

• 多语言联合优化，实现跨语言知识迁移，低资源语言效果大幅提升

3. 模型与性能参数

四、应用场景

1. 全球化内容创作

• 多语言有声书：用作者音色生成全球600+语言版本，覆盖小众语种读者

• 跨境视频配音：一键生成多语言字幕语音，适配YouTube、TikTok全球化分发

• 多语种播客：克隆主播声音，批量生成小语种节目，拓展全球听众

2. 商业与跨境服务

• 全球化智能客服：AI客服用本地语言+真人音色服务，覆盖全球市场

• 跨境电商语音导购：多语种商品介绍、订单播报，提升海外用户体验

• 多语言智能助手：手机、车载、智能家居助手，支持全球用户母语交互

3. 教育培训与语言学习

• 多语言教材生成：标准发音+方言口音，适配全球语言教学场景

• 在线课程本地化：讲师声音生成多语言课程，降低跨国教育成本

• 小语种学习工具：濒危语言、小众语种标准发音合成，助力语言传承

4. 语言文化保护

• 濒危语言数字化：少量语音样本即可批量生成高质量语音，抢救语言资源

• 方言文化传承：精准合成各地域方言，保留地域语音特色

• 古籍语音复原：古文字、古语言语音合成，助力文化遗产数字化

5. 娱乐与交互

• 游戏NPC多语言对白：全球玩家用母语体验游戏剧情，音色统一

• 虚拟主播24小时直播：克隆真人音色，多语种不间断直播

• AI语音社交：自定义音色+多语言聊天，提升社交趣味性

五、使用方法

1. 环境要求

• GPU：NVIDIA GPU（显存≥10GB，推荐RTX 3090/4090/A10）或Apple Silicon

• 系统：Linux（推荐）、macOS、Windows（WSL2）

• Python：3.10+

• 依赖：PyTorch 2.0+、Transformers、SoundFile等

2. 安装方式

（1）pip安装（推荐）

# 创建虚拟环境
python -m venv ov-env
source ov-env/bin/activate # Linux/macOS
ov-env\Scripts\activate   # Windows

# 安装PyTorch（根据CUDA版本选择）
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

# 安装OmniVoice
pip install git+https://github.com/k2-fsa/OmniVoice.git

（2）源码安装（二次开发）

git clone https://github.com/k2-fsa/OmniVoice.git
cd OmniVoice
pip install -e . # 可编辑模式安装

3. 快速使用

（1）启动Web UI（可视化操作）

# 启动本地Web服务（默认端口8001）
omnivoice-demo --ip 0.0.0.0 --port 8001

# 浏览器访问：http://localhost:8001

界面支持：文本输入、语言选择、语音克隆（上传参考音频）、音色定制、语音生成/下载

（2）命令行（CLI）生成

# 基础生成（默认音色）
omnivoice-generate \
 --text "Hello, OmniVoice! 你好，全域语音！" \
 --language "en" \
 --output output.wav

# 零样本克隆（3秒参考音频）
omnivoice-generate \
 --text "这是克隆后的语音，支持多语言生成" \
 --language "zh" \
 --reference-audio reference.wav \
 --output cloned_output.wav

# 音色定制（自然语言描述）
omnivoice-generate \
 --text "A soft female voice with British accent" \
 --language "en" \
 --voice-prompt "female, young, soft, British accent" \
 --output custom_voice.wav

（3）Python API调用

from omnivoice import OmniVoiceGenerator

# 初始化模型
generator = OmniVoiceGenerator.from_pretrained("k2-fsa/OmniVoice")

# 基础生成
text = "Welcome to OmniVoice, the multilingual TTS system."
audio = generator.generate(text=text, language="en")
generator.save_audio(audio, "basic_output.wav")

# 语音克隆
ref_audio = "reference.wav"
audio_cloned = generator.generate(
  text="这是克隆音色生成的中文语音",
  language="zh",
  reference_audio=ref_audio
)
generator.save_audio(audio_cloned, "cloned_output.wav")

4. 模型下载加速

国内访问Hugging Face较慢时，设置镜像：

export HF_ENDPOINT="https://hf-mirror.com"
# 再执行生成命令，模型自动从镜像下载

六、竞品对比

主流开源TTS核心对比

差异化总结

• 选OmniVoice：需要600+语言覆盖、零样本跨语言克隆、极速生成（全球化、小语种、跨境场景）

• 选CosyVoice：需要超低延迟流式、情感控制（实时语音助手、客服）

• 选Fish-Speech：需要极致音质、高自然度（高端有声书、影视配音）

• 选VibeVoice：需要长语音、全栈语音（ASR+TTS）（会议、转录播报）

七、常见问题解答

Q：OmniVoice支持哪些语言？是否有完整列表？

A：支持646种语言，含主流、低资源、濒危语言。完整列表见GitHub仓库docs/languages.md文件，覆盖全球99%以上人口使用语言。

Q：语音克隆需要多长的参考音频？效果如何？

A：仅需3-10秒清晰参考音频即可高质量克隆，音色相似度达90%+，支持跨语言生成（如中文音色生成英文、泰语），无明显音色漂移。

Q：最低硬件配置是什么？CPU可以运行吗？

A：推荐NVIDIA GPU（显存≥10GB）或Apple Silicon；CPU可运行但速度极慢（RTF≈10，比实时慢10倍），仅适合测试，不适合生产。

Q：生成的语音有版权吗？可以商用吗？

A：项目采用Apache-2.0开源协议，完全免费商用；生成语音版权归用户所有，但需确保参考音频（克隆音色）有合法使用权。

Q：支持长文本生成吗？最大支持多少字？

A：支持无限长文本，自动分段合成后拼接，无字数限制；1万字文本单卡GPU约1-2秒生成完毕。

Q：如何解决Hugging Face模型下载慢的问题？

A：设置环境变量HF_ENDPOINT="https://hf-mirror.com"，使用国内镜像加速下载，速度提升10-50倍。

Q：支持方言生成吗？比如粤语、四川话？

A：支持主流方言（粤语、吴语、四川话等），需在语言参数中指定对应方言代码（如zh-yue为粤语），方言发音准确率达95%+。

Q：可以微调模型吗？支持自定义数据集训练吗？

A：支持微调！仓库提供完整微调脚本（examples/train.py），支持自定义多语言数据集，只需按格式准备文本-语音对即可。

Q：生成速度为什么这么快？比传统TTS快在哪？

A：核心是单阶段非自回归+离散扩散架构：无自回归累积延迟、一次性输出全部Token、离散计算效率远高于连续信号，速度比传统扩散TTS快10倍+。

Q：支持Windows系统吗？安装会报错吗？

A：支持Windows，但推荐WSL2环境；原生Windows可能存在依赖兼容问题，按文档安装WSL2+Ubuntu可完美运行。

八、相关链接

• GitHub仓库：https://github.com/k2-fsa/OmniVoice

• Hugging Face模型：https://huggingface.co/k2-fsa/OmniVoice

• 在线演示：https://huggingface.co/spaces/k2-fsa/OmniVoice

• 技术论文：https://arxiv.org/abs/2604.00688

• 项目主页：https://zhu-han.github.io/omnivoice

九、总结

OmniVoice作为k2-fsa团队推出的颠覆性多语言零样本TTS项目，以646种语言全域覆盖、3秒零样本语音克隆、40倍实时极速推理为核心优势，通过单阶段离散扩散语言模型与LLM权重初始化的技术创新，彻底解决传统TTS语言有限、误差累积、速度缓慢的行业痛点，在多语言基准测试中实现音质、可懂度、相似度的SOTA表现，同时保持轻量化与易用性。项目凭借Apache-2.0的商业友好协议、完整的工具链与全球化适配能力，成为跨境内容创作、多语种服务、语言文化保护、教育培训等场景的首选开源TTS方案，为语音技术的全域普及与全球化应用提供了关键技术支撑。