dots.tts：小红书联合上交大开源的全连续端到端语音合成基座
一、dots.tts是什么
dots.tts 是 小红书dots团队联合上海交大X‑LANCE实验室开源的全连续端到端自回归TTS语音合成基座项目，Apache‑2.0开源协议，总参数量约20B，最大特点是全程不使用离散声学token，全部在连续隐空间完成音频生成，输出48kHz高保真音频。
项目完整开放推理、微调、蒸馏全套代码与多套预训练权重，兼顾离线配音、零样本音色克隆、低延迟流式对话TTS，同时衍生出独立语音编辑能力dots.tts.edit，支持学术研究与商用二次开发。
二、功能特色
零样本音色克隆：两种克隆模式，参考音频+对应文本的高精度克隆；仅音频提取说话人X向量快速克隆，音色还原能力在公开评测中处于开源SOTA水平。
双流流式TTS（Double‑Streaming）：1T1A逐token生成模式，上游LLM边输出文本，TTS边输出音频，大幅降低对话场景首包延迟，适配AI语音Agent实时交互。
指令式语音编辑 dots.tts.edit：基于同一基座，通过文本指令完成音频修改，支持替换文本、调整情绪、语速、音调、停顿、音色迁移等操作，不用重新完整重跑TTS流程。
多权重版本适配不同需求：官方提供base、soar、mf、mf‑2steps、mf‑1step、mf‑2steps‑stts多套权重，覆盖基础训练、克隆增强、低步数快速推理、双流对话场景。
完整工程链路：支持本地Python API、CLI命令行、Gradio网页UI、SGLang‑Omni高并发服务；配套数据集预处理、微调、MeanFlow蒸馏训练脚本，可继续二次训练。
多语言支持：支持中英为主，覆盖24语种，跨语言音色保留效果突出。
三、技术细节
整体架构（三段串联全连续链路）
48kHz AudioVAE：将原始波形编码为连续隐变量，后端BigVGAN解码器把隐变量还原为48kHz音频波形，无离散声学token，规避离散token带来的音质损失问题。
语义编码模块：Qwen2.5‑1.5B作为文本语义编码器，把输入文本转化时序语义隐藏态。
DiT自回归流匹配声学头：接收语义特征 + CAM++说话人X向量，自回归逐块预测音频连续隐变量；MeanFlow蒸馏技术把原生多步采样压缩为4/2/1步，大幅降低推理耗时。
核心权重说明
dots.tts‑base：基础基座，适合二次微调、科研实验。
dots.tts‑soar：SCA自校正对齐优化版本，零样本克隆最优，公开评测SIM说话人相似度指标最高。
dots.tts‑mf：MeanFlow蒸馏4步版本，推理速度快，适合业务并发部署。
mf‑2steps / mf‑1step：进一步压缩采样步数，追求极致低延迟。
mf‑2steps‑stts：专门面向双流流式对话场景权重。
dots.tts.edit：语音编辑专用模型，复用基座架构。
推理性能
开启torch.compile编译优化后，soar版本普通TTS RTF≈0.18；mf蒸馏版RTF≈0.13；10秒音频显存占用5‑8GB；最长支持80秒长音频生成；SGLang‑Omni服务可实现OpenAI兼容/v1/audio/speech接口，支持流式PCM输出，单卡H100支持16路并发推理。
四、应用场景
AI语音Agent、对话机器人：双流流式模式，LLM输出文本同步输出语音，降低交互延迟。
有声书、短视频配音：48kHz高保真离线文本转语音，长文本朗读。
音色复刻业务：零样本音色克隆，快速生成目标说话人语音。
语音后期编辑：dots.tts.edit用于已有音频修改，改台词、调情绪语速。
科研与二次开发：TTS模型微调、蒸馏算法研究、多语言语音合成实验。
企业私有化部署：本地离线部署，不依赖第三方语音API。
重要提示：音色克隆功能具备高保真能力，实际业务必须遵守合规伦理，禁止未经授权伪造他人语音。
五、使用方法
1. pip快速安装
pip install dots.tts
2. 源码部署开发版本
git clone https://github.com/studio‑dots‑ai/dots.tts cd dots.tts pip install -e .
3. 三种调用方式
CLI命令行：直接命令输入文本，输出wav音频，适合快速测试。
Python API：支持普通TTS、音色克隆、流式输出、双流1T1A对话模式，可集成到Python项目。
Web界面Gradio：启动内置gradio服务，可视化操作TTS与语音编辑功能。
高并发服务：部署SGLang‑Omni，获得OpenAI兼容音频接口，适合后端服务。
微调、蒸馏训练需要下载完整训练依赖，参考仓库文档配置数据集清单。
六、竞品对比
选取开源主流TTS项目ChatTTS、CosyVoice与dots.tts进行对比，不对比商业闭源产品。
| 对比维度 | dots.tts | ChatTTS | CosyVoice |
|---|---|---|---|
| 底层生成路线 | 全连续隐空间自回归，无离散token | 离散token自回归TTS | 离散token+扩散混合架构 |
| 采样输出采样步数 | 1‑4步蒸馏快速推理，原生多步 | 多步自回归 | 扩散多步采样 |
| 原生流式双流能力 | ✅原生支持1T1A双流对话流式 | 仅基础流式输出 | 基础流式，无原生双流 |
| 零样本音色克隆能力 | ⭐⭐⭐⭐⭐ soar版本SOTA | ⭐⭐⭐⭐ | ⭐⭐⭐⭐ |
| 语音编辑能力 | ✅原生dots.tts.edit模块 | ❌无原生编辑模块 | 部分简单韵律修改 |
| 采样率 | 48kHz | 24kHz | 24kHz |
| 开源协议 | Apache‑2.0 | 非商用开源 | Apache‑2.0 |
| 二次训练全套脚本 | ✅完整微调+MeanFlow蒸馏脚本 | 仅推理权重开放 | 基础微调脚本 |
七、常见问题解答
dots.tts必须使用GPU才能运行吗？
官方主要面向NVIDIA GPU推理，CPU可以运行，但速度很慢，RTF会很高，不适合业务使用；社区存在MLX适配，可以在苹果硅设备上运行。
dots.tts可以唱歌吗？
原生模型训练数据以普通人声语音为主，不支持歌唱生成，不适合音乐演唱场景。
soar、mf权重该怎么选？
追求音色克隆效果优先选soar；追求推理速度、高并发业务部署优先选择mf系列；做实时对话Agent优先使用mf‑2steps‑stts权重。
使用音色克隆有什么合规风险？
该模型零样本克隆还原度很高，严禁在没有音频所有者授权的情况下复刻他人声音，业务上线建议增加AI音频水印，做好内容校验。
支持哪些语种？小语种效果如何？
主优化中文、英文；一共支持24语种；部分低资源小语种文字识别WER会偏高，但音色保留能力尚可。
SGLang‑Omni服务是否支持双流1T1A模式？
SGLang‑Omni仅支持普通批量流式，双流对话1T1A模式只能使用原生Python runtime接口调用。
可以做长音频生成吗？最大支持多长？
原生支持最长80秒单条音频，超过该长度建议业务侧做文本分段处理。
可以直接在CPU服务器部署对外提供服务吗？
不建议，CPU推理速度达不到业务可用标准，会出现严重延迟，至少需要具备显存5GB以上NVIDIA显卡。
八、相关链接
论文arXiv链接：https://arxiv.org/pdf/2608.02673
九、总结
dots.tts作为一套全连续隐空间自回归开源TTS基座，跳出离散声学token技术路线，兼顾48kHz高保真音质、强大的零样本音色克隆、原生双流流式对话能力，同时完整开放推理、微调、蒸馏训练全套代码，衍生语音编辑模块进一步拓展能力边界，适合私有化部署、AI语音Agent、配音、语音科研等场景，开发者在使用高保真音色克隆能力时需要严格遵守伦理与合规要求。
版权及免责申明：本文由@dotaai原创发布。该文章观点仅代表作者本人，不代表本站立场。本站不承担任何相关法律责任。
如若转载，请注明出处：https://www.aipuzi.cn/ai-news/dots.tts.html
