Luna‑TTS：宇生月伴推出的扩散语言模型多语言AI文本转语音工具

AI新闻 97ai 2个月前

一、什么是Luna‑TTS

Luna‑TTS是VUI Labs（宇生月伴）研发的扩散‑语言模型架构的文本转语音（TTS）项目，整套家族包含Luna‑TTS全并行版本、Luna‑TTS Realtime实时流式两个子模型，主干网络参数量0.6B，预训练使用百万小时多语种语音数据，支持中文、英文、日文、韩文四国语言合成。

区别于传统自回归逐Token生成TTS方案，该项目采用并行扩散迭代生成思路，同时兼顾高质量离线合成与极低延迟流式对话场景，原生内置零样本音色克隆、语音编辑、情绪与副语言控制能力，不需要额外外挂子模块，在Seed‑TTS‑Eval、Hugging Face TTS Arena盲听评测中取得顶尖成绩。输出音频采样率24kHz，兼顾语音清晰度、音色相似度与说话人自然度。

二、功能特色

双模式推理，一套主干网络
分为全并行高质量模式、Realtime流式实时模式，用户可以根据业务切换；全并行版本适合配音、有声书；Realtime版本面向对话式语音Agent、实时交互场景。
零样本音色克隆
仅需3‑10秒参考音频，即可复刻陌生说话人音色，支持带噪声的真实录音作为参考源，跨语种音色复刻同样生效。
细粒度情绪与副语言控制
支持喜、怒、哀、惊、恐惧等情绪标签；文本内嵌入标记，直接生成笑声、叹气、喘息、清嗓子等人声副语言，无需后期音频拼接处理。
原生语音片段编辑
支持音频片段填充重生成，修改局部文本后，前后音频韵律、音色无缝衔接，不需要独立语音编辑模型。
连续语速调节
无需重新微调模型，直接调节语速，支持0.75×‑1.25×连续变速。
复杂文本鲁棒合成
可稳定处理长句、绕口令、大批量数字、复杂标点符号，减少错读、断句错误。
多语言统一建模
中、英、日、韩共用同一套主干权重，文本混合多语种时，音色保持统一。

Luna-TTS（图1）

三、技术细节

模型架构
基于扩散‑语言模型，主干0.6B参数；通过修改Transformer注意力掩码实现两套模型：

Luna‑TTS（全并行）：双向注意力，完整音频网格并行迭代去噪，16步推理配置下波形生成耗时约216ms。
Luna‑TTS Realtime（流式）：块因果注意力，以1.28秒音频块自回归，块内部并行去噪，实现边生成边输出音频。双H20 GPU开启CFG后首包音频延迟低至41.6ms，RTF低至0.024。

训练数据
预训练数据集规模100万小时，覆盖中、英、日、韩，额外补充情绪、副语言专项数据集。训练流程分为预训练、退火微调、GRPO强化学习三个阶段；GRPO针对扩散去噪轨迹做优化，进一步提升语音自然度与韵律表现。
评测核心指标（Seed‑TTS‑Eval）
中文字错误率CER=0.73；英文词错误率WER=1.49；中英说话人相似度SIM在参评模型中最优；Realtime流式版本为换取低延迟，客观指标小幅回落，但仍优于大量主流TTS产品。

RTF（Real‑Time‑Factor）：实时因子，数值越小代表生成速度越快；RTF＜1代表生成速度快于音频播放速度。

四、应用场景

AI语音Agent、智能对话机器人：使用Luna‑TTS Realtime流式版本，低延迟输出，实现人机实时语音对话。
有声读物、自媒体配音、短视频旁白：全并行高质量模式，长文本合成，多角色配音，可做片段语音编辑修改。
虚拟人直播、游戏NPC语音：情绪控制+副语言（笑、叹气），生成更贴近真人表演的对白。
无障碍阅读、教育音频制作：多语种教材朗读，复杂数字、习题文本稳定合成。
企业客服、座舱语音交互：零样本克隆企业专属音色，快速搭建语音播报系统。
音频后期修复编辑：局部文本修改重生成，保留原有音频音色韵律。

五、使用方法

在线网页Demo体验
访问项目官方演示页面：https://vuilabs‑ai.github.io/luna‑tts/，网页端直接输入文本、上传参考音频，选择模型版本、情绪、语速，直接试听、下载24kHz输出音频，无需本地配置环境。
开发者使用说明

学术论文查阅：参考arXiv论文arXiv:2608.11593，阅读模型架构、训练、实验细节。
推理部署：官方暂未开源权重，企业开发者可对接VUI Labs获取API服务，调用全并行/Realtime两套接口；输入参数包含待合成文本、参考音频、情绪标签、语速参数、模型模式。
参数调优：全并行模式可调整扩散迭代步数，步数越高音质越好；Realtime模式配置音频块大小，平衡延迟与音质。

提示：本地离线权重暂未对外开源，个人开发者优先使用网页Demo体验效果。

六、竞品对比

选取CosyVoice3、MiniMax‑Speech、Qwen‑Audio‑3.0‑TTS三款主流TTS模型做横向对比：

对比维度	Luna‑TTS Family	CosyVoice3	MiniMax‑Speech
参数量	0.6B	0.3B‑0.8B	1B+
底层架构	扩散语言模型，并行迭代生成	Codec自回归语言模型	Codec自回归架构
流式能力	原生Realtime块因果流式，首包最低41.6ms	支持流式，延迟百毫秒级别	支持流式交互版本
副语言能力	原生支持笑声、叹气、喘息标签控制	部分支持副语言标签	支持情绪与部分非语言声音
语音编辑	原生内置填充编辑，无需子模型	需配套编辑模块实现片段修改	有限支持语音编辑能力
支持语种	中文、英文、日文、韩文	中文、英、日、韩、粤语	支持32种语种
特色优势	小参数量兼顾高质量+超低延迟流式；并行生成，无自回归误差累积	中文生态成熟，开源社区活跃	语种覆盖广，商业API成熟

七、常见问题解答

Q：Luna‑TTS是否已经开源模型权重？

A：截至目前，官方仅开放网页Demo与学术论文，模型权重没有对外开源；开发者可通过官方API方式调用能力，论文可查阅完整技术方案。

Q：零样本克隆对参考音频有什么要求？

A：建议3‑10秒，尽量保证人声清晰，即使带有环境噪声的录音也可以作为参考；音频越干净，音色复刻相似度越高。

Q：全并行版本和Realtime版本该如何选型？

A：追求最高音质、做配音有声书，选择全并行版本；需要实时对话、低延迟交互，优先选用Luna‑TTS Realtime流式版本。

Q：模型支持方言合成吗？

A：原生正式支持中文普通话、英、日、韩；暂不支持粤语、其他方言。

Q：副语言标记怎么使用？

A：直接在输入文本中嵌入指定标签，即可插入笑声、叹气、清嗓子等声音，不需要额外音频素材，模型直接生成对应声学片段。

Q：可以无限调节语速吗？

A：支持连续变速，推荐区间0.75×至1.25×，超出区间过大时，语音自然度会下降。

八、相关链接

项目演示页面：https://vuilabs‑ai.github.io/luna‑tts/
arXiv论文地址：https://arxiv.org/pdf/2608.11593

九、总结

Luna‑TTS家族由VUI Labs推出，基于0.6B参数扩散语言模型，通过一套主干网络同时提供全并行高质量合成与块因果流式实时生成两套能力，在中、英、日、韩多语言场景下，同时实现高保真音色克隆、情绪副语言控制与原生语音片段编辑，解决传统自回归TTS存在的长句误差累积、流式延迟高的痛点，在客观评测与盲听榜单表现优异，能够覆盖从内容创作到实时语音Agent的多种实际业务需求。