Muse Voice Transcribe：Meta推出的一体化实时流式语音转写AI模型

一、什么是 Muse Voice Transcribe

Muse Voice Transcribe 是 Meta Superintelligence Labs（Meta超级智能实验室）发布的首款实时音频感知模型，隶属于Muse Spark多模态推理家族。该模型将流式语音识别、说话人分轨、语音端点检测三大能力整合在单一自回归模型内部完成，不需要多模块拼接与后期二次处理，仅提供云端API与内置产品能力，不开放模型权重，无法本地私有化部署。

简单理解：它是一套一站式实时语音转写方案，一边接收音频流一边输出带说话人标记的文本，适配多人会议、实时听写、多语言混杂对话场景。

二、功能特色

1. 自适应延迟流式转写
   采用自适应延迟机制，清晰简单的词语快速输出；遇到口音、嘈杂、发音模糊片段，会多收集音频上下文再输出，动态平衡延迟与识别准确率，区别于传统固定延迟的流式ASR方案。

2. 原生说话人分离与端点检测
   单轮流式推理即可完成说话人区分，最多支持20位以上说话人，同时自动识别说话起止；原生支持超过1小时长音频会话，不需要把音频切割分片再做后处理。

3. 多语言与语码切换
   训练覆盖70+种语言，首发版本完成25种语言完整验证；支持句内、句间自由语言切换，例如中英文夹杂对话；支持语言偏好、关键词、上下文偏置，优化专有名词识别效果。

4. 高基准测试表现
   在独立基准AA‑WER Streaming英文流式语音测试中词错误率3.1%，同时说话人分轨错误率在公开数据集上处于行业第一梯队水平。

三、技术细节

• 音频分片处理：音频拆分为80ms音频块，每一块音频转换为软token送入自回归模型推理。

• 特殊控制token：模型输出<|next_audio|>代表继续接收下一段音频；<|empty_audio|>标记音频流结束，输出缓冲区剩余文本，实现流式持续输出逻辑。

• 自适应延迟训练：依靠强化学习训练，同时优化词错误率与推理延迟两个目标，由模型自主决定每个词语输出时机，而非人工配置固定等待时长。

• 一体化架构：传统方案是ASR识别、说话人分轨、端点检测三套独立模型串联，会叠加延迟与故障点；Muse Voice Transcribe全部逻辑在同一个模型内部完成推理，减少链路损耗。

• 部署形态：仅支持Meta Model API云端调用，无开源权重，不能本地部署。API模型标识为muse‑voice‑transcribe‑1.0，支持无数据留存调用模式。

四、应用场景

1. 线上会议实时纪要：多人线上会议，实时输出带说话人标记的会议文字记录，支持长时间会议。

2. 系统级全局听写：Mac端Meta AI客户端，按住Fn键，任意软件输入框实现实时语音听写录入文本。

3. 开发者语音产品集成：客服坐席录音转写、实时字幕、语音智能体、在线访谈转录，支持双语混杂业务场景。

4. 代码工具语音输入：Muse Code内置听写能力，语音口述生成代码注释、代码片段。

5. 多语言访谈记录：双语、多语种混杂访谈、播客直播实时转写归档。

五、使用方法

普通终端用户

1. Meta AI Mac客户端：下载Meta AI Mac版，按住键盘Fn键，在任意文本输入框直接说话，模型完成实时听写转写，该功能内置不额外收费。

2. Muse Code：打开Muse Code编辑器，直接调用内置语音听写功能，口述生成文本、注释、代码。

开发者用户

通过Meta Model API调用模型标识muse‑voice‑transcribe‑1.0，WebSocket流式接口传入音频流获取实时转写结果。

• API定价：3美元/1000分钟音频，折合0.18美元/小时。

• 可开启零数据留存模式，音频数据不在Meta服务端留存。

注意：该模型没有公开权重，不支持本地部署、离线运行。

六、竞品对比

选取Cartesia Ink‑2、ElevenLabs Scribe v2 Realtime两款主流商用实时语音转写产品进行对比，数据来自公开基准与官方发布信息。

七、常见问题解答

Q：Muse Voice Transcribe可以下载模型本地部署使用吗？

A：不可以，Meta没有对外发布模型权重，仅提供云端API与内置产品调用，不支持私有化本地部署。

Q：Muse Voice Transcribe支持多少种语言，中文识别效果如何？

A：模型训练数据集覆盖70余种语言，首发阶段25种语言完成完整验证，包含中文；原生支持中英文混合语码切换，非验证语言也可运行，但识别稳定性会下降。

Q：Mac以外Windows、移动端是否可以直接使用该模型听写？

A：原生终端能力目前仅支持Meta AI Mac客户端；Windows、手机端只能通过Meta Model API由开发者集成到第三方应用中使用，没有独立客户端。

Q：API调用时，说话人分轨功能是否额外收费？

A：官方公开定价没有区分功能加价，说话人分离、端点检测包含在基础音频计费内，按音频时长统一计费。

Q：最长可以处理多长的音频？

A：原生支持超过1小时的长音频流，不需要开发者手动分片切割音频。

Q：自适应延迟代表延迟一定很低吗？

A：不是。自适应是动态策略，清晰短句延迟低；遇到嘈杂、口音重、模糊语音，模型会主动增加等待时间收集上下文，会带来短暂延迟提升，以此换取识别准确率。

八、相关链接

• Meta AI Research官方博客介绍页：https://research.meta.ai/blog/introducing‑muse‑voice‑transcribe

九、总结

Muse Voice Transcribe是Meta推出的一体化实时音频感知模型，把流式语音识别、说话人分轨、端点检测合并到单一自回归模型内部，依靠自适应延迟技术平衡识别准确率与响应速度，支持多语言、句内语言切换以及一小时以上多人会话，以API形式对外提供服务，在公开英文流式基准取得不错成绩，为会议纪要、全局听写、语音类应用开发者提供一套一体化的商用语音转写选择。