MAI-Transcribe-2-Streaming：微软AI推出的百毫秒级实时语音识别工具

AI新闻 dotaai 1周前

一、MAI-Transcribe-2-Streaming 是什么

MAI-Transcribe-2-Streaming 是微软 AI 团队（Microsoft AI，简称 MAI）发布的流式实时语音转文字（Streaming Speech-to-Text）模型，也是微软自研的第一款流式 STT 模型。它与同月稍早发布的批量转写模型 MAI-Transcribe-2 组成一对：前者负责"边说边出字"的实时场景，后者负责录音文件的高精度离线转写。

简单说，传统语音识别要等你说完一整句才出文字，而 MAI-Transcribe-2-Streaming 在你开口后的极短时间内就开始返回"临时文本"（partial），随着你继续说不断修正，说完后立刻给出稳定的最终文本。这种设计让语音 Agent、实时字幕、实时听写等应用可以在说话人还没讲完时就开始理解和响应。

该模型在第三方评测平台 Artificial Analysis 的流式语音识别榜单上，最终文本准确率和临时文本准确率两项均排名第一，同时位于"准确率—延迟"帕累托前沿上，意味着目前上榜模型中没有任何一个能同时做到比它更准且更快。

二、核心功能特色

1. 百毫秒级首字延迟

模型在收到音频后仅约 100 毫秒即可输出第一版假设文本（partial）。微软官方数据显示，在多数情况下，词语在说出后约 320 毫秒就会出现在转写稿中，而最接近的竞品需要超过 500 毫秒。微软内部评测称，在实时听写和字幕场景中，文字出现速度比最接近的竞品快约 2 倍。

2. 60 种语言，持续自动语种识别

模型支持 60 种语言，并具备连续自动语种检测能力——说话人可以在一句话中间切换语言（例如中英混杂），无需重新配置或手动指定，模型会自动适配识别。

3. 临时文本（Partial）机制

这是流式模型区别于批量模型的核心能力。partial 文本让上层应用不必等待一句话说完就可以开始动作：语音 Agent 可以在句子中途就开始推理或调用工具，实时字幕可以几乎同步地跟随说话人显示。

4. 准确率与延迟兼顾

在 Artificial Analysis 的评测中，MAI-Transcribe-2-Streaming 的最终转录词错误率（WER）约为 2.5%，在参评的 38 款模型中表现最佳；从说话结束到返回最终文本仅需约 0.13 秒。

5. 与微软语音生态配套

发布同期推出的还有两款 TTS 模型 MAI-Voice-2.1 和 MAI-Voice-2.1-Flash（端到端延迟仅 150 毫秒，可生成 45 秒音频），与 MAI-Transcribe-2-Streaming 搭配即可搭建完整的"听—想—说"实时语音 Agent 闭环。微软在 MAI Playground 中提供了名为 Chatter 的在线演示。

MAI-Transcribe-2-Streaming

三、技术细节

MAI-Transcribe-2-Streaming 属于微软 MAI 自研语音模型家族的第二代产品，定位是为实时对话场景设计的流式 ASR。从官方披露的技术参数来看：

技术维度	具体指标
模型类型	流式实时语音转写（Streaming STT）
首发日期	2026 年 10 月 1 日
支持语言	60 种，支持句中切换与自动检测
首条 partial 延迟	约 100 毫秒（收到音频后）
词语上屏延迟	多数情况下约 320 毫秒（微软内部评测）
说话结束到最终文本	约 0.13 秒（Artificial Analysis 数据）
最终文本 WER	约 2.5%（Artificial Analysis 流式榜）
Artificial Analysis 排名	最终文本与临时文本准确率双料第一
说话人分离	流式版首发未提供（批量版 MAI-Transcribe-2 支持）
逐词时间戳	批量版支持，流式版首发未强调
开放权重	否，仅通过 API / 云服务调用
限时优惠价格	0.54 美元/音频小时（截至 2026 年底）

需要特别说明的是，流式版与批量版 MAI-Transcribe-2 在能力上有明确分工：批量版提供说话人分离（diarization）、逐词时间戳、关键词偏置、clean/verbatim 两种输出风格等离线转写能力；流式版则把工程重点全部放在低延迟、边说边出字和实时语种切换上，首发阶段不提供说话人分离。开发者需要根据场景选型，而不是期待一个模型同时满足所有需求。

四、应用场景

1. 实时客服语音 Agent

用户打电话进来还没说完，模型就已经把需求转成文本并开始理解，客服 Agent 可以在句子中途就开始查询订单、准备回复，最后用 TTS 把答案说出来，整段对话保持人类自然交流的节奏。

2. 实时字幕与直播字幕

会议直播、在线课堂、视频通话场景中，字幕可以几乎跟说话人同步出现，听障用户或静音观看的用户能实时跟上内容。

3. 多语言实时助手

模型自动检测说话语言并切换识别，配合支持 23 种语言的 MAI-Voice-2.1 TTS，可以构建"用什么语言问就用什么语言答、但始终是同一个声音"的多语言助手。

4. 实时听写与录音速记

记者采访、医生口述病历、会议记录等场景，边说边出字，说完即定稿，省去事后整理录音的时间。

5. 交互式学习与媒体内容

语言学习 App、角色扮演练习、模拟训练等需要双向语音交互的场景，低延迟是体验是否像"真人对话"的关键。

五、使用方法

MAI-Transcribe-2-Streaming 目前以云 API 形式提供，不提供本地开源权重。开发者可通过以下通道接入：

Microsoft Foundry（Azure AI Foundry）：微软官方一站式 AI 模型平台，通过 Azure Speech 服务调用，支持 SDK 和 REST API。
Azure Voice Live：面向实时语音对话的 API，在会话配置中设置 input_audio_transcription.model 即可指定转写模型。
MAI Playground：微软官方在线 playground，内置 Chatter 演示，可以直接体验完整的语音 Agent 对话效果。
第三方聚合平台：OpenRouter、Vercel AI Gateway 也已上线该模型，LiveKit 即将接入。

在 Azure Voice Live API 中，转写模型通过会话配置字段指定，与聊天模型（如 gpt-realtime、gpt-realtime-mini 等）配对使用；同时支持 input_audio_transcription.phrase_list 参数传入自定义关键词表，提升专有名词识别率。

典型的开发流程是：麦克风采集音频 → 通过 WebSocket 流式送入 Azure Speech 服务 → 服务持续返回 partial 文本 → 上层 Agent 边接收边推理 → 说话结束后拿到稳定的最终文本 → 调用 MAI-Voice TTS 合成语音回复。

六、竞品对比

以下选取当前流式语音识别领域的三款代表性产品与 MAI-Transcribe-2-Streaming 做横向对比（数据截至 2026 年 10 月初，排名随新版本发布持续变动）：

对比维度	MAI-Transcribe-2-Streaming	Grok Voice Transcribe 2.0	Deepgram Nova-3	ElevenLabs Scribe v2 Realtime
出品方	微软 AI（Microsoft AI）	SpaceXAI（原 xAI）	Deepgram	ElevenLabs
发布时间	2026 年 10 月 1 日	2026 年 9 月 18 日	2025 年发布，2026 年更新	2026 年
支持语言	60 种，连续自动检测	数十种，录音中可切换	多语言	90+ 种
首条 partial 延迟	约 100 毫秒	官方未公布	亚 300 毫秒（厂商标称）	约 150 毫秒
流式准确率排名	Artificial Analysis 最终+临时双第一	发布时第一，后被 MAI 取代	中游	接近第一梯队
说话人分离	流式版首发未提供	内置支持	内置支持	内置支持，最多 48 人
配套 TTS	MAI-Voice-2.1 / 2.1-Flash	Grok Voice	Aura-2	Eleven v4 / v4 Turbo
最适合场景	低延迟语音 Agent、实时字幕	高性价比批量通话转写	成熟生产栈、私有化部署	多语言、STT+TTS 一家搞定
开放权重	否	否	否	否

简单来说：如果你做的是对延迟极度敏感的实时语音 Agent，MAI-Transcribe-2-Streaming 目前在准确率和延迟的平衡上最占优；如果成本是第一考量，Grok Voice Transcribe 2.0 更便宜；如果已有成熟的 Deepgram 生产栈，Nova-3 依然稳定；如果需要 90 种以上语言或希望 STT 和 TTS 用同一家供应商，ElevenLabs Scribe v2 更合适。

七、常见问题解答

MAI-Transcribe-2-Streaming 和 MAI-Transcribe-2 有什么区别？

两者是同代产品的两种形态。MAI-Transcribe-2 是批量转写模型，上传整段音频后一次性返回结果，支持说话人分离、逐词时间戳、关键词偏置等离线能力；MAI-Transcribe-2-Streaming 是流式模型，音频边送入边返回 partial 文本，专为实时对话、实时字幕设计，首发阶段不提供说话人分离。选哪个取决于你的应用是"事后整理录音"还是"实时对话"。

它支持哪些语言？能识别中英混杂吗？

官方支持 60 种语言，并具备连续自动语种检测能力。说话人在同一句话中切换语言（例如中英混杂、code-switching）时，模型会自动适配，不需要手动指定或重新加载模型。

partial 文本和最终文本有什么区别？为什么要分两种？

partial 是模型在说话过程中给出的临时假设，可能随着后续音频被修正甚至推翻；最终文本是一句话说完后模型确认的稳定结果。partial 的价值在于"抢时间"——上层应用可以在句子还没说完时就开始推理、调用工具、显示字幕，这是流式模型相比批量模型最核心的体验差异。

它支持说话人分离吗？

流式版 MAI-Transcribe-2-Streaming 在发布时未提供说话人分离能力。如果需要区分多人对话中谁在说话，应使用批量版 MAI-Transcribe-2，它支持 speaker diarization。

怎么开始用？需要自己部署吗？

不需要本地部署，模型仅以云 API 形式提供。开发者可以通过 Microsoft Foundry、Azure Speech SDK、Azure Voice Live、MAI Playground，以及 OpenRouter、Vercel 等聚合平台调用。官方提供了 Python、JavaScript 等多语言 SDK 示例。

0.54 美元/小时是长期价格吗？

这是限时优惠价格，有效期到 2026 年底。优惠期结束后的正式定价微软尚未公布，建议有长期预算规划的团队在成本测算时预留上浮空间。

在 Artificial Analysis 上排第一，这个榜单靠谱吗？

Artificial Analysis 是独立的 AI 模型评测平台，会定期更新榜单。需要注意的是，STT 模型迭代极快——Grok Voice Transcribe 2.0 在 2026 年 9 月 18 日发布时也曾占据第一，仅 13 天后就被 MAI 取代。排名会随新版本不断重排，选型时建议同时关注延迟架构和价格等更稳定的指标。

它能和 MAI-Voice 搭配用吗？

可以，而且这正是微软推荐的组合。MAI-Transcribe-2-Streaming 负责"听"，MAI-Voice-2.1-Flash 负责"说"（端到端延迟 150 毫秒），两者搭配可以搭建低延迟实时语音 Agent。微软在 MAI Playground 中提供的 Chatter 演示就是这套组合的完整样例。

八、相关链接

微软 AI 官方发布博客：https://microsoft.ai/news/our-first-streaming-transcription-model/
模型主页 MAI-Transcribe-2：https://microsoft.ai/models/mai-transcribe-2/
Microsoft Foundry 技术社区博客：https://techcommunity.microsoft.com/blog/azure-ai-foundry-blog/build-expressive-voice-experiences-with-new-mai-models-in-microsoft-foundry/4524637

九、总结

MAI-Transcribe-2-Streaming 是微软在实时语音转写赛道交出的第一款流式模型答卷，核心定位非常明确：在 60 种语言上同时做到百毫秒级首字延迟和 Artificial Analysis 榜单第一的准确率，让语音 Agent 能在用户说话的过程中就开始理解和响应。它与同批发布的 MAI-Voice-2.1-Flash 组成"听—说"两端的低延迟闭环，通过 Microsoft Foundry、Azure Speech、OpenRouter、Vercel 等渠道面向开发者开放，限时优惠价 0.54 美元/音频小时。对追求对话自然度的实时客服、多语言助手、实时字幕和交互式学习类应用来说，这是目前在准确率与延迟平衡上最靠前的选择之一；但其流式版本不支持说话人分离、不提供开源权重、优惠价结束后定价待定，也是选型时需要一并考量的现实约束。