Xiaomi-CocktailASR-1：小米开源的目标说话人语音识别模型

一、Xiaomi-CocktailASR-1是什么

Xiaomi-CocktailASR-1 是小米研究院开源的目标说话人语音识别模型（Target Speaker ASR，TS-ASR），开源协议为 Apache 2.0。模型专门解决语音领域经典的鸡尾酒会问题，也就是多人同时说话、语音相互重叠的嘈杂场景。

传统ASR在多人混声录音中会把所有人的语音混杂识别，而该模型可以依靠一段目标说话人的参考声纹，只提取并转录该人的语音内容，过滤掉其他发言人声音，同时兼顾单人语音识别场景。

二、功能特色

1. 目标说话人定向转录：输入参考声纹+混合音频，只识别指定人的语音，多人重叠对话场景效果突出。

2. 单人识别性能不衰减：在单人干净音频场景，识别能力对标主流通用ASR模型，一套模型兼顾单人、多人混声两种场景。

3. 负样本拒识能力：当目标说话人不在混合音频内时，模型直接输出空文本，降低智能设备误唤醒、误识别问题。

4. CoT思维链推理：支持输出识别推理过程，提升模型识别结果的可解释性，方便技术人员调试与问题定位。

5. 端到端一体化模型：无需单独前置语音分离模型，音频编码、声纹匹配、文字识别在同一个模型内完成，部署链路更简洁。

三、技术细节

Xiaomi-CocktailASR-1 采用D2V2音频编码器 + Adapter适配层 + LLM解码器的端到端大模型架构，全部权重打包在单个权重文件中。
输入格式要求：单声道音频，将参考声纹音频与待识别混合音频中间插入1秒静音进行拼接，送入模型。
模型工作逻辑：D2V2编码器对两段音频提取音频特征；Adapter层做声纹特征对齐；LLM解码器基于声纹信息，筛选目标说话人的语音片段，直接输出文本。

模型核心评测指标

四、应用场景

1. 会议录音转写：多人会议录音，定向提取指定参会人的发言内容，过滤其他人插话、背景交谈声音。

2. 智能家居、车载语音：多人同车/同房间环境，只识别主人语音指令，屏蔽身边其他人对话干扰。

3. 访谈、播客素材整理：双人/多人访谈录音，单独提取采访者或者受访者台词，快速整理文稿。

4. 录音取证、音频质检：嘈杂环境音频，定向抽取目标人员对话文字，降低背景人声干扰。

五、使用方法

1. 环境准备：安装基础依赖 torch、transformers，支持GPU本地推理，适合私有化部署。

2. 音频准备：准备两段单声道音频，一段为目标人的参考声纹音频；另一段是待识别的混合录音。两段音频中间拼接1秒静音。

3. 模型加载：从Hugging Face或者GitHub拉取模型权重与推理代码。

4. 推理执行：将拼接后的音频送入模型，运行推理，获取目标说话人转录文本；启用CoT模式可额外拿到推理过程。

六、竞品对比

选取Whisper-large-v3、Qwen3-ASR两个主流开源语音识别模型做对比：

七、常见问题解答

Q：Xiaomi-CocktailASR-1是否可以商用？

A：模型采用Apache 2.0开源协议，可以免费商用，使用时遵守协议要求即可。

Q：参考声纹音频需要多长？

A：参考声纹音频一般几秒即可，只需要包含目标说话人清晰人声，不需要长时间录音。

Q：模型支持多语种识别吗？

A：该模型主要面向英语数据集完成训练，原生中文识别能力有限，不适合直接用于中文场景生产环境。

Q：CPU环境下可以跑这个模型吗？

A：可以运行，但推理速度很慢，推荐GPU环境部署，满足实时音频识别需求。

Q：必须用1秒静音分隔参考音频和待识别音频吗？

A：是的，模型训练时采用该输入格式，推理时需要保持一致，否则识别效果会大幅下降。

八、相关链接

• GitHub项目地址：https://github.com/xiaomi-research/xiaomi-cocktailasr-1

• HuggingFace模型库：https://huggingface.co/Ease3/Xiaomi-CocktailASR-1

• arXiv技术论文：https://arxiv.org/pdf/2609.11274

九、总结

Xiaomi-CocktailASR-1是小米推出的开源目标说话人语音识别模型，依靠D2V2加LLM的端到端架构，不用额外语音分离模块，依靠参考声纹就可以在多人语音重叠场景精准转录指定人的语音，同时保留单人语音识别能力，自带目标人物不在音频中的拒识功能，为会议、车载、智能家居这类存在多人嘈杂语音场景提供了轻量化的私有化语音转写方案。