Qwen-Audio-3.1：阿里通义千问推出的新一代音频模型

AI新闻 dotaai 3周前

一、Qwen-Audio-3.1是什么

Qwen-Audio-3.1是阿里云通义千问（Qwen）推出的全套音频大模型产品栈，一次性发布5个子模型，完整覆盖音频理解、语音识别、实时语音交互、音频生成创作全链路能力，是面向开发者与企业业务的一体化音频AI服务套件。整套模型包含Qwen-Audio-3.1-Realtime-Plus、ASR-Next、ASR-Flash、TTS-Next，专注语音专项能力，区别于音图文一体的多模态大模型，主打稳定、低成本、高可用的语音业务落地。

二、功能特色

全双工实时语音交互
Realtime-Plus支持边听边说、随时打断对话，搭载智能语义轮次判断，可过滤背景杂音、旁人闲聊带来的误应答；原生支持Function Calling工具调用、联网搜索，语音对话过程中直接查询信息、执行外部指令，适合语音Agent开发。
增强型生成式语音识别ASR
ASR-Next与ASR-Flash不仅输出文字，自带原生转写润色，自动剔除语气词、口误重复语句，理顺文本语义；支持分角色说话人分离、时间戳对齐，覆盖30种语言+16种中文方言，嘈杂远场音频识别稳定性更强，首字低至约160ms，支持流式实时字幕输出。
声景级音频生成TTS-Next
不再局限基础文字朗读，可一次性生成包含人声、环境音效、背景音的完整音频场景。支持跨语种音色迁移、情绪、语速、风格指令控制，可制作单人旁白、多人对话、播客、短视频声景，输出WAV、MP3、PCM音频格式。
全链路成本大幅下调
全线定价下调，ASR降价约95%，TTS降价约70%，Realtime实时语音交互降价约85%，降低企业规模化部署语音业务的开销。

Qwen-Audio-3.1（图1）

三、技术细节

核心采用Think-Act-Speak-Coordinate架构，将语音感知、推理思考、工具调用、说话时机控制解耦，模型自主判断何时开口、何时保持静默，解决全双工场景误触发问题。
训练层面使用GRPO分组相对策略优化与M²-OPD多教师蒸馏，强化语音Agent任务执行能力；ASR使用端到端联合建模，将说话人标签、时间戳、文本同步输出，支持重叠语音、插话识别。
接入协议包含WebSocket、AOQ、WebRTC三种：WebSocket适合网页实时对话；AOQ协议专为移动端优化，弱网环境下降噪、回声消除更稳定；WebRTC适配音视频通话场景。

评测数据：Realtime在Full-Duplex-Bench基准，无关背景语音误响应率由73%降至13%；半双工语音任务成功率提升至82%；方言测试集ASR平均CER为10.38%，温州话、苏州话识别效果突出。

四、应用场景

实时语音交互：AI语音助手、智能座舱、语音客服、陪伴机器人，支持随时打断、语音调用工具查询资料。
语音转写记录：会议纪要、访谈录音、直播实时字幕、电话录音归档，自动区分发言人并优化文字。
音频内容创作：短视频配音、有声书、AI播客、游戏音效、影视剧简易声景制作，生成带环境音效的完整音频。
音频内容分析：音频情绪识别、环境音事件检测、歌声曲风识别，用于音频审核、内容理解业务。

五、使用方法

准备工作：注册阿里云账号，进入Model Studio百炼平台，创建API Key，保存密钥用于接口鉴权。
模型选型

实时对话场景：选用qwen-audio-3.1-realtime-plus，推荐WebSocket/AOQ协议流式接入。
录音文件转写/会议记录：ASR-Next；直播、输入法低延迟流式识别：ASR-Flash。
配音、播客、声景音频制作：TTS-Next。

接口调用

ASR、TTS模型：使用REST API或者流式接口，上传音频URL/Base64音频流、提交文本参数，同步/异步获取返回结果。
Realtime实时语音：建立WebSocket长连接或集成AOQ SDK，双向持续传输音频流，实现全双工语音对话。

调试上线：可在Model Studio在线调试界面先进行效果测试，配置热词、语种、润色开关等参数，测试稳定后集成至业务系统。

六、竞品对比

选取Deepgram Nova3、百度千帆实时语音大模型两款主流音频模型做对比：

对比维度	Qwen-Audio-3.1	Deepgram Nova3	百度千帆实时语音大模型
核心定位	一体化全栈音频模型栈，包含实时Agent、ASR、TTS、音频创作	海外专业ASR+实时语音识别，侧重转写能力	国产一站式语音服务，ASR、TTS、实时语音模块独立
全双工能力	✅支持，内置smart_turn智能轮次，抗背景杂音，支持工具调用	仅基础半双工/实时转写，不具备语音Agent工具调用能力	支持基础打断对话，语义轮次判断能力较弱
方言支持	16种中文方言	几乎无中文方言优化	十余种中文方言
附加能力	ASR自带润色+说话人分离；TTS支持完整声景生成	专注音频转写，音频生成能力弱	TTS以基础朗读为主，复杂声景生成能力有限
部署接入	阿里云Model Studio，WebSocket/AOQ/WebRTC，国内访问稳定	海外服务器，国内访问延迟较高	百度云API、SDK接入

七、常见问题解答

Q：Qwen-Audio-3.1是否有本地可部署开源权重？

A：当前仅开放云API服务，配套arXiv技术论文，官方暂未发布可本地部署的开源权重。

Q：Qwen-Audio-3.1和Qwen3.5-Omni的区别是什么？

A：Qwen-Audio-3.1是专项音频模型栈，在实时全双工交互、语音识别/合成成本、语音Agent交互上做深度优化；Qwen3.5-Omni是音图文一体的通用多模态大模型，侧重跨模态综合理解，并非专门面向规模化语音业务的专项音频套件。

Q：Realtime模型里Function Calling和联网搜索可以同时开启吗？

A：不可以，两项能力不能同时启用，需要根据业务需求二选一。

Q：ASR转写润色功能可以关闭吗？

A：可以，润色功能为可开关选项，原始录音文字需要原样输出时，可关闭自动润色。

Q：TTS-Next能直接生成多人对话播客音频吗？

A：支持，输入分段文本、角色信息，模型可一次性生成多人对话音频，搭配基础环境音效构建播客声景。

八、相关链接

Qwen-Audio-3.1 Realtime官方文档：https://help.aliyun.com/zh/model-studio/qwen-audio-realtime-user-guides
Qwen-Audio-3.1 TTS-Next模型介绍页：https://help.aliyun.com/zh/model-studio/qwen-audio-3-1-tts-next
Qwen-Audio-3.1 ASR模型文档：https://docs.qwencloud.com/developer-guides/speech/asr
技术论文arXiv地址：https://arxiv.org/abs/2609.25176

九、总结

Qwen-Audio-3.1是阿里云推出的一体化音频AI模型栈，通过五款专项子模型覆盖语音识别、全双工实时语音交互、声景级音频生成等完整音频业务需求，在抗干扰对话、方言识别、转写润色等能力上完成升级，同时大幅下调API计费成本，提供多协议、多端SDK接入方案，适合企业与开发者快速落地语音助手、会议转写、音频创作等各类音频AI应用。