Qwen3.8-LiveTranslate:阿里通义千问推出的实时流式同声传译模型

AI新闻 人工智能研究所
69

一、Qwen3.8-LiveTranslate是什么

Qwen3.8-LiveTranslate是阿里通义千问团队发布的新一代实时同声传译模型,完整模型标识为qwen3.8-livetranslate-flash-realtime,依托WebSocket实时接口提供流式同传服务。

该模型面向音频实时翻译场景,支持音频输入,可附加视频画面作为辅助信息,一边接收语音流,一边持续输出翻译文本与合成语音,主打低延迟多人会议同传,能够保留说话人音色完成语音翻译输出。模型仅开放云端API调用,权重并未开源。

二、功能特色

  1. 低延迟流式同声翻译:字均延迟低至2.3秒,持续接收音频流,边听边译,满足会议实时沟通需求。

  2. 多语种能力:支持60种语言语音识别,其中29种语言可生成翻译语音,其余语种仅输出翻译文本。

  3. 说话人区分识别:多人对话场景自动区分发言人,标记不同说话人对应的译文,解决多人混杂对话翻译混乱问题。

  4. 长上下文术语消歧:读取对话上下文,对人名、专业行业术语持续修正翻译结果,提升专业场景翻译准确度。

  5. 多模态辅助理解:支持传入视频画面信息,依靠口型、画面文字辅助识别,改善嘈杂环境下的翻译稳定性。

  6. 原音色复刻语音合成:翻译后的语音可以复刻原说话人音色,翻译语音听起来如同本人使用外语发言。

  7. 自定义热词注入:可导入行业术语库,适配医疗、工业、学术等垂直领域,固定专有名词翻译。

Qwen3.8-LiveTranslate介绍

三、技术细节

Qwen3.8-LiveTranslate采用Interleave架构+Hybrid-MoE混合专家模型,内置Thinker–Talker双模块协同工作:

  • Thinker模块:负责音频、视频画面、对话原文译文交错时序编排,完成端到端流式语音理解与文本翻译,结合上下文做术语消歧。

  • Talker模块:接收Thinker输出译文以及源语音特征,完成带原说话人音色特征的翻译语音生成。
    通信层面基于WebSocket Realtime API实现双向流式传输,音频分片持续上传,模型实时返回字幕文本与语音流,无需等待完整音频文件上传后再处理。

四、应用场景

  • 国际线上线下会议实时同声传译,多人圆桌讨论、跨国远程研讨会。

  • 跨境直播实时字幕+翻译语音输出,海外带货直播、多语种线上发布会。

  • 跨国线上教学、远程学术访谈,多语言课堂实时翻译。

  • 涉外展会、跨国商务谈判,现场音频实时转译。

五、使用方法

  1. 进入阿里云百炼Model Studio平台,开通模型调用权限。

  2. 使用WebSocket实时接口建立长连接,持续推送分片音频数据,可选同步传入视频画面信息作为辅助。

  3. 按需配置自定义热词库,设置术语固定翻译规则。

  4. 客户端持续接收模型返回流数据,包含译文文本、说话人标识以及翻译音频流。

  5. 在前端程序完成字幕渲染、语音播放等二次开发。

六、竞品对比

项目 Qwen3.8-LiveTranslate Qwen3.5-LiveTranslate OpenAI Realtime API
所属厂商 阿里通义千问 阿里通义千问 OpenAI
核心定位 实时同声传译,支持音色复刻、多人区分 基础流式语音翻译 通用实时语音对话模型,非专业同传
字均延迟 2.3秒 2.8秒 约2.6秒
语种能力 60种识别,29种可输出翻译语音 50余种识别,20余种语音输出 支持数十种语言,语音合成语种较少
说话人分离 支持多人识别标记 基础支持,识别精度一般 不原生支持说话人区分
多模态辅助 支持视频画面辅助消歧 无画面辅助能力 仅支持音频输入
模型形式 云端API,权重不开源 云端API,权重不开源 云端API,权重不开源

七、常见问题解答

Q:Qwen3.8-LiveTranslate是开源模型吗?

A:目前该模型没有开放权重,仅提供阿里云百炼平台的商用WebSocket API调用,无法下载模型文件本地部署。

Q:模型输入只能是音频吗?

A:核心输入为音频流,视频画面可以作为辅助上下文传入,画面信息用来辅助理解对话内容,不会自动翻译画面内的文字。

Q:热词库支持多少条术语导入?

A:阿里云百炼平台限制单次会话热词数量,满足常规会议、行业场景专有名词固定翻译需求,具体上限参考平台文档。

Q:翻译语音一定可以复刻原说话人的音色吗?

A:需要足够的源语音特征,短语音片段下音色复刻效果会下降;29种支持语音输出的语种才能启用音色复刻能力。

    八、总结

    Qwen3.8-LiveTranslate是面向会议、跨境直播等场景打造的专业实时同传API模型,依托Interleave架构与Thinker-Talker双模块实现低延迟流式翻译,在语种覆盖、多人说话人识别、音色复刻、多模态辅助方面相比前代Qwen3.5-LiveTranslate全面升级,依托阿里云百炼平台提供WebSocket长连接流式调用能力,适合开发者集成到各类需要实时语音翻译的产品中,是国内商用实时同声传译方案的重要选择。

    打赏
    THE END
    作者头像
    人工智能研究所
    发现AI神器,探索AI技术!