Hy3：腾讯混元开源的295B混合专家大语言模型

一、Hy3是什么

Hy3是腾讯混元团队（Tencent Hy Team）研发、基于MoE混合专家架构的开源旗舰大语言模型，为Hy3 Preview预览版迭代升级后的正式版本，采用295B总参数、仅21B动态激活参数轻量化推理设计，原生支持256K超长上下文窗口，同步开源原生BF16版本与FP8量化压缩版本，遵循Apache 2.0开源协议，支持商用落地。

项目主打Agent智能体优先路线，摒弃单纯刷公开榜单的研发思路，以270位行业专家真实业务盲测为优化基准，在代码开发、办公自动化、金融建模、游戏开发等生产力场景性能对标2-5倍参数规模的旗舰大模型，配套完整部署、微调、量化工具链，适配企业私有化部署与云端API调用双重场景。

二、功能特色

1. 顶尖Agent智能体综合能力

依托大规模强化学习（RL）迭代优化推理、工具调用、长上下文交互能力，在前端开发、数据存储、CI/CD工程化任务具备明显优势；多工具调用容错性强，兼容CodeBuddy、Cline、KiloCode等主流Agent脚手架，跨框架精度波动控制在4%以内，支持自动工具选择、异常报错自动修复。

2. 低幻觉、高事实准确性

通过精细化数据清洗、训练约束机制解决大模型编造信息痛点，幻觉率由12.5%降至5.4%，常识错误率从25.4%下降至12.7%；遵循“有据可答、无据说明、不混淆数据源”输出逻辑，大幅减少逻辑矛盾、虚假数据生成。

3. 超长对话稳定意图追踪

联合SFT监督微调+RL强化学习优化指代消解、省略句补全、多轮约束继承，长对话多轮测试故障率由17.4%降至7.9%；256K上下文内多轮对话意图不漂移，输出精简高效，适配知识库问答、超长文档总结、多步骤工作流编排。

4. 双模式推理，兼顾速度与深度

内置两种推理模式自由切换：

• no_think（默认）：快速响应，适合简单问答、文案生成、格式转换；

• high深度思考模式：长思维链推理，适配数学运算、复杂代码、多逻辑推导任务。

5. 完整工程化落地工具链

原生适配vLLM、SGLang高性能推理框架，提供官方部署脚本；配套AngelSlim自研量化工具、完整微调流水线，支持FP8低比特压缩、推测采样加速；兼容OpenAI标准API，低成本接入现有AI业务系统。

6. 高性价比商用开源方案

MoE架构实现“大参数量知识储备、小参数量推理成本”，Apache 2.0协议无商用限制；FP8量化版进一步降低显卡显存占用，8卡H20-3e等高显存显卡即可完成分布式部署，推理成本接近21B稠密模型。

三、技术细节

3.1 核心模型参数表

3.2 核心技术创新

1. MTP推测解码加速：内置专用预测层，推理时预生成多Token，搭配vLLM/SGLang实现吞吐提升，降低高并发场景延迟。

2. 快慢思考融合机制：模型自动识别任务难度，简单任务快速推理，复杂任务启动深度思维链，无需人工切换参数。

3. 多框架统一工具解析器：内置专属hy_v3/hunyuan工具调用、推理解析器，统一不同Agent框架输出格式，消除跨脚手架精度偏差。

4. 联合优化SFT+RL训练链路：针对长对话、多轮约束、工具调用做双向联合训练，解决上下文遗忘、指令偏离问题。

5. AngelSlim轻量化压缩套件：自研大模型量化工具，支持低比特量化、模型剪枝、推测采样一体化压缩，适配本地低显存硬件部署。

四、应用场景

1. 代码开发智能体：前端页面开发、后端脚本编写、CI/CD流水线搭建、代码Debug、数据库脚本生成，SWE-Bench工程任务表现突出。

2. 企业办公自动化：文档总结、Excel金融建模、PPT智能生成、多轮公文撰写、批量文件处理、长合同分析。

3. 知识库与企业问答：256K全文本知识库检索、内部资料问答、行业白皮书解读，大幅降低幻觉信息。

4. 游戏内容生产：游戏剧情撰写、角色设定、关卡逻辑脚本、小游戏快速开发。

5. 企业私有化AI部署：本地8卡分布式推理，企业私有数据离线微调，满足数据安全合规需求。

6. 通用AI对话产品：智能客服、长文本陪伴对话、多步骤任务规划工具。

五、使用方法

5.1 环境部署硬件要求

推荐8张H20-3e等高显存GPU，支持vLLM、SGLang两种主流推理引擎，支持张量并行TP=8分布式推理。

5.2 快速调用（OpenAI兼容API）

安装openai依赖后，本地启动服务直接调用，核心示例代码：

from openai import OpenAI
client = OpenAI(base_url="http://127.0.0.1:8000/v1", api_key="EMPTY")
response = client.chat.completions.create(
  model="hy3",
  messages=[{"role": "user", "content": "介绍Hy3模型"}],
  temperature=0.9,
  top_p=1.0,
  extra_body={"chat_template_kwargs": {"reasoning_effort": "no_think"}}
)
print(response.choices[0].message.content)

推荐基础参数：temperature=0.9，top_p=1.0；复杂推理任务设置reasoning_effort="high"。

5.3 vLLM部署流程

1. 源码编译vLLM环境（Python3.12）；

2. 配置MTP推测解码、专用工具解析器；

3. 启动8卡分布式服务，端口8000对外提供API。

5.4 SGLang部署流程

1. 源码安装SGLang，升级transformers至5.6.0以上；

2. 启用EAGLE推测采样、hunyuan专属解析器；

3. 启动tp-size=8分布式推理服务。

5.5 微调与量化

1. 微调：项目内置完整finetune文件夹，配套官方微调指南，支持自有行业数据定制训练；

2. 量化：使用AngelSlim工具完成FP8量化，输出Hy3-FP8轻量化权重，降低显存占用。

六、竞品对比

选取国内主流开源旗舰模型GLM-5.1、Qwen3.5 MoE与Hy3横向对比

七、常见问题解答（FAQ）

Q：Hy3总参数295B，推理时需要超高显存吗？

A：不需要，Hy3采用MoE混合专家架构，推理仅激活21B参数，搭配FP8量化版本可大幅降低显存需求，8张H20-3e显卡即可完成分布式部署，推理成本和21B稠密模型接近。

Q：Hy3是否可以商用，有无版权限制？

A：Hy3整体基于Apache License 2.0开源，个人、企业均可免费商用，无额外授权费用，仅需遵循协议保留版权声明。

Q：Hy3-FP8量化版和原版BF16模型有什么区别？

A：Hy3原版为BF16精度，推理精度完整无损失；Hy3-FP8是官方量化压缩版本，显存占用降低，推理速度更快，仅极小幅度损失精度，适合对硬件资源有限的私有化场景。

Q：Hy3的256K上下文支持哪些场景？会不会出现长文本遗忘？

A：支持超长文档读取、完整代码库解析、多轮百轮对话、整本行业资料问答；模型经过SFT+RL联合优化，内部多轮测试故障率大幅下降，长对话不会出现意图漂移、关键信息丢失问题。

Q：Hy3工具调用兼容哪些Agent开发框架？

A：原生内置专用工具解析器，兼容CodeBuddy、Cline、KiloCode等主流脚手架，官方数据显示跨框架精度波动控制在4%以内，无需额外适配改造。

Q：如何切换Hy3深度推理模式？

A：调用API时在extra_body参数中设置reasoning_effort="high"即可开启深度思维链；默认no_think为快速响应模式，适合简单文案、问答。

Q：官方提供哪些推理框架支持Hy3部署？

A：官方完整适配vLLM、SGLang两大高性能推理引擎，仓库内附带完整一键部署脚本，无需自行适配底层逻辑。

Q：幻觉率降低的技术手段是什么？

A：通过精细化数据清洗、训练约束规则，训练时强制模型区分已知信息与未知信息，无可靠证据时主动说明，同时优化常识类训练数据，大幅减少编造、逻辑冲突问题。

八、官方链接

1. 项目GitHub开源仓库：https://github.com/Tencent-Hunyuan/Hy3

2. Hugging Face模型权重地址：https://huggingface.co/tencent/Hy3

3. ModelScope模型仓库：https://modelscope.cn/models/Tencent-Hunyuan/Hy3

4. GitCode模型库：https://ai.gitcode.com/tencent_hunyuan/Hy3

5. CNB模型仓库：https://cnb.cool/ai-models/tencent/Hy3

九、总结

腾讯混元Hy3是腾讯混元团队重构底层技术后推出的MoE架构开源旗舰大模型，以轻量化推理、生产级Agent能力、低幻觉高事实准确性为核心竞争力，依托256K超长上下文、完整部署微调量化工具链，在代码开发、办公自动化、企业知识库等生产力场景实现优于同规模、对标超大参数量旗舰模型的效果，采用宽松Apache 2.0开源协议降低企业商用门槛，同时依托真实业务人工盲测打磨产品落地体验，为开发者与企业提供高性价比、稳定可靠的私有化大模型解决方案。