QwenGyre：阿里通义千问推出的大模型Agent强化学习训练系统

QwenGyre 是什么

QwenGyre是阿里巴巴通义千问团队推出的面向超长程智能体在线强化学习的端到端训练框架，专门解决代码智能体这类长交互、超大Token消耗任务的强化学习训练难题。

传统智能体在线强化学习存在GPU资源利用率低、多分支轨迹Token爆炸两大痛点，QwenGyre从系统调度与轨迹数据处理两个维度进行一体化优化，无需修改智能体底层运行时，以黑盒接入方式对接现有智能体系统，支持大参数量模型开展超长任务的RL训练，在保证训练效果稳定提升的前提下，大幅提高训练吞吐、降低算力成本。

功能特色

1. GPU弹性角色调度：GPU资源拆分为可动态切换的Cell单元，单元可以在推演Rollout与模型训练两种模式之间实时切换，空闲算力自动流入训练任务，减少GPU空转浪费。支持KV-Cache迁移，任务在GPU角色切换过程中不会中断，沙箱环境、仓库状态、工具调用上下文完整保留。

2. 非线性分支轨迹处理：原生支持智能体重试、子智能体调用、上下文压缩产生的树状分支轨迹，通过共享前缀去重、分支采样机制，消除重复Token带来的训练开销暴涨问题。

3. 局部进度奖励打分：针对超长任务容易超时失败的场景，支持对任务中间工件进行评估打分，即使任务没有完整跑完，依然可以产出有效奖励信号用于模型训练，充分利用长尾样本。

4. 黑盒兼容接入：采用Harness拦截式设计，不需要改动原有智能体代码，仅拦截记录模型的输入输出Token，可对接已部署上线的智能体系统。

5. 执行维度损失归一化：针对多分支轨迹自动做损失权重平衡，防止分支数量多的样本在训练时权重过大，保证模型学习稳定。

技术细节

弹性调度器 Elastic Scheduler

框架将GPU集群划分为核心Cell与卫星Cell。核心Cell保存模型权重与优化器状态；卫星Cell可以动态切换工作模式：推演任务繁忙时负责Rollout推理，推演任务出现空闲水位时自动切换到训练任务。

• 水位监控机制：实时监测排队推演任务数量，动态调整Cell角色；

• KV-Cache迁移：当推演Cell切换为训练Cell时，正在执行的智能体请求迁移至其他推演Cell，任务不中断；

• 流式动态数据并行：卫星单元可以在训练Batch执行中途加入训练，动态分发微步数据，平衡集群负载，降低等待耗时。

轨迹处理器 Trajectory Processor

基于TITO（token-in token-out）记录方式，保存每一次模型调用的输入输出Token，构建带共享前缀的轨迹树。

• 分支采样：单次任务最多保留J_max条轨迹，按优先级采样：主智能体轨迹 > 子智能体轨迹 > 摘要轨迹；

• 共享前缀损失复用：同一条前缀上下文只计算一次损失，减少重复计算；

• Partial Scoring局部打分：区分评估器故障样本（直接丢弃）和任务未完成样本（生成有效0分奖励）；

• 损失归一化：以单次完整任务执行作为归一化单元，避免多分支样本权重失衡。

底层算法基座

框架基于GSPO（Group Sequence Policy Optimization）序列策略优化算法，配套裁剪规则，用于超长序列智能体的强化学习更新。
实验验证模型：Qwen3.6-122B、Qwen3.8-2.4T；评测基准：NL2RepoBench、DeepSWE、TerminalBench。
在NL2RepoBench上，Qwen3.8-2.4T模型Pass率由52.5%提升至58.5%，训练速度相比Async基线提升1.78倍，相比Colocate基线提升1.21倍。

应用场景

1. 代码智能体训练：大型代码库生成、跨文件代码重构、软件工程类智能体，单次交互步数多、Token规模巨大，适合使用QwenGyre做在线强化学习调优。

2. 长周期工具智能体：终端命令智能体、多步骤复杂任务智能体，任务执行时间方差大，大量长尾超时任务，可利用局部打分机制挖掘样本价值。

3. 大模型复杂任务RL优化：需要多轮调用子智能体、自动重试、上下文压缩的复杂Agent系统，降低在线RL训练的算力开销，提升训练吞吐。

使用方法

1. 环境准备：部署GPU集群，集群支持拆分为多个可独立调度的Cell单元，最小集群规模需要满足弹性调度基础要求，小规模单卡环境无法部署。

2. 黑盒接入：在现有智能体系统部署Harness拦截模块，捕获模型每次调用的输入输出Token，不需要修改智能体本身业务逻辑。

3. 配置调度参数：设置任务水位阈值、Cell划分规则、KV迁移策略，配置轨迹处理器最大分支数量J_max、采样优先级。

4. 启动训练：启动弹性调度器与轨迹处理器，接入GSPO强化学习算法，开始Rollout推演与流式训练；系统自动收集树状轨迹、打分、采样并执行模型更新。

5. 监控调优：监控GPU利用率、任务完成率、奖励曲线，调整轨迹采样数量、打分规则，平衡训练速度与模型效果。

竞品对比

常见问题解答

Q：QwenGyre是否可以在单张GPU上运行？

A：不可以。QwenGyre的核心依赖是可动态切换角色的多GPU Cell集群，单卡无法实现推演与训练单元的动态调度，仅适合多卡集群环境。

Q：接入QwenGyre是否需要修改原有智能体代码？

A：不需要。框架采用黑盒Harness拦截设计，只拦截模型调用的输入输出Token，原有智能体、沙箱、工具执行逻辑都可以保留不变。

Q：QwenGyre只支持通义千问系列模型吗？

A：论文实验使用Qwen系列模型验证框架能力。框架本身是训练系统，理论上可以对接其他大模型，但需要自行适配模型调用接口，相关验证案例以论文为准。

Q：任务执行超时失败，还能产生训练样本吗？

A：可以。框架的局部打分机制能够对任务中间产出进行评估，超时任务也可以生成有效奖励信号；只有评估器本身故障的样本才会直接丢弃。

Q：QwenGyre是开源项目吗？

A：目前仅发布arXiv学术论文，暂未公布开源代码，只能参考论文的架构、算法思路进行复现。

相关链接

• 论文地址：https://arxiv.org/pdf/2609.33848

总结

QwenGyre是面向超长程智能体在线强化学习场景的训练框架，它通过弹性GPU调度器解决传统方案GPU资源空转浪费的问题，搭配专用轨迹处理器处理智能体执行产生的非线性分支轨迹，减少重复Token带来的训练成本，依托GSPO强化学习算法，在代码库生成、软件工程、终端任务等超长交互智能体评测任务上实现训练吞吐与模型任务能力同步提升，为大参数量智能体的在线强化学习提供了兼顾系统效率与训练效果的一体化解决方案。