AReaL：清华蚂蚁联合开源全异步LLM智能体强化学习训练框架

一、AReaL是什么

AReaL全称Ant Reasoning RL，是清华大学交叉信息研究院（IIIS）与蚂蚁集团技术研究院联合研发、完全开源的面向大语言模型与AI智能体的全异步强化学习训练框架。

项目诞生初衷是解决传统同步RL框架GPU利用率低、分布式扩展困难、智能体接入改造成本高、多轮交互训练低效等行业痛点，主打生成与训练完全解耦的异步架构，兼顾学术复现、模型微调、企业级智能体在线自演化三大场景。当前稳定版本为v2.0.0，配套完整训练脚本、公开数据集、技术论文与轻量化分支AReaL-lite，支持NVIDIA GPU、华为昇腾NPU双硬件生态，可无缝对接Qwen、Gemma、DeepSeek等主流开源大模型，完整复现GRPO、PPO、DAPO等前沿对齐算法SOTA效果。

二、功能特色

1. 全异步分布式训练，算力利用率拉满

彻底拆分采样Rollout、奖励计算、模型训练三大模块并行执行，训练吞吐量较同步框架最高提升2.77倍，512块GPU集群可实现线性扩展，GPU闲置率大幅降低；支持权重热更新，采样工作器可中断生成任务加载新模型权重，无需停机重启训练流程。

2. 极低侵入式智能体接入

无需重构现有Agent业务代码，仅修改基础接口base_url即可对接LangChain、CAMEL-AI、OpenClaw、Scaffoldings等主流智能体框架；内置Agent Trajectory数据协议，线上真实会话轨迹可直接流入RL训练闭环，实现智能体持续自进化。

3. 完整算法矩阵，覆盖全场景对齐需求

原生集成十余种主流RL/偏好优化算法：PPO、GRPO、DAPO、DPO、KPop/IcePop、REINFORCE++、LitePPO等，同步支持单轮推理、多轮工具交互、过程监督奖励、自演化数据生成，兼顾轻量化微调与万亿级MoE大模型训练。

4. 双版本分层架构，适配不同开发人群

• 完整版AReaL：全功能企业级框架，支持Ray分布式集群、多云部署、昇腾NPU、大规模多卡训练；

• AReaL-lite轻量版：代码量缩减80%，保留90%核心训练能力，面向高校科研、快速算法原型验证，单机小显存即可运行。

5. 双推理后端+跨硬件兼容

默认集成SGLang高性能推理引擎，兼容vLLM；硬件同时支持NVIDIA CUDA GPU、华为昇腾NPU，提供独立ascend维护分支，国产算力生态适配完善。

6. 开箱即用完整实验资产

公开全部训练数据集、基线模型权重、GSM8K数学、Codeforce代码、ASearcher搜索智能体全套可复现脚本，仅需少量算力即可复现7B/32B推理模型SOTA效果，降低学术与工业落地门槛。

三、技术细节

3.1 四大核心系统组件

1. 可中断采样工作器（Interruptible Rollout Worker）
   负责Prompt生成、多轮工具调用轨迹采集，支持模型权重热重载；权重更新时自动丢弃旧KV缓存，分段拼接不同版本模型生成的完整交互轨迹，持续输出流式训练样本。

2. 独立奖励服务（Reward Service）
   解耦奖励计算逻辑，支持三类奖励源：代码沙箱执行结果、验证器自动打分、人类偏好标注；支持细粒度过程奖励PRM与全局结果奖励并行计算。

3. 轨迹缓冲构建器（Rollout Builder）
   统一格式化智能体多轮交互数据，标准化轨迹协议，兼容线上业务实时数据流与离线静态数据集，批量分发至训练节点。

4. 分布式训练工作集群（Trainer Worker）
   基于PyTorch FSDP2、Megatron并行方案，支持数据/张量/序列/专家并行；异步消费缓冲轨迹，不间断执行梯度更新，无同步等待损耗。

3.2 底层分布式实现

• 单机模式：单卡/多卡本地训练，无需集群组件；

• 分布式模式：基于Ray构建多节点集群，支持SkyPilot多云（AWS/GCP/K8s）弹性算力调度；

• 通信机制：异步消息队列解耦采样与训练，消除传统同步RL的梯度同步阻塞瓶颈。

3.3 模型与并行支持范围

1. 支持模型：Qwen2/3、Qwen-VL、Gemma3、DeepSeek全系列HuggingFace开源LLM/VLM、MoE混合专家模型；

2. 微调方案：全参数微调、LoRA轻量化微调；

3. 并行策略：数据并行、张量并行、流水线并行、专家并行；

4. 加速组件：FlashAttention预编译、SGLang/vLLM PagedAttention显存优化。

3.4 核心技术创新点

1. 异步生成训练解耦架构，解决同步RL样本生成与梯度更新资源争抢问题；

2. Agentic Data Proxy数据中间层，打通线上Agent业务与离线训练链路；

3. Agent Evolution Control Plane控制平面，统一管理采样、奖励、训练全流程调度；

4. KPop/IcePop掩码采样算法，优化长文本、工具调用场景Token筛选，降低无效训练样本占比。

四、应用场景

1. 数学推理模型强化学习微调

适配GSM8K、Countdown、AIME数学基准，基于Qwen、DeepSeek蒸馏模型执行GRPO训练，1.5B模型40小时训练即可超越o1-Preview推理效果，7B模型2天刷新开源数学SOTA记录，适合教育、数理问答大模型迭代。

2. 代码智能体训练与优化

支持Codeforce、LiveCodeBench编程数据集，训练可自主调用Python沙箱、计算器的代码Agent，自动修复代码逻辑、优化算法效率，适配代码解释器、编程助手开发场景。

3. 联网搜索智能体自演化

配套开源ASearcher搜索Agent项目，基于真实网页检索反馈生成奖励，训练具备多轮搜索、信息筛选、溯源校验能力的问答智能体，适配知识库问答、垂直行业搜索机器人。

4. 多轮工具调用企业智能体

对接CRM客服、办公自动化、浏览器操作Agent，通过用户交互轨迹持续RL优化，提升工具选择、多步骤规划、异常纠错能力，支持企业业务系统在线持续进化，无需停机重训。

5. 多模态VLM视觉推理训练

支持Geometry3K、CLEVR视觉数据集，兼容Qwen-VL等图文模型，完成视觉问答、图像推理类智能体对齐训练，适配图文生成、工业视觉质检场景。

6. 学术科研算法验证

AReaL-lite轻量分支适配高校实验室小规模算力，快速迭代DPO/GRPO变体、新型RL优化算法，完整可复现实验环境，降低大模型强化学习科研门槛。

五、使用方法

步骤1：环境克隆与依赖安装

# 拉取源码仓库
git clone https://github.com/areal-project/AReaL.git
cd AReaL
# 使用uv管理依赖（推荐）
uv sync
# 预编译FlashAttention避免本地编译报错
uv pip install flash-attn --no-build-isolation
# 可选安装推理后端
uv pip install sglang vllm

步骤2：单机快速启动数学RL示例（开箱即用）

框架内置自动下载GSM8K数据集与Qwen2-1.5B基线模型，一行命令启动GRPO训练：

bash scripts/run_gsm8k_grpo_single.sh

步骤3：Ray分布式多节点训练

1. 集群所有节点共享存储，统一模型/数据集路径；

2. 启动Ray集群head节点，配置GPU资源分片；

3. 执行分布式启动脚本，指定并行策略、节点数量、模型参数规模：

bash scripts/distributed_train_ray.sh --num_workers 8 --model Qwen2-7B

步骤4：昇腾NPU硬件部署

切换ascend独立分支，安装CANN驱动与MindIE推理引擎，修改配置文件device参数为npu，即可完成国产NPU训练适配。

步骤5：自定义第三方Agent接入

仅修改配置文件中agent_base_url字段，对接自有LangChain/CAMEL-AI智能体服务，框架自动采集交互轨迹并接入奖励、训练流水线，无需修改核心训练代码。

六、竞品对比

选取行业主流同步RL框架OpenRLHF、异步框架VeRL与AReaL做维度对比：

七、常见问题解答

Q1：AReaL和传统同步RL框架最大区别是什么？

A1：传统同步RL框架必须等待一轮全部样本生成完成后，才能执行梯度更新，GPU推理与训练资源相互等待，算力浪费严重。AReaL将采样、奖励、训练三个模块完全异步并行，采样工作器持续生成新轨迹，训练集群不间断消费样本，不存在等待损耗；同时支持模型权重热更新，训练中途切换模型版本无需重启全部任务，训练效率最高提升2.77倍。

Q2：低配单机显卡能否运行AReaL？

A2：可以使用AReaL-lite轻量分支，该版本删减冗余分布式组件，优化显存占用，16G显存单机即可完成1.5B、7B模型小规模GRPO实验；完整版AReaL建议至少单卡24G显存，7B以上模型推荐多卡并行训练。

Q3：自有LangChain开发的Agent如何接入AReaL训练？

A3：无需重构Agent代码，仅修改AReaL配置文件内agent_base_url参数指向你的Agent服务接口，框架内置标准化轨迹采集协议，自动捕获多轮工具调用、用户问答交互数据，接入奖励服务与训练流水线，最小改动实现Agent在线强化学习。

Q4：AReaL是否支持国产昇腾NPU训练？

A4：完全支持，项目独立维护ascend适配分支，配套完整CANN、MindIE推理部署文档，支持Qwen系列、DeepSeek等主流模型在昇腾910B/NPU上执行LoRA微调与全参数RL训练，官方提供完整启动脚本。

Q5：训练时出现OOM显存溢出该如何解决？

A5：提供四种优化方案：1. 启用LoRA轻量化微调，大幅降低显存占用；2. 开启SGLang/vLLM PagedAttention显存优化；3. 减小单批次rollout生成长度、降低并行worker数量；4. 使用AReaL-lite分支，关闭冗余日志与监控组件释放显存。

Q6：AReaL复现数学SOTA需要多少算力与数据？

A6：复现7B数学推理SOTA仅需200条标注数据、200美元左右算力成本，2天完成完整RL训练；1.5B小模型单机40小时即可完成训练，在GSM8K基准超越o1-Preview基线效果。

八、官方链接

1. GitHub开源主仓库：https://github.com/areal-project/AReaL

2. 官方技术论文（AReaL 2.0智能体异步RL）：https://arxiv.org/pdf/2607.01120

3. 项目官方主页：areal-ai.io

九、总结

AReaL作为清华与蚂蚁联合开源的全异步大模型强化学习训练框架，凭借解耦式异步架构、原生AI智能体适配、跨GPU/NPU硬件兼容、完备前沿算法库四大核心优势，同时提供轻量化科研分支与企业级分布式部署方案，覆盖学术算法验证、推理模型微调、线上智能体自演化全场景需求，完整开源全部代码、数据集与实验脚本，解决了传统RL框架算力利用率低、智能体接入改造成本高、大规模集群扩展困难等行业痛点，为开发者提供低成本、高效率、可落地的大模型强化学习基础设施。