智能体强化学习（Agentic RL）使大语言模型能够从被动的逻辑推理转向自主决策与长期规划。与传统LLM后训练不同，Agentic RL工作负载具有高度异构性：结合了计算密集的前填充阶段、带宽受限的解码阶段，以及状态化且CPU繁重的环境模拟。这种异构性导致单体化集群无法满足多任务智能体强化学习(multi-task agentic RL )训练的多样化资源需求。

尽管资源解耦架构能将不同阶段路由到最适合的硬件，但现有系统因复杂的阶段依赖关系而面临同步开销和资源利用率低下的问题。

为解决上述挑战，香港科技大学联合阿里提出了ROLLART，这是一个专为在解耦式基础设施上最大化多任务智能体强化学习训练吞吐量而设计的分布式系统。ROLLART基于三大核心设计原则：

（1）硬件亲和工作负载映射，动态路由任务至专属硬件池；

（2）轨迹级细粒度异步执行，掩盖通信延迟；

（3）状态感知计算，将无状态奖励模型卸载至无服务器平台。

在3000+GPU生产集群中，ROLLART实现1.35-2.05倍端到端训练加速，并支持数百亿参数MoE模型训练。

• 论文标题：

  ROLLART: Scaling Agentic RL Training via Disaggregated Infrastructure

• 论文链接：https://arxiv.org/pdf/2512.22560

• 代码开源：https://github.com/alibaba/ROLL

01

方法

图1：ROLLART系统架构

如图1所示，ROLLART系统架构包含分布式运行时层和资源管理器****，通过声明式编程模型实现细粒度资源分配。系统架构图展示了完整的组件关系和数据流。

（1）硬件亲和性任务调度

图2：同步vs异步训练

ROLLART系统通过精细化的硬件资源分配策略，实现计算资源的最优利用。系统支持在阶段级别和轨迹级别定义硬件亲和性，确保各类工作负载能够匹配最适合的硬件配置。解耦基础设施将训练、推理、环境模拟等阶段分配到专用资源池，通过标准网络织物互连。

在阶段级别，训练任务被分配到计算优化的GPU集群，而环境模拟任务则由Kubernetes管理的CPU集群处理。这种分离有效避免了资源争用，提高了整体系统效率。同步与异步训练模式的对比显示，异步训练能有效隐藏同步延迟，提升硬件利用率。

（2）细粒度异步执行机制

ROLLART通过轨迹级调度机制实现了LLM生成、环境交互与奖励计算的高度并行化。系统核心组件LLMProxy作为智能网关，负责非阻塞地处理LLM推理请求，而EnvManager则独立管理单个环境的完整生命周期。

图3：轨迹级Rollout概述

轨迹级执行模式使得不同轨迹的处理能够完全重叠：当一个轨迹在进行LLM生成时，另一个轨迹可以同时执行环境交互，第三个轨迹则进行奖励计算。这种流水线设计有效掩盖了跨集群通信延迟，异步训练工作流展示了完整的执行流程。

图4：训练步骤的详细分解：成功运行（上方）与存在环境故障的执行（下方）

训练步骤的详细分解显示，在成功运行中LLM生成占据54%时间，训练占23%，环境初始化占15%。而在包含环境失败的迭代中，环境初始化时间占比飙升至78%，凸显了环境管理的重要性。

（3）状态感知计算架构

图5：环境交互分析

ROLLART创新性地采用状态感知的计算模型，明确区分各组件的状态需求。无状态组件（如奖励模型）被卸载到无服务器平台，实现弹性扩缩容；而有状态组件（如训练阶段）则部署在专用硬件资源上。

（4）编程与计算模型

ROLLART通过声明式编程模型实现硬件亲和性。用户使用@register装饰器定义执行函数，@hw_mapping指定任务路由策略，例如为解码密集型任务绑定H20 GPU。

图6：ROLLART的声明式编程模型

Cluster抽象作为分布式计算核心，管理多角色工作者（Worker），并通过Invocation Proxy绑定方法至集群实例，支持细粒度资源分配。

02

评估

由于现有开源系统均不支持全范围的智能体任务，因此研究团队采用 veRL 的同步强化学习实现（记为 veRL）作为基线方案。为增强该基线，研究团队额外启用了异步奖励计算、异步环境交互以及 “奖励即服务” 机制，将其记为 veRL+。

研究团队还与 StreamRL 进行了对比，并启用了一次性训练范式，该范式通过消耗上一步生成的轨迹，实现轨迹生成与训练的并行化。veRL+中采用的优化措施同样被应用于 StreamRL。

训练阶段采用 Megatron ，但它不支持异构 GPU 配置，StreamRL 在轨迹生成阶段同样不支持异构 GPU。为简化对比，两个基线方案均运行在 128 块 H800 GPU 上。因此，ROLLART 的每 GPU 小时成本约为这些基线方案的 83%。

（1）端到端性能评估

图7：（a）Qwen3-32B的端到端评分时间对比；（b）不同方法在各大型语言模型上的标准化吞吐量对比；（c）不同数量H800 GPU下Qwen3-14B的标准化吞吐量对比。

在Qwen3系列模型（8B-32B）和多任务环境（SWE-bench、WebShop等）上的实验显示，ROLLART在目标分数0.85时，端到端时间相较于veRL+和StreamRL分别缩短2.05倍和1.35倍。

吞吐量效率方面，ROLLART归一化吞吐量达同步基线2.65-4.58倍。资源扩展实验中（64-128 GPU），系统保持1.33-2.08倍吞吐量提升，证明优异可扩展性。

（2）硬件亲和性分析

图8：（a）硬件亲和性的效率；（b）异步跨集群通信的优势

硬件亲和性配置（64 H800 GPU + 24 H20 GPU）相较于纯H20和纯H800配置，步长时间分别缩短1.30-1.68倍和1.12-1.37倍。异步跨集群通信技术减少端到端步长时间1.10-1.16倍。

（3）轨迹级异步执行评估

图9：轨迹级环境的优势

注入高斯延迟（σ=1-10）测试中，轨迹级交互相较于批处理模式性能提升1.23-2.27倍。冗余环境滚出机制在GEM-math任务中实现最大1.62倍轨迹生成加速。

图10：不同大型语言模型（LLMs）在不同异步边界下的平均步骤时间比较

异步边界实验显示，α=1时在训练速度和稳定性间达到最优平衡，不同边界均能实现满意收敛性能。

（4）无服务器奖励计算优势

图11：专用本地GPU与使用Reward-as-a-Service的对比

无服务器奖励部署使GPU利用率从6%提升至88%，轨迹生成时间从158秒缩短至77秒，证明状态感知计算的高效性。

（5）生产环境验证

图12：生产级智能体强化学习工作负载特征分析

在3000+GPU集群中训练数百亿参数MoE模型，任务回合数分布1-48不等，验证预填充与解码任务共存。多层Docker缓存使env.reset成功率>99.99%，周级训练仅单次故障。

特征驱动优化实现1.66倍端到端加速，get_batch等待时间占比62%，优化后可减少22%训练时间。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】