EnvSched: Environment-Aware Scheduling for Rollout-Efficient Agent Reinforcement Learning

📄 arXiv: 2610.37609v1 📥 PDF

作者: Sihan Yang, Weichen Bai, Ruichuan An, Yiming Cheng, Zhiyuan Feng, Tianyi Jiang, Renye Yan, Ning Ding, Yifan Zhang, Renrui Zhang, Yehui Tang, Wentao Zhang

分类: cs.LG, cs.CL

发布日期: 2026-10-27

💡 一句话要点

提出EnvSched以解决有限预算下的强化学习调度问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 任务调度 环境感知 数据管理 奖励方差 双重关系图 智能体学习 实验优化

📋 核心要点

  1. 现有方法在有限的回滚预算下，难以有效组织和调度任务实例，导致资源浪费和效率低下。
  2. EnvSched通过学习历史回滚数据，利用双重关系图结构优化任务调度，提升强化学习的效率。
  3. 在Qwen3-8B的实验中，EnvSched在多个基准测试中取得了显著提升，超越了随机任务选择的表现。

📝 摘要（中文）

随着可执行环境的扩展，生成和验证其回滚变得愈加昂贵。在有限的回滚预算下，如何通过环境级的数据管理提高智能体强化学习的效率成为一个重要问题。为此，本文提出了EnvSched（环境感知调度），它通过学习回滚历史来优化任务调度。EnvSched通过两种互补的建模选择来分配调度价值：利用优先考虑可能提供信息丰富的奖励差异的任务，而覆盖则将每个批次分散到未观察到的环境和交互模式中。通过在双重关系图中组织环境-任务对，EnvSched能够有效预测任务内的奖励方差，从而指导调度器分配高预测奖励方差的任务。

🔬 方法详解

问题定义：本文旨在解决在有限回滚预算下，如何有效管理和调度强化学习任务的问题。现有方法在任务选择上存在效率低下和资源浪费的痛点。

核心思路：EnvSched通过分析历史回滚数据，采用双重关系图结构来优化任务调度。其核心思想是通过任务的奖励差异和环境覆盖来提高学习效率。

技术框架：EnvSched的整体架构包括任务调度器和双重关系图。任务调度器根据历史数据预测奖励方差，而双重关系图则将环境和任务对作为节点，捕捉任务语义和执行拓扑。

关键创新：EnvSched的主要创新在于其双重关系图结构和基于奖励方差的调度策略。这与传统方法的单一任务选择策略形成鲜明对比，能够更全面地考虑任务间的关系。

关键设计：在设计中，EnvSched引入了环境配额和相似性惩罚，以限制任务集中和冗余。此外，调度器的损失函数和网络结构经过精心设计，以确保高效的任务分配。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在Qwen3-8B的实验中，EnvSched在BFCL-v3、tau-Bench和ACEBench-Agent基准测试中取得了48.81的平均分，显著超过随机任务选择在120步后的最高分，展示了其在相同训练预算下的卓越性能提升。

🎯 应用场景

该研究的潜在应用领域包括智能体在复杂环境中的任务调度与管理，如机器人控制、自动驾驶和游戏AI等。通过优化调度策略，EnvSched能够显著提高智能体的学习效率和任务执行能力，具有广泛的实际价值和未来影响。

📄 摘要（原文）

As executable environments for language agents scale, generating and verifying their rollouts becomes increasingly expensive. Under finite rollout budgets, this raises an important question: can data management at the environment level make agentic reinforcement learning (RL) more efficient by organizing, evaluating, and scheduling task instances together with the environments that determine their tools, states, transitions, and verification? To address this question, we introduce EnvSched (Environment-aware Scheduling), an online scheduler that learns from rollout history. EnvSched assigns scheduling value through two complementary modeling choices: exploitation prioritizes tasks likely to provide informative reward differences, while coverage spreads each batch across underobserved environments and interaction patterns. EnvSched organizes environment--task pairs as nodes in a dual-relation graph, with within-environment edges capturing task semantics and shared tool, state, and verifier structure, and cross-environment edges capturing abstract execution and reward topology. By propagating historical rollout statistics along both edge types, it predicts within-task reward variance. These predictions guide a scheduler that allocates each batch to tasks with high predicted reward variance and underobserved environments and tasks. Environment quotas and a similarity penalty further limit concentration and redundancy, yielding informative and diverse batches without additional pilot rollouts. In RL on Qwen3-8B, EnvSched achieves an average score of 48.81 across BFCL-v3, tau-Bench, and ACEBench-Agent after 40 training steps, exceeding the highest score attained by random task selection after 120 steps. It also improves downstream performance across model sizes at the same training budget.