EnvACE: Internalizing Environment Dynamics via World Rehearsal for Agentic Reinforcement Learning

📄 arXiv: 2608.06197v1 📥 PDF

作者: Zishan Xu, Zhiyuan Yao, Yuxin Chen, Yifu Guo, Zhengxi Lu, Yuquan Lu, Jinyang Huang, Yan Xu, Yasheng Wang, Weinan Zhang, Xingshan Zeng, Weiwen Liu

分类: cs.AI

发布日期: 2026-08-06

🔗 代码/项目: GITHUB

💡 一句话要点

提出EnvACE以解决长时间工具使用的环境交互问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 工具使用 世界排练 代理模型 环境动态 长时间决策 模型优化

📋 核心要点

  1. 现有方法在长时间工具使用中依赖外部环境交互，构建和验证成本高，且难以实现有效的环境扎根。
  2. EnvACE通过世界排练替代外部环境交互，策略在行动与环境响应之间交替，内化环境动态以支持决策。
  3. 在多个基准测试中，EnvACE超越了环境扩展基线，且在不同模型规模上均显示出策略学习的显著提升。

📝 摘要（中文）

训练大型语言模型代理进行长时间工具使用通常依赖于与真实或合成可执行环境的交互，这些环境的构建和验证成本高昂，或依赖于难以扎根的外部模拟器。我们提出了EnvACE，一种代理强化学习方法，通过世界排练替代训练中的外部环境交互。该策略在行动和排练之间交替进行：首先生成工具调用，然后扮演环境角色以产生该动作引发的响应，并根据排练的响应调整后续决策。通过世界排练，策略在其参数中内化了动作与环境响应之间的关系，形成直接支持决策的代理世界模型。在多个基准测试中，EnvACE表现出强大且可转移的性能，超越了环境扩展基线。控制研究进一步表明，世界排练在不同模型规模上始终改善策略学习。

🔬 方法详解

问题定义：论文要解决的问题是如何在长时间工具使用中有效训练大型语言模型代理，而现有方法依赖于外部环境交互，导致高成本和效率低下。

核心思路：论文提出的核心思路是通过世界排练替代外部环境交互，策略在生成工具调用后，模拟环境响应，从而内化动作与环境之间的关系。

技术框架：整体架构包括两个主要模块：行动模块和排练模块。行动模块生成工具调用，排练模块则模拟环境响应，并根据该响应调整后续决策。两个模块通过任务成功奖励进行端到端优化。

关键创新：最重要的技术创新点在于引入世界排练作为一种新的训练方式，使得代理能够在没有外部环境交互的情况下有效学习，显著提升了训练效率和效果。

关键设计：论文中采用的关键设计包括优化损失函数以结合任务成功奖励，以及在不同模型规模下进行控制实验，验证世界排练对策略学习的普遍改善效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，EnvACE在BFCL-v4、tau^2-Bench、VitaBench和FinMCP-Bench等基准测试中表现优异，超越了环境扩展基线，且在不同模型规模上均显示出策略学习的显著提升，验证了世界排练的有效性。

🎯 应用场景

该研究的潜在应用领域包括智能机器人、自动化工具使用和复杂任务执行等。通过内化环境动态，EnvACE能够在多种实际场景中实现高效的决策支持，未来可能推动智能代理在更复杂环境中的应用。

📄 摘要（原文）

Training large language model agents for long-horizon tool use typically relies on interactions with real or synthesized executable environments, whose construction and verification are costly, or on external simulators that are difficult to ground. We introduce EnvACE, an agentic reinforcement learning method that replaces external environment interaction during training with world rehearsal. The policy alternates between acting and rehearsal: it first generates a tool call, then plays the role of the environment to produce the response induced by that action, and conditions subsequent decisions on the rehearsed response. Both roles are jointly optimized end-to-end using task-success rewards. Through world rehearsal, the policy internalizes the relationship between actions and their environment responses in its parameters, yielding an agent world model that directly supports decision making. Across BFCL-v4, tau^2-Bench, VitaBench, and FinMCP-Bench, EnvACE achieves strong and transferable performance, outperforming environment-scaling baselines in the overall evaluation. Controlled studies further show that world rehearsal consistently improves policy learning across model scales. At test time, the internalized world model enables private rehearsal before committed execution, yielding further gains under a moderate rehearsal budget without additional external interaction. Our findings establish world rehearsal as a new path toward scaling LLM agent training beyond the constraints of external environments. Our code is publicly available at https://github.com/Within-yao/EnvACE.