EnvRL: Learn from Environment Dynamics in Agentic Reinforcement Learning

📄 arXiv: 2606.17680v1 📥 PDF

作者: Zhitong Wang, Songze Li, Hao Peng, Shuzheng Si, Yi Wang, Maosong Sun, Juanzi Li

分类: cs.LG, cs.CL

发布日期: 2026-06-16

💡 一句话要点

提出EnvRL框架以改善长时间任务中的稀疏奖励问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 环境动态 策略学习 长时间任务 智能体

📋 核心要点

  1. 现有的强化学习方法在长时间任务中面临稀疏奖励的问题，导致学习效率低下。
  2. 本文提出EnvRL框架，通过引入环境动态学习，利用状态预测和逆动态两个辅助目标来改善策略学习。
  3. 在ALFWorld和WebShop等基准测试中，EnvRL显著提高了成功率，展示了其有效性。

📝 摘要（中文）

强化学习（RL）已成为训练大型语言模型（LLMs）作为智能体的强大范式。然而，传统的RL方法在长时间任务中常常面临稀疏奖励的问题，忽视了从交互轨迹中获取的丰富环境动态信息。本文提出EnvRL框架，通过状态预测和逆动态两个辅助目标，利用环境动态学习来改善策略学习。通过与主要RL目标的联合优化，鼓励智能体从自身的交互经验中内化环境动态。实验证明，EnvRL在两个长时间基准上显著提高了成功率。

🔬 方法详解

问题定义：本文旨在解决传统强化学习在长时间任务中因稀疏奖励而导致的学习效率低下问题。现有方法往往忽视了交互轨迹中蕴含的环境动态信息，限制了智能体的学习能力。

核心思路：EnvRL框架的核心思想是利用环境动态信息作为隐式监督信号，通过状态预测和逆动态两个辅助目标，帮助智能体更好地理解环境，从而提高策略学习的效果。

技术框架：EnvRL的整体架构包括三个主要模块：环境动态学习模块、策略学习模块和联合优化模块。环境动态学习模块负责提取环境的动态特征，策略学习模块则基于这些特征进行策略优化，联合优化模块确保两个模块的协同工作。

关键创新：EnvRL的创新点在于将环境动态学习与强化学习相结合，通过引入辅助目标来增强智能体的学习能力。这一方法与传统RL方法的本质区别在于，后者通常只依赖于稀疏奖励信号。

关键设计：在设计上，EnvRL使用了特定的损失函数来平衡主目标和辅助目标的优化过程，同时在网络结构上采用了适应性调整，以便更好地捕捉环境动态特征。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在ALFWorld基准上，EnvRL通过与GRPO结合，将Qwen-2.5-1.5B-Instruct的成功率从72.8%提升至77.4%；在WebShop基准上，从56.8%提升至67.0%。这些结果表明，EnvRL显著优于仅使用RL的基线方法。

🎯 应用场景

EnvRL框架在长时间任务中的应用潜力巨大，尤其适用于需要复杂决策的领域，如机器人控制、自动驾驶和智能游戏等。通过提高智能体的学习效率，EnvRL能够加速这些领域的技术发展，推动更智能的系统实现。

📄 摘要（原文）

Reinforcement learning (RL) has emerged as a powerful paradigm for training Large Language Models (LLMs) as agents. However, conventional RL methods for long-horizon agentic tasks often struggle with sparse outcome rewards. Intuitively, this overlooks the rich environment dynamics information contained in rollout interaction trajectories. We argue that the interaction experience inherently serves as an implicit supervision signal, reveals the underlying transition mechanisms of the environment, and enables the agent to construct a more accurate internal model of the environment.. Therefore, in this work, we investigate how to leverage this additional signal to improve policy learning. Specifically, we propose EnvRL, a framework that incorporates environment dynamics learning into agentic RL via two auxiliary objectives: state prediction and inverse dynamics. By jointly optimizing with the primary RL objective, we encourage the agent to internalize environment dynamics from its own interaction experience. Extensive experiments on two long-horizon agentic benchmarks demonstrate that EnvRL achieves significant improvements on success-rates over RL-only baselines, e.g., when trained with GRPO, lifting Qwen-2.5-1.5B-Instruct from 72.8% to 77.4% on ALFWorld, and from 56.8% to 67.0% on WebShop.