Evolutionary Bilevel Reward Shaping for Generalization in Reinforcement Learning

📄 arXiv: 2606.16236v1 📥 PDF

作者: Ekasit Usaratniwart, Xilin Gao, Marc Ong, Youhei Akimoto

分类: cs.LG, cs.NE

发布日期: 2026-06-15

备注: Accepted at PPSN 2026

💡 一句话要点

提出进化双层奖励塑形以解决强化学习泛化问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 泛化能力 奖励塑形 双层优化 进化算法 连续控制 数据受限

📋 核心要点

  1. 现有强化学习方法在不同训练环境下表现不佳，尤其在缺乏完整轨迹数据时更为明显。
  2. 本文提出的GERS方法通过双层优化，利用标量反馈来塑造奖励函数，从而提升在未见环境中的学习效果。
  3. 实验结果显示，GERS在连续控制任务中超越了标准RL基线，且在数据受限情况下表现与领域随机化相当。

📝 摘要（中文）

强化学习（RL）在与训练环境不同的情况下常常面临性能下降的问题。现有技术如领域随机化（DR）虽然能缓解此问题，但需要多样化的训练环境和完整的轨迹可观测性，这在隐私保护或受限场景下难以实现。本文提出了一种名为进化奖励塑形的泛化方法（GERS），通过双层优化来改善在未见测试环境中的泛化能力，仅依赖于来自验证环境的标量反馈。GERS在连续控制任务中的实验结果表明，其在未见测试环境中的表现优于标准RL基线，且在数据访问受限的情况下有效提升了泛化能力。

🔬 方法详解

问题定义：本文旨在解决强化学习在不同环境中泛化能力不足的问题。现有方法如领域随机化需要完整的轨迹数据，难以在隐私保护或数据受限的场景中应用。

核心思路：GERS方法通过双层优化结构，利用来自验证环境的标量反馈来塑造奖励函数，使得RL代理能够在有限的训练环境中学习有效的策略。

技术框架：GERS的整体架构包括两个层次：下层是RL代理在有限训练环境中学习的过程，上层是使用CMA-ES优化奖励塑形参数，以最大化在验证环境中的未塑形累计奖励。

关键创新：GERS的创新在于其双层优化结构，能够在不依赖完整轨迹的情况下，通过优化奖励塑形参数来提升泛化能力，这与传统方法有本质区别。

关键设计：在GERS中，奖励塑形参数的优化使用CMA-ES算法，确保在不同的验证环境中最大化未塑形奖励，同时下层RL代理的训练则依赖于有限的可访问轨迹数据。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，GERS在连续控制任务中显著优于标准RL基线，尤其在未见测试环境中表现出色。尽管领域随机化需要完整的训练和验证轨迹，GERS在相同条件下的表现却相当，验证了其在受限数据访问情况下的有效性。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶、游戏AI等需要在多变环境中进行决策的场景。通过提升强化学习的泛化能力，GERS能够在数据受限的情况下实现更为稳健的学习，具有重要的实际价值和未来影响。

📄 摘要（原文）

Reinforcement learning (RL) often suffers from performance degradation when deployed in environments that differ from those encountered during training. Existing techniques such as domain randomization (DR) mitigate this, but require access to diverse training environments and full trajectory observability, assumptions that fail in privacy-preserving or restricted scenarios where only scalar performance metrics are available. We propose Generalization via Evolutionary Reward Shaping (GERS), a bilevel optimization approach to improve generalization on unseen test environments using only scalar feedback from validation environments. At the lower level, an RL agent guided via a reward function shaped by the upper level learns a policy on a limited set of training environments with accessible trajectory data; at the upper level, CMA-ES optimizes the reward shaping parameters to maximize the cumulative unshaped reward on separate validation environments for which trajectory access is unavailable. Results on continuous control tasks indicate that GERS outperforms the standard RL baseline on unseen test environments. GERS performance is comparable to DR, despite DR treating the combined set of training and validation environments of GERS as a single training set that requires trajectory access, whereas GERS cannot access validation trajectories. These results confirm that GERS effectively enhances generalization under restricted data access constraints.