Trust Region Inverse Reinforcement Learning: Explicit Dual Ascent using Local Policy Updates

📄 arXiv: 2605.11020 📥 PDF

作者: Anish Diwan, Davide Tateo, Christopher E. Mower, Haitham Bou-Ammar, Jan Peters, Oleg Arenz

分类: cs.LG, cs.AI, cs.RO

发布日期: 2026-07-05

💡 一句话要点

提出信任区域逆强化学习以解决稳定性与效率问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 逆强化学习 信任区域 策略优化 奖励函数 模仿学习 对抗性方法 动态适应

📋 核心要点

  1. 现有的逆强化学习方法在每次迭代中需完全解决强化学习问题，导致计算成本高且不稳定。
  2. 本文提出的TRIRL方法通过局部搜索优化奖励函数，避免了完全求解RL问题的需求，实现了单调改进。
  3. 实验结果显示，TRIRL在多个复杂任务中相较于现有模仿学习方法性能提升了2.4倍，且学习的奖励函数具有良好的泛化能力。

📝 摘要（中文）

逆强化学习（IRL）通常通过最大化熵来匹配专家轨迹的分布。传统的双重上升IRL保证了性能的单调提升，但每次迭代都需完全解决强化学习问题以计算双重梯度。近期的对抗性方法虽然避免了这一成本，但牺牲了稳定性和单调性。本文提出了一种信任区域逆强化学习（TRIRL）方法，能够在不完全解决强化学习问题的情况下，实现奖励函数和策略的单调改进。我们的理论洞察是，针对奖励函数更新的信任区域最优策略可以在同一方向的小更新中达到全局最优。实验表明，TRIRL在多个挑战性任务中相较于最先进的模仿学习方法提升了2.4倍的性能，同时学习到的奖励函数能够适应系统动态的变化。

🔬 方法详解

问题定义：本文旨在解决逆强化学习中传统方法的高计算成本和不稳定性问题。现有的双重上升IRL方法需要在每次迭代中完全解决强化学习问题，导致效率低下。

核心思路：TRIRL方法通过引入信任区域的概念，使得在更新奖励函数时可以只依赖于当前策略的局部搜索，从而避免了完全求解RL问题的需求，实现了奖励函数和策略的单调改进。

技术框架：TRIRL的整体架构包括奖励函数的更新模块和策略优化模块。首先，通过局部搜索优化当前策略，然后在此基础上更新奖励函数，确保每次更新都能保持单调性。

关键创新：TRIRL的核心创新在于将信任区域策略与逆强化学习结合，使得在不完全求解RL问题的情况下，仍能实现全局最优的奖励函数更新。这一方法有效避免了对抗性方法的训练不稳定性。

关键设计：在TRIRL中，关键参数包括信任区域的大小和局部搜索的步长。损失函数设计上，确保了奖励函数的更新能够与专家演示相匹配，同时保持策略的稳定性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个挑战性任务中，TRIRL方法的性能提升显著，相较于最先进的模仿学习方法，其在聚合四分位均值上的提升达到了2.4倍，展示了其在学习奖励函数和适应系统动态变化方面的优越性。

🎯 应用场景

TRIRL方法在机器人控制、自动驾驶和人机交互等领域具有广泛的应用潜力。通过有效学习奖励函数，该方法能够在动态环境中适应变化，提高系统的智能决策能力，未来可能推动更复杂的自主系统的发展。

📄 摘要（原文）

Inverse reinforcement learning (IRL) is typically formulated as maximizing entropy subject to matching the distribution of expert trajectories. Classical (dual-ascent) IRL guarantees monotonic performance improvement but requires fully solving an RL problem each iteration to compute dual gradients. More recent adversarial methods avoid this cost at the expense of stability and monotonic dual improvement, by directly optimizing the primal problem and using a discriminator to provide rewards. In this work, we bridge the gap between these approaches by enabling monotonic improvement of the reward function and policy without having to fully solve an RL problem at every iteration. Our key theoretical insight is that a trust-region-optimal policy for a reward function update can be globally optimal for a smaller update in the same direction. This smaller update allows us to explicitly optimize the dual objective while only relying on a local search around the current policy. In doing so, our approach avoids the training instabilities of adversarial methods, offers monotonic performance improvement, and learns a reward function in the traditional sense of IRL--one that can be globally optimized to match expert demonstrations. Our proposed algorithm, Trust Region Inverse Reinforcement Learning (TRIRL), outperforms state-of-the-art imitation learning methods across multiple challenging tasks by a factor of 2.4x in terms of aggregate inter-quartile mean, while recovering reward functions that generalize to system dynamics shifts.