Supported Trust Region Optimization for Offline Reinforcement Learning

📄 arXiv: 2311.08935v1 📥 PDF

作者: Yixiu Mao, Hongchang Zhang, Chen Chen, Yi Xu, Xiangyang Ji

分类: cs.LG, cs.AI

发布日期: 2023-11-15

备注: Accepted at ICML 2023

💡 一句话要点

提出支持信任区域优化以解决离线强化学习中的分布外问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 离线强化学习 信任区域优化 策略约束 分布外问题 外推误差 机器人控制 自动驾驶

📋 核心要点

  1. 现有的离线强化学习方法在处理分布外问题和外推误差时存在显著不足，导致策略性能不稳定。
  2. 本文提出的支持信任区域优化（STR）方法，通过在行为策略的支持范围内进行优化，减少了对策略的严格约束。
  3. 实验结果表明，STR在MuJoCo和AntMaze等复杂环境中表现优异，验证了其理论基础和实际应用效果。

📝 摘要（中文）

离线强化学习面临分布外问题和外推误差的挑战。大多数策略约束方法通过将训练策略的密度正则化到行为策略上，但这种方法在许多情况下过于严格。本文提出了支持信任区域优化（STR），该方法在行为策略的支持范围内进行信任区域策略优化，从而享受更少限制的支持约束。理论证明，在假设没有近似和采样误差的情况下，STR保证严格的策略改进，直到收敛到数据集中最优的支持约束策略。即使在考虑到误差的情况下，STR仍然保证每一步的安全策略改进。实证结果验证了STR的理论，并在MuJoCo运动领域和更具挑战性的AntMaze领域展示了其最先进的性能。

🔬 方法详解

问题定义：离线强化学习中的分布外问题和外推误差导致策略性能下降，现有方法往往通过严格约束来解决，但效果有限。

核心思路：支持信任区域优化（STR）通过在行为策略的支持范围内进行优化，提供了一种更灵活的策略约束方式，从而实现更有效的策略改进。

技术框架：STR的整体框架包括策略评估和策略改进两个主要阶段，首先评估当前策略在行为策略支持下的表现，然后在此基础上进行优化。

关键创新：STR的核心创新在于其支持约束的灵活性，允许在行为策略的支持范围内进行优化，而不是强制要求与行为策略完全一致，这与传统方法形成鲜明对比。

关键设计：STR在设计上考虑了近似和采样误差，确保每一步的策略改进是安全的。具体的损失函数和优化算法的选择也经过精心设计，以保证收敛性和性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，STR在MuJoCo locomotion领域和AntMaze领域的表现均优于现有的基线方法，特别是在复杂任务中，策略的成功率和效率显著提升，验证了其理论的有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶、游戏智能体等，能够在复杂环境中实现更高效的决策和策略优化。通过解决离线强化学习中的关键问题，STR有望推动相关领域的技术进步和实际应用。

📄 摘要（原文）

Offline reinforcement learning suffers from the out-of-distribution issue and extrapolation error. Most policy constraint methods regularize the density of the trained policy towards the behavior policy, which is too restrictive in most cases. We propose Supported Trust Region optimization (STR) which performs trust region policy optimization with the policy constrained within the support of the behavior policy, enjoying the less restrictive support constraint. We show that, when assuming no approximation and sampling error, STR guarantees strict policy improvement until convergence to the optimal support-constrained policy in the dataset. Further with both errors incorporated, STR still guarantees safe policy improvement for each step. Empirical results validate the theory of STR and demonstrate its state-of-the-art performance on MuJoCo locomotion domains and much more challenging AntMaze domains.