Adversarially Trained Weighted Actor-Critic for Safe Offline Reinforcement Learning

📄 arXiv: 2401.00629v2 📥 PDF

作者: Honghao Wei, Xiyue Peng, Arnob Ghosh, Xin Liu

分类: cs.LG

发布日期: 2024-01-01 (更新: 2024-10-31)

💡 一句话要点

提出WSAC算法以解决安全离线强化学习问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 安全离线强化学习 加权安全演员-评论家 对抗训练 斯塔克尔博弈 策略优化 鲁棒性 统计收敛

📋 核心要点

  1. 现有的安全离线强化学习方法在有限数据覆盖下难以优化策略，且难以保证安全性。
  2. WSAC算法通过双人斯塔克尔博弈的设计，优化一个精炼的目标函数，利用对抗训练的价值评论家来提升策略性能。
  3. 实验结果表明，WSAC在多个连续控制任务中超越了现有的安全离线强化学习算法，验证了其理论保证。

📝 摘要（中文）

本文提出了一种新算法WSAC（加权安全演员-评论家），用于在功能近似下的安全离线强化学习。WSAC通过设计为一个双人斯塔克尔博弈，优化精炼的目标函数，能够在有限数据覆盖下，稳健地优化策略以超越任意参考策略。理论上，我们证明了WSAC在安全离线强化学习环境中首次能够产生超越任何参考策略的政策，同时保持相同的安全水平。此外，WSAC在统计收敛率上达到了$1/ ext{sqrt}{N}$的最优水平，且在广泛的超参数范围内保证安全政策的改进，显示出其实用的鲁棒性。我们还提供了WSAC的实用版本，并在多个连续控制环境中与现有的最先进的安全离线强化学习算法进行了比较，结果表明WSAC在各项任务中均优于所有基线，支持了理论结果。

🔬 方法详解

问题定义：本文旨在解决安全离线强化学习中策略优化的挑战，现有方法在有限数据下难以保证策略的安全性和有效性。

核心思路：WSAC算法通过将问题建模为双人斯塔克尔博弈，利用对抗训练的价值评论家来优化策略，从而在保持安全性的同时提升策略性能。

技术框架：WSAC的整体架构包括两个主要模块：演员和评论家。演员负责优化策略，而评论家则通过小重要性加权的贝尔曼误差来评估策略，重点关注演员表现不佳的场景。

关键创新：WSAC的主要创新在于首次在安全离线强化学习中实现了超越任意参考策略的政策，同时保持相同的安全水平，且在统计收敛率上达到了最优水平。

关键设计：WSAC的设计包括对抗训练的价值评论家、无悔优化的演员策略以及超参数的调节，这些设计确保了算法在多种任务中的鲁棒性和有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

WSAC在多个连续控制任务中表现优异，超越了所有基线算法，验证了其理论结果。具体而言，WSAC在统计收敛率上达到了$1/ ext{sqrt}{N}$，并在安全性方面保持了与参考策略相同的水平，显示出其在安全离线强化学习中的卓越性能。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、机器人控制和医疗决策等需要高安全性和高效性的强化学习场景。WSAC算法的设计能够在有限数据下优化策略，具有重要的实际价值和未来影响，尤其是在安全性至关重要的应用中。

📄 摘要（原文）

We propose WSAC (Weighted Safe Actor-Critic), a novel algorithm for Safe Offline Reinforcement Learning (RL) under functional approximation, which can robustly optimize policies to improve upon an arbitrary reference policy with limited data coverage. WSAC is designed as a two-player Stackelberg game to optimize a refined objective function. The actor optimizes the policy against two adversarially trained value critics with small importance-weighted Bellman errors, which focus on scenarios where the actor's performance is inferior to the reference policy. In theory, we demonstrate that when the actor employs a no-regret optimization oracle, WSAC achieves a number of guarantees: (i) For the first time in the safe offline RL setting, we establish that WSAC can produce a policy that outperforms any reference policy while maintaining the same level of safety, which is critical to designing a safe algorithm for offline RL. (ii) WSAC achieves the optimal statistical convergence rate of $1/\sqrt{N}$ to the reference policy, where $N$ is the size of the offline dataset. (iii) We theoretically show that WSAC guarantees a safe policy improvement across a broad range of hyperparameters that control the degree of pessimism, indicating its practical robustness. Additionally, we offer a practical version of WSAC and compare it with existing state-of-the-art safe offline RL algorithms in several continuous control environments. WSAC outperforms all baselines across a range of tasks, supporting the theoretical results.