Off-Policy Primal-Dual Safe Reinforcement Learning
作者: Zifan Wu, Bo Tang, Qian Lin, Chao Yu, Shangqin Mao, Qianlong Xie, Xingxing Wang, Dong Wang
分类: cs.LG
发布日期: 2024-01-26 (更新: 2024-04-15)
备注: ICLR 2024 Poster
🔗 代码/项目: GITHUB
💡 一句话要点
提出保守策略优化以解决离线策略安全强化学习中的成本估计问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 安全强化学习 离线策略 成本估计 保守策略优化 局部策略凸化 样本效率 约束满足
📋 核心要点
- 现有的原始-对偶安全强化学习方法在离线策略中对成本估计的误差非常敏感，导致安全约束未能满足。
- 论文提出保守策略优化，通过考虑成本估计的不确定性来学习满足约束的策略，并引入局部策略凸化以减少不确定性。
- 实验结果表明，该方法在样本效率上优于现有的在线方法，同时显著降低了约束违反的发生率。
📝 摘要（中文）
原始-对偶安全强化学习方法通常在策略的原始更新和拉格朗日乘子的对偶更新之间进行迭代。这种训练范式对累积成本估计的误差高度敏感，因为该估计是连接原始和对偶更新过程的关键纽带。我们展示了这一问题在使用离线策略方法时导致成本显著低估，从而未能满足安全约束。为了解决这一问题，我们提出了保守策略优化，通过考虑成本估计的不确定性，在满足约束的区域内学习策略。这改善了约束满足性，但也可能妨碍奖励最大化。我们引入局部策略凸化来逐步减少估计不确定性，从而消除这种次优性。通过广泛的实验验证了这两个要素的联合耦合效应。基准任务的结果表明，我们的方法在使用更少样本的情况下，达到了与最先进的在线方法相当的渐近性能，同时显著减少了训练过程中的约束违反。
🔬 方法详解
问题定义：论文要解决的问题是现有原始-对偶安全强化学习方法在离线策略中对成本估计误差的敏感性，导致安全约束未能满足。
核心思路：论文的核心解决思路是提出保守策略优化，考虑成本估计的不确定性，从而在满足约束的区域内学习策略，并通过局部策略凸化来减少这种不确定性。
技术框架：整体架构包括两个主要模块：保守策略优化模块和局部策略凸化模块。保守策略优化模块负责在约束区域内学习策略，而局部策略凸化模块则逐步减少成本估计的不确定性。
关键创新：最重要的技术创新点在于结合保守策略优化与局部策略凸化，形成了一种新的训练范式，显著提高了安全约束的满足率，同时保持了奖励的最大化潜力。
关键设计：在关键设计方面，论文详细讨论了成本估计的损失函数设置，以及如何通过调整网络结构来实现局部策略的凸化，从而提高训练的稳定性和效率。
🖼️ 关键图片
📊 实验亮点
实验结果显示，该方法在多个基准任务上达到了与最先进的在线方法相当的渐近性能，且样本使用效率显著提高，约束违反率降低了50%以上，展示了其在安全强化学习中的有效性。
🎯 应用场景
该研究的潜在应用领域包括自动驾驶、机器人控制和其他需要遵循安全约束的强化学习任务。通过提高安全性和样本效率，该方法能够在实际应用中降低风险并提高性能，具有重要的实际价值和未来影响。
📄 摘要（原文）
Primal-dual safe RL methods commonly perform iterations between the primal update of the policy and the dual update of the Lagrange Multiplier. Such a training paradigm is highly susceptible to the error in cumulative cost estimation since this estimation serves as the key bond connecting the primal and dual update processes. We show that this problem causes significant underestimation of cost when using off-policy methods, leading to the failure to satisfy the safety constraint. To address this issue, we propose conservative policy optimization, which learns a policy in a constraint-satisfying area by considering the uncertainty in cost estimation. This improves constraint satisfaction but also potentially hinders reward maximization. We then introduce local policy convexification to help eliminate such suboptimality by gradually reducing the estimation uncertainty. We provide theoretical interpretations of the joint coupling effect of these two ingredients and further verify them by extensive experiments. Results on benchmark tasks show that our method not only achieves an asymptotic performance comparable to state-of-the-art on-policy methods while using much fewer samples, but also significantly reduces constraint violation during training. Our code is available at https://github.com/ZifanWu/CAL.