Long-term Safe Reinforcement Learning with Binary Feedback

📄 arXiv: 2401.03786v2 📥 PDF

作者: Akifumi Wachi, Wataru Hashimoto, Kazumune Hashimoto

分类: cs.LG, cs.AI, cs.RO

发布日期: 2024-01-08 (更新: 2024-01-11)

备注: Accepted to AAAI-24

💡 一句话要点

提出LoBiSaRL以解决安全强化学习中的反馈问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 安全强化学习 二元反馈 约束马尔可夫决策过程 广义线性模型 长期安全性 策略优化 随机状态转移

📋 核心要点

  1. 现有安全强化学习方法通常依赖数值反馈，无法保证学习过程中的安全性，并且假设已知的安全策略。
  2. 本文提出的LoBiSaRL算法通过二元安全反馈和未知状态转移函数来优化策略，确保长期安全性。
  3. 实验结果表明，LoBiSaRL在安全性方面优于现有方法，同时在奖励性能上保持竞争力。

📝 摘要（中文）

安全性是将强化学习应用于实际问题的必要条件。尽管近年来提出了许多安全强化学习算法，但大多数现有方法依赖于数值安全反馈，无法在学习过程中保证安全，且通常假设已知的安全策略。为了解决这些问题，本文提出了长时二元反馈安全强化学习算法（LoBiSaRL），该算法适用于具有二元安全反馈和未知随机状态转移函数的约束马尔可夫决策过程。LoBiSaRL通过最大化奖励来优化策略，同时确保在每个回合中以高概率执行安全的状态-动作对。理论结果表明，LoBiSaRL能够在高概率下保证长期安全约束，实验结果显示该算法在安全性上优于现有方法，同时在奖励性能上没有显著妥协。

🔬 方法详解

问题定义：本文旨在解决安全强化学习中对数值安全反馈的依赖以及在学习过程中无法保证安全的问题。现有方法通常假设已知的安全策略，限制了其应用范围。

核心思路：LoBiSaRL通过引入二元安全反馈，优化策略以确保在每个回合中执行安全的状态-动作对。该方法利用广义线性模型（GLM）来建模安全函数，并在每个时间步采取保守的安全行动。

技术框架：LoBiSaRL的整体架构包括状态转移模型、策略优化模块和安全反馈模块。算法首先通过GLM建模安全反馈，然后在策略优化过程中考虑未来的安全影响。

关键创新：LoBiSaRL的主要创新在于其使用二元安全反馈和对未知状态转移函数的处理，确保在高概率下满足长期安全约束。这与传统方法的数值反馈和已知策略假设形成了鲜明对比。

关键设计：在算法设计中，关键参数包括安全反馈的建模方式和策略优化的损失函数。通过合理的假设，LoBiSaRL能够在每个时间步采取安全行动，确保长期安全性。具体的网络结构和参数设置在实验中进行了详细验证。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LoBiSaRL在安全性方面显著优于现有方法，能够在高概率下满足长期安全约束。同时，算法在奖励性能上保持了与基线方法相当的水平，未出现显著的性能下降。这表明LoBiSaRL在安全与性能之间实现了良好的平衡。

🎯 应用场景

LoBiSaRL算法具有广泛的应用潜力，特别是在需要高安全性的领域，如自动驾驶、机器人控制和医疗决策等。通过确保长期安全性，该算法能够在复杂和动态的环境中有效地执行任务，减少潜在的风险和损失。未来，LoBiSaRL可能会推动安全强化学习在更多实际场景中的应用。

📄 摘要（原文）

Safety is an indispensable requirement for applying reinforcement learning (RL) to real problems. Although there has been a surge of safe RL algorithms proposed in recent years, most existing work typically 1) relies on receiving numeric safety feedback; 2) does not guarantee safety during the learning process; 3) limits the problem to a priori known, deterministic transition dynamics; and/or 4) assume the existence of a known safe policy for any states. Addressing the issues mentioned above, we thus propose Long-term Binaryfeedback Safe RL (LoBiSaRL), a safe RL algorithm for constrained Markov decision processes (CMDPs) with binary safety feedback and an unknown, stochastic state transition function. LoBiSaRL optimizes a policy to maximize rewards while guaranteeing a long-term safety that an agent executes only safe state-action pairs throughout each episode with high probability. Specifically, LoBiSaRL models the binary safety function via a generalized linear model (GLM) and conservatively takes only a safe action at every time step while inferring its effect on future safety under proper assumptions. Our theoretical results show that LoBiSaRL guarantees the long-term safety constraint, with high probability. Finally, our empirical results demonstrate that our algorithm is safer than existing methods without significantly compromising performance in terms of reward.