Concurrent Learning of Policy and Unknown Safety Constraints in Reinforcement Learning
作者: Lunet Yifru, Ali Baheri
分类: eess.SY, cs.LG
发布日期: 2024-02-24 (更新: 2024-03-24)
💡 一句话要点
提出一种新方法以同时学习安全约束和策略
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 强化学习 安全约束 双层优化 贝叶斯优化 控制策略 动态环境 参数识别
📋 核心要点
- 现有的安全强化学习方法主要依赖于预定义的安全约束，难以适应动态环境中的变化。
- 本文提出了一种新颖的方法，通过双层优化同时学习安全策略和未知的安全约束参数。
- 实验结果显示，该方法在不同环境约束下均能有效学习安全策略，并与理想情况下的表现接近。
📝 摘要（中文）
强化学习（RL）在多个领域的决策中取得了革命性进展，但在现实场景中部署RL策略时，确保安全性是一个重要挑战。传统的安全RL方法主要依赖于预定义的安全约束，这在动态和不可预测的环境中存在局限性。为了解决这一问题，本文提出了一种新方法，能够同时学习安全RL控制策略并识别环境中的未知安全约束参数。通过将问题框架化为双层优化任务，结合约束策略优化和贝叶斯优化，实验结果表明该方法在多种环境约束下均能有效学习安全策略，并成功识别安全约束参数，表现出与真实环境安全约束的高度一致性。
🔬 方法详解
问题定义：本文旨在解决在动态和不可预测环境中，如何有效学习安全强化学习策略及其未知安全约束参数的问题。现有方法依赖于预定义的安全约束，限制了其适应性和灵活性。
核心思路：论文的核心思路是将安全策略学习与未知安全约束参数识别结合，通过双层优化框架实现。该设计使得模型能够在缺乏完整安全约束知识的情况下，仍然能够学习到安全的控制策略。
技术框架：整体架构包括两个主要模块：一是基于拉格朗日变体的双延迟深度确定性策略梯度（TD3）算法进行约束策略优化，二是利用贝叶斯优化来优化给定的参数化信号时序逻辑（pSTL）安全规范。
关键创新：最重要的技术创新在于将安全策略学习与未知约束参数识别整合为一个双层优化问题，这与传统方法的单一约束学习方式有本质区别。
关键设计：在技术细节上，采用了小规模初始标记数据集来初始化模型，并设计了适应性强的损失函数，以确保在学习过程中能够有效调整策略和约束参数。具体的网络结构和参数设置在实验中经过多次调优，以达到最佳性能。
🖼️ 关键图片
📊 实验亮点
实验结果表明，提出的方法在多种环境约束下均能学习到安全的强化学习策略，且收益高。与理想情况下的表现相比，模型在识别安全约束参数方面展现出高度一致性，验证了其有效性和优越性。
🎯 应用场景
该研究的潜在应用领域包括自动驾驶、机器人控制和工业自动化等需要高安全性的决策场景。通过有效识别和学习安全约束，该方法能够提升系统的安全性和可靠性，具有重要的实际价值和广泛的应用前景。
📄 摘要（原文）
Reinforcement learning (RL) has revolutionized decision-making across a wide range of domains over the past few decades. Yet, deploying RL policies in real-world scenarios presents the crucial challenge of ensuring safety. Traditional safe RL approaches have predominantly focused on incorporating predefined safety constraints into the policy learning process. However, this reliance on predefined safety constraints poses limitations in dynamic and unpredictable real-world settings where such constraints may not be available or sufficiently adaptable. Bridging this gap, we propose a novel approach that concurrently learns a safe RL control policy and identifies the unknown safety constraint parameters of a given environment. Initializing with a parametric signal temporal logic (pSTL) safety specification and a small initial labeled dataset, we frame the problem as a bilevel optimization task, intricately integrating constrained policy optimization, using a Lagrangian-variant of the twin delayed deep deterministic policy gradient (TD3) algorithm, with Bayesian optimization for optimizing parameters for the given pSTL safety specification. Through experimentation in comprehensive case studies, we validate the efficacy of this approach across varying forms of environmental constraints, consistently yielding safe RL policies with high returns. Furthermore, our findings indicate successful learning of STL safety constraint parameters, exhibiting a high degree of conformity with true environmental safety constraints. The performance of our model closely mirrors that of an ideal scenario that possesses complete prior knowledge of safety constraints, demonstrating its proficiency in accurately identifying environmental safety constraints and learning safe policies that adhere to those constraints.