Compositional shield synthesis for safe reinforcement learning in partial observability

📄 arXiv: 2509.12085v1 📥 PDF

作者: Steven Carr, Georgios Bakirtzis, Ufuk Topcu

分类: eess.SY

发布日期: 2025-09-15

💡 一句话要点

提出一种组合式安全盾牌合成方法，用于部分可观测环境下的安全强化学习。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 安全强化学习 部分可观测性 安全盾牌 组合式合成 POMDP

📋 核心要点

  1. 强化学习智能体在部分可观测环境中易进入不安全状态，传统整体安全盾牌合成计算成本高昂。
  2. 论文提出组合式安全盾牌合成方法，将安全需求分解为多个部分，提升了可扩展性。
  3. 实验表明，该方法在保证安全性的同时，能使智能体收敛到更高的期望奖励，并减少训练次数。

📝 摘要（中文）

强化学习（RL）算法控制的智能体经常会进入不安全状态，尤其是在不确定和部分可观测的环境中。部分可观测马尔可夫决策过程（POMDP）为研究这种有限感知场景提供了一个自然的环境。安全盾牌通过过滤不良动作来确保安全RL，从而在智能体的策略中保持安全要求。然而，在复杂的部署场景中，整体安全盾牌的合成在计算上是昂贵的。本文提出通过对安全要求进行分部分建模来组合合成安全盾牌，从而提高可扩展性。特别地，使用RL算法的POMDP形式的问题公式表明，配备组合式安全盾牌的RL智能体，除了安全之外，还能收敛到更高的期望奖励值。通过使用子问题公式，我们保留并提高了安全盾牌智能体的能力，使其比未安全盾牌的智能体需要更少的训练次数，尤其是在稀疏奖励设置中。具体而言，我们发现组合式安全盾牌合成允许RL智能体在比其他最先进的基于模型的方法大两个数量级的环境中保持安全。

🔬 方法详解

问题定义：论文旨在解决部分可观测马尔可夫决策过程（POMDP）中，强化学习智能体在复杂环境中难以保证安全性的问题。现有整体安全盾牌合成方法在计算上成本高昂，难以扩展到大规模环境，限制了其应用。

核心思路：论文的核心思路是将整体的安全需求分解为多个子问题，针对每个子问题分别合成安全盾牌，然后将这些盾牌组合起来，形成一个组合式的安全盾牌。这种分解降低了每个子问题的复杂度，从而提高了合成效率和可扩展性。通过组合多个子盾牌，可以保证整体的安全约束。

技术框架：整体框架包括以下几个主要阶段：1) 将整体安全需求分解为多个子需求；2) 针对每个子需求，建立对应的POMDP子问题模型；3) 使用强化学习算法训练每个子问题的安全盾牌；4) 将各个子盾牌组合成一个整体的组合式安全盾牌；5) 将组合式安全盾牌集成到强化学习智能体的策略中，用于过滤不安全动作。

关键创新：论文的关键创新在于提出了组合式安全盾牌合成方法，通过分解安全需求来降低合成的复杂度，从而提高了可扩展性。与传统的整体安全盾牌合成方法相比，该方法能够处理更大规模、更复杂的环境。此外，该方法还能够利用子问题之间的独立性，并行合成多个子盾牌，进一步提高效率。

关键设计：论文中，子问题的划分方式、子盾牌的组合策略以及强化学习算法的选择是关键的设计要素。子问题的划分需要保证每个子问题都具有一定的独立性，同时又要能够覆盖整体的安全需求。子盾牌的组合策略需要保证组合后的盾牌能够满足整体的安全约束。强化学习算法的选择需要考虑算法的收敛速度、稳定性和对部分可观测环境的适应性。具体的参数设置和网络结构等技术细节在论文中未详细说明，属于未知信息。

📊 实验亮点

实验结果表明，与传统的整体安全盾牌合成方法相比，该方法能够处理更大规模的环境（两个数量级）。此外，配备组合式安全盾牌的RL智能体，在保证安全性的同时，能够收敛到更高的期望奖励值，并且需要更少的训练次数，尤其是在稀疏奖励设置中。这些结果验证了该方法的有效性和优越性。

🎯 应用场景

该研究成果可应用于机器人导航、自动驾驶、智能制造等领域，在这些领域中，智能体需要在不确定和部分可观测的环境中安全地执行任务。通过使用组合式安全盾牌，可以有效地防止智能体进入危险状态，提高系统的可靠性和安全性。该方法还有助于降低强化学习算法的训练成本，加速其在实际场景中的部署。

📄 摘要（原文）

Agents controlled by the output of reinforcement learning (RL) algorithms often transition to unsafe states, particularly in uncertain and partially observable environments. Partially observable Markov decision processes (POMDPs) provide a natural setting for studying such scenarios with limited sensing. Shields filter undesirable actions to ensure safe RL by preserving safety requirements in the agents' policy. However, synthesizing holistic shields is computationally expensive in complex deployment scenarios. We propose the compositional synthesis of shields by modeling safety requirements by parts, thereby improving scalability. In particular, problem formulations in the form of POMDPs using RL algorithms illustrate that an RL agent equipped with the resulting compositional shielding, beyond being safe, converges to higher values of expected reward. By using subproblem formulations, we preserve and improve the ability of shielded agents to require fewer training episodes than unshielded agents, especially in sparse-reward settings. Concretely, we find that compositional shield synthesis allows an RL agent to remain safe in environments two orders of magnitude larger than other state-of-the-art model-based approaches.