Provably Safe, Yet Scalable Reinforcement Learning

📄 arXiv: 2606.14536v1 📥 PDF

作者: Kai S. Yun, Zeyang Li, Navid Azizan

分类: cs.LG, cs.RO, eess.SY

发布日期: 2026-06-12

💡 一句话要点

提出PS2-RL框架以解决安全强化学习的可扩展性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 安全强化学习 可扩展性 控制不变集 备份策略 机器人控制 价值函数 深度学习

📋 核心要点

  1. 现有安全强化学习方法在提供正式安全保障的同时，往往面临可扩展性差和过于保守的问题。
  2. PS2-RL框架通过两阶段架构，利用学习的备份策略在线生成隐式控制不变集，从而实现安全保障与可扩展性。
  3. 在机器人控制任务中，PS2-RL在状态维度高达10的情况下表现优异，克服了传统方法的局限性。

📝 摘要（中文）

安全强化学习（RL）旨在学习在满足约束条件下优化奖励的策略。现有方法通常依赖于软约束策略优化，虽然在实践中取得了一定成功，但未能提供正式的安全保障。相对而言，具有严格保障的方法通常依赖于显式证书函数，其构建需要直接合成和验证控制不变集，这一过程在状态维度上扩展性较差，且常常导致过于保守的行为。本文提出了可证明安全且可扩展的RL（PS2-RL）框架，这是一种新颖的两阶段架构，旨在以可扩展的方式学习可证明安全的策略，克服了先前方法的关键瓶颈。PS2-RL通过学习备份策略在线生成隐式控制不变集，而不是显式计算不变集。第一阶段，备份策略通过安全到达价值函数进行训练；第二阶段，通过可微投影层端到端训练RL策略，严格执行备份策略带来的安全保障。

🔬 方法详解

问题定义：本文旨在解决现有安全强化学习方法在提供安全保障的同时，面临的可扩展性差和过于保守的问题。现有方法通常依赖显式证书函数和控制不变集的构建，难以在高维状态空间中有效应用。

核心思路：PS2-RL框架的核心思路是通过学习备份策略在线生成隐式控制不变集，而不是显式计算，从而提高了可扩展性和安全性。第一阶段训练备份策略，第二阶段通过可微投影层训练RL策略，确保安全保障。

技术框架：PS2-RL框架分为两个主要阶段：第一阶段使用安全到达价值函数训练备份策略，生成隐式控制不变集；第二阶段通过可微投影层端到端训练RL策略，严格执行安全保障。

关键创新：PS2-RL的关键创新在于不再依赖显式的控制不变集，而是通过学习的备份策略在线生成隐式控制不变集，从而在保证安全的同时提升了可扩展性。

关键设计：在第一阶段，使用安全到达价值函数作为损失函数，确保备份策略的最优性；在第二阶段，设计了可微投影层以严格执行安全保障，确保训练过程中的安全性。整体架构灵活，能够与现有的RL算法无缝集成。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在机器人控制任务中，PS2-RL框架在状态维度高达10的情况下表现出色，相较于传统的可证明安全RL方法，显著提升了性能和可扩展性，展示了良好的实际应用潜力。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、机器人控制和其他需要安全保障的强化学习任务。通过提供可证明的安全性和良好的可扩展性，PS2-RL框架能够在复杂环境中有效应用，推动安全强化学习的实际应用。未来，该框架可能会影响更多领域的安全决策和控制策略的设计。

📄 摘要（原文）

Safe reinforcement learning (RL) aims to learn policies that optimize rewards while satisfying constraints. Predominant approaches rely on soft-constrained policy optimization, which has achieved empirical success but does not provide formal safety guarantees for the learned policy. In contrast, methods with strict guarantees typically rely on explicit certificate functions, whose construction requires the direct synthesis and verification of control-invariant sets, a process that scales poorly with state dimension and often yields overly conservative behavior. In this paper, we present the Provably Safe, yet Scalable RL (PS2-RL) framework, a novel two-phase architecture for learning provably safe policies in a scalable manner, designed to overcome the key bottlenecks of prior methods. Rather than explicitly computing invariant sets, PS2-RL leverages a learned backup policy to forward-integrate the system dynamics, generating an implicit control-invariant set online. In the first phase, the backup policy is trained with our proposed safe-arrival value function, which characterizes the optimal backup policy for invariant-set construction. In the second phase, an RL policy is trained end-to-end through a differentiable projection layer that strictly enforces the safety guarantees induced by the learned backup policy. By maximizing the volume of the implicit control-invariant set in the first phase, the resulting PS2 policy from the second phase is performant and scalable, while maintaining provable safety. Crucially, PS2-RL imposes no restrictions on the underlying RL algorithm and can be plugged into any existing training pipeline. We establish theoretical guarantees for the proposed framework and evaluate it on robotic control tasks with state dimensions up to 10, a regime in which prior provably safe RL methods struggle or become impractical.