Learning Predictive Safety Filter via Decomposition of Robust Invariant Set

📄 arXiv: 2311.06769v1 📥 PDF

作者: Zeyang Li, Chuxiong Hu, Weiye Zhao, Changliu Liu

分类: eess.SY, cs.LG

发布日期: 2023-11-12

💡 一句话要点

提出预测安全过滤器以解决非线性系统安全问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 非线性系统 鲁棒控制 强化学习 安全过滤器 模型不确定性 策略迭代 在线验证

📋 核心要点

  1. 现有的鲁棒模型预测控制方法在处理非线性系统时面临高计算负担和可扩展性差的问题。
  2. 本文提出了一种通过分解鲁棒不变集来合成安全过滤器的方法，结合了RMPC和RL的优点。
  3. 实验结果表明，所提方法在计算复杂度上显著低于RMPC，同时保持了安全性保证。

📝 摘要（中文）

确保非线性系统在模型不确定性和外部干扰下的安全性至关重要，尤其是在实际控制任务中。本文提出了一种理论框架，结合了鲁棒模型预测控制（RMPC）和强化学习（RL）的优点，合成适用于具有状态和动作依赖不确定性的非线性系统的安全过滤器。通过将鲁棒不变集（RIS）分解为目标集和到达-避免集，提出了一种策略迭代方法，并建立了单调收敛性。该方法为对抗性演员-评论家深度RL算法奠定了基础，能够同时合成到达-避免策略网络、干扰策略网络和到达-避免价值网络。所提出的安全过滤器在计算复杂度上显著低于RMPC，同时保持了持久的鲁棒安全保证。通过数值例子验证了该方法的有效性。

🔬 方法详解

问题定义：本文旨在解决非线性系统在模型不确定性和外部干扰下的安全性问题。现有的鲁棒模型预测控制方法需要在线求解非凸优化问题，导致计算负担重且可扩展性差。

核心思路：论文通过将鲁棒不变集分解为目标集和到达-避免集，提出了一种策略迭代方法，旨在结合RMPC的安全性和RL的灵活性。

技术框架：整体架构包括鲁棒到达-避免问题的策略迭代、对抗性演员-评论家深度RL算法的合成，以及在线验证的二阶锥规划（SOCP）方法。主要模块包括策略网络、干扰网络和价值网络。

关键创新：最重要的创新在于通过分解鲁棒不变集，提出了一种新的安全过滤器设计方法，显著降低了计算复杂度，并保持了鲁棒安全保证。

关键设计：在设计中，采用了策略迭代方法，并通过SOCP进行在线验证，优化了可能轨迹的最坏情况到达-避免值，确保了系统在最坏情况下的安全性。具体的参数设置和损失函数设计在论文中进行了详细讨论。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，所提安全过滤器在计算复杂度上比传统的鲁棒模型预测控制方法低得多，同时在保持安全性保证的情况下，能够有效过滤潜在的不安全动作。具体性能数据表明，该方法在多种场景下均表现出优越的安全性和效率。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、无人机控制和工业机器人等需要高安全性的非线性控制系统。通过提供高效的安全过滤器，能够在复杂环境中实现更安全的自动化操作，具有重要的实际价值和未来影响。

📄 摘要（原文）

Ensuring safety of nonlinear systems under model uncertainty and external disturbances is crucial, especially for real-world control tasks. Predictive methods such as robust model predictive control (RMPC) require solving nonconvex optimization problems online, which leads to high computational burden and poor scalability. Reinforcement learning (RL) works well with complex systems, but pays the price of losing rigorous safety guarantee. This paper presents a theoretical framework that bridges the advantages of both RMPC and RL to synthesize safety filters for nonlinear systems with state- and action-dependent uncertainty. We decompose the robust invariant set (RIS) into two parts: a target set that aligns with terminal region design of RMPC, and a reach-avoid set that accounts for the rest of RIS. We propose a policy iteration approach for robust reach-avoid problems and establish its monotone convergence. This method sets the stage for an adversarial actor-critic deep RL algorithm, which simultaneously synthesizes a reach-avoid policy network, a disturbance policy network, and a reach-avoid value network. The learned reach-avoid policy network is utilized to generate nominal trajectories for online verification, which filters potentially unsafe actions that may drive the system into unsafe regions when worst-case disturbances are applied. We formulate a second-order cone programming (SOCP) approach for online verification using system level synthesis, which optimizes for the worst-case reach-avoid value of any possible trajectories. The proposed safety filter requires much lower computational complexity than RMPC and still enjoys persistent robust safety guarantee. The effectiveness of our method is illustrated through a numerical example.