Lipschitz-Based Robustness Certification for Recurrent Neural Networks via Convex Relaxation

📄 arXiv: 2509.17898v1 📥 PDF

作者: Paul Hamelbeck, Johannes Schiffer

分类: eess.SY, cs.LG

发布日期: 2025-09-22

备注: 10 pages, 3 figures,

💡 一句话要点

提出RNN-SDP，通过凸松弛实现循环神经网络的Lipschitz鲁棒性认证

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 循环神经网络 鲁棒性认证 凸松弛 半定规划 Lipschitz常数 模型预测控制 安全关键系统

📋 核心要点

  1. 循环神经网络在安全攸关的应用中面临对抗攻击的威胁，需要有效的鲁棒性认证方法。
  2. RNN-SDP通过凸松弛和半定规划，为RNN的Lipschitz常数计算可认证的上界，从而提供鲁棒性保证。
  3. 实验表明，RNN-SDP能够产生合理的Lipschitz界，并强调了初始化误差对模型鲁棒性的影响。

📝 摘要（中文）

本文提出了一种名为RNN-SDP的基于松弛的方法，用于解决循环神经网络(RNNs)在安全关键控制应用中，抵抗有界输入噪声或对抗扰动的鲁棒性认证问题。该方法将RNN的层间交互建模为一个凸问题，并通过半定规划(SDP)计算Lipschitz常数的认证上界。此外，还探索了一种结合已知输入约束的扩展方法，以进一步收紧Lipschitz界。RNN-SDP在一个合成的多罐系统上进行了评估，并将上界与经验估计进行了比较。虽然结合输入约束仅产生适度的改进，但该方法总体上产生了相当紧凑且可认证的界，即使序列长度增加也是如此。结果还强调了初始化误差常常被低估的影响，这对于模型经常被重新初始化的应用（如模型预测控制（MPC））来说是一个重要的考虑因素。

🔬 方法详解

问题定义：论文旨在解决循环神经网络（RNNs）的鲁棒性认证问题。具体来说，就是如何在输入存在有界噪声或对抗扰动的情况下，保证RNN输出的稳定性。现有方法在处理RNN时，难以有效地计算或认证其Lipschitz常数，从而限制了其在安全关键领域的应用。现有方法计算复杂度高，或者认证的界限过于宽松，缺乏实用性。

核心思路：论文的核心思路是将RNN的层间交互建模为一个凸优化问题，利用凸松弛技术，特别是半定规划（SDP），来计算RNN的Lipschitz常数的上界。通过计算Lipschitz常数的上界，可以对RNN的鲁棒性进行认证，即保证在一定范围内的输入扰动不会导致输出的显著变化。这种方法避免了直接计算复杂的非线性RNN的Lipschitz常数，转而求解一个凸优化问题，从而降低了计算复杂度。

技术框架：RNN-SDP方法主要包含以下几个阶段：1) RNN建模：将RNN的层间交互表示为一系列的线性算子和非线性激活函数。2) 凸松弛：利用凸松弛技术，将非线性的激活函数用凸约束来近似，从而将整个RNN的计算过程转化为一个凸优化问题。3) 半定规划（SDP）：将凸优化问题转化为一个半定规划问题，利用现有的SDP求解器来计算Lipschitz常数的上界。4) 鲁棒性认证：利用计算得到的Lipschitz常数上界，对RNN的鲁棒性进行认证。

关键创新：该方法最重要的技术创新点在于利用凸松弛和半定规划来计算RNN的Lipschitz常数上界。与现有方法相比，该方法能够提供可认证的鲁棒性保证，并且计算复杂度相对较低。此外，该方法还考虑了输入约束，进一步收紧了Lipschitz界。

关键设计：论文的关键设计包括：1) 激活函数的凸松弛：针对不同的激活函数（如ReLU），设计了相应的凸松弛方法，以保证松弛后的问题仍然是凸的。2) 半定规划的构建：将凸优化问题转化为半定规划问题时，需要选择合适的变量和约束，以保证SDP求解器的效率和精度。3) 输入约束的建模：将已知的输入约束纳入到凸优化问题中，可以进一步收紧Lipschitz界，提高鲁棒性认证的精度。

📊 实验亮点

RNN-SDP在合成的多罐系统上进行了评估，结果表明该方法能够产生合理的Lipschitz界，即使序列长度增加也是如此。虽然结合输入约束仅产生适度的改进，但该方法总体上是有效的。实验还强调了初始化误差对模型鲁棒性的影响，这对于模型经常被重新初始化的应用来说是一个重要的考虑因素。具体性能数据未知。

🎯 应用场景

该研究成果可应用于安全关键控制系统，例如自动驾驶、机器人控制和航空航天等领域。通过对循环神经网络的鲁棒性进行认证，可以提高这些系统在面对噪声或对抗攻击时的可靠性和安全性。此外，该方法还可以用于模型预测控制（MPC）等需要频繁重新初始化模型的应用中，降低初始化误差带来的影响。

📄 摘要（原文）

Robustness certification against bounded input noise or adversarial perturbations is increasingly important for deployment recurrent neural networks (RNNs) in safety-critical control applications. To address this challenge, we present RNN-SDP, a relaxation based method that models the RNN's layer interactions as a convex problem and computes a certified upper bound on the Lipschitz constant via semidefinite programming (SDP). We also explore an extension that incorporates known input constraints to further tighten the resulting Lipschitz bounds. RNN-SDP is evaluated on a synthetic multi-tank system, with upper bounds compared to empirical estimates. While incorporating input constraints yields only modest improvements, the general method produces reasonably tight and certifiable bounds, even as sequence length increases. The results also underscore the often underestimated impact of initialization errors, an important consideration for applications where models are frequently re-initialized, such as model predictive control (MPC).