Beyond $L_\infty$-Norm Sets: Synthesizing Interpretable Non-Uniform Uncertainty Sets for Evaluation-Time State-Adversarial Robustness

📄 arXiv: 2611.02576v1 📥 PDF

作者: Xulin Chen, Ruipeng Liu, Garrett E. Katz

分类: cs.LG

发布日期: 2026-11-02

💡 一句话要点

提出性能退化非均匀不确定性集以解决DRL政策脆弱性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 深度强化学习 不确定性集 状态扰动 政策评估 鲁棒性 优化算法 机器人控制

📋 核心要点

  1. 现有方法主要依赖$L_p$-范数不确定性集，无法有效捕捉不同状态维度对政策行为的影响。
  2. 提出性能退化非均匀不确定性集（ extmethod{}），该方法具有状态依赖性和维度非均匀性，能够在线合成。
  3. 实验结果显示， extmethod{}能够揭示政策在不同状态和维度上的敏感性变化，且性能退化得到控制。

📝 摘要（中文）

深度强化学习（DRL）代理对观察状态输入的扰动非常敏感。现有研究通常使用$L_p$-范数不确定性集来限制状态对手，但在连续控制任务中，不同状态维度具有不同的物理意义，影响政策行为的程度也不同，这使得$L_p$-范数集无法有效捕捉和解释这些差异。本文提出了一种可解释的状态扰动不确定性集的形式——性能退化非均匀不确定性集（ extbf{P}erformance- extbf{D}egradation extbf{N}on- extbf{U}niform extbf{U}ncertainty extbf{S}et，简称 extmethod{}），该方法能够在线合成，具有状态依赖性和维度非均匀性。实验结果表明， extmethod{}能够揭示政策在不同状态和维度上的敏感性变化，同时其性能退化得到适度控制。

🔬 方法详解

问题定义：本文旨在解决深度强化学习代理在面对状态扰动时的脆弱性，现有方法使用的$L_p$-范数不确定性集无法有效反映不同状态维度的物理意义和影响程度。

核心思路：提出性能退化非均匀不确定性集（ extmethod{}），通过状态依赖和维度非均匀的设计，使得不确定性集能够更好地反映政策在不同状态下的敏感性。

技术框架： extmethod{}的整体架构包括理想约束优化问题的构建和可行性约束的引入，确保在政策评估过程中能够实时合成不确定性集。

关键创新： extmethod{}的主要创新在于其非均匀性和状态依赖性，这与传统的$L_p$-范数方法形成鲜明对比，能够更准确地捕捉政策在不同状态维度上的脆弱性。

关键设计：在实现过程中，采用了特定的损失函数和优化策略，以确保合成的不确定性集能够有效反映政策的性能退化，同时控制其影响程度。通过引入替代约束，使得优化问题更具可解性。

📊 实验亮点

实验结果表明， extmethod{}在多个连续控制环境中表现出色，能够有效揭示政策在不同状态和维度上的敏感性变化。与基线方法相比， extmethod{}的性能退化控制在一定范围内得到了显著改善，展示了其在实际应用中的潜力。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶和其他需要高可靠性的深度强化学习系统。通过提供更精确的状态扰动评估，能够帮助设计更鲁棒的控制策略，从而提升系统的安全性和稳定性。未来，该方法有望在实际应用中广泛推广，促进智能系统的安全性提升。

📄 摘要（原文）

Deep reinforcement learning (DRL) agents are vulnerable to perturbations of their observed state inputs. Prior works often constrain state adversaries with $L_p$-norm uncertainty sets and evaluate policy performance under the resulting perturbations. However, in continuous control tasks like robotics control, different state dimensions have distinct physical meanings and influence policy behavior to different degrees, which $L_p$-norm sets fail to capture or explain. Moreover, it is important to identify when and along which state dimensions a policy is vulnerable, independently of the algorithm used to train it. In this paper, we focus on evaluation-time attacks applied to pretrained policies. We propose \textbf{P}erformance-\textbf{D}egradation \textbf{N}on-\textbf{U}niform \textbf{U}ncertainty \textbf{S}et (\method{}), an interpretable formulation of uncertainty sets for state perturbations. \method{} is state-dependent, dimension-wise non-uniform, and can be synthesized online during policy evaluation. We first formulate an ideal constrained optimization problem for \method{} computation, then introduce a surrogate constraint to make the problem tractable. Experiments across multiple continuous-control environments, policy algorithms, and state attacks show that \method{} reveals variation in policy sensitivity across states and dimensions, while its performance degradation is moderately controlled.