PolicyGuard: Towards Test-time and Step-level Adversary Defense for Reinforcement Learning Agent

📄 arXiv: 2606.12896 📥 PDF

作者: Junfeng Guo Heng Huang

分类: cs.LG, cs.AI, cs.CR

发布日期: 2026-06-12

💡 一句话要点

提出PolicyGuard以解决强化学习代理的后门攻击问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 后门攻击 高斯过程 安全性 不确定性计算 对抗防御 机器学习

📋 核心要点

  1. 现有的后门防御方法在强化学习中存在局限性，无法有效应对多种攻击类型或需要内部参数的访问。
  2. 本文提出的PolicyGuard通过利用高斯过程后验方差，进行逐步级别的后门防御，能够在测试时计算不确定性。
  3. 实验结果表明，PolicyGuard在七个RL游戏中表现出色，平均AUROC达到0.856和0.859，显著优于现有方法。

📝 摘要（中文）

随着强化学习（RL）在现实世界应用中的日益普及，RL系统的安全性亟需更多关注。近期研究表明，RL代理易受到后门攻击，即在标准条件下表现正常，但在特定触发下执行恶意行为。现有的后门防御方法要么需要访问代理的内部参数，要么仅在模型或轨迹层面操作，或仅限于特定攻击类型。为确保RL代理的安全性，本文提出了PolicyGuard，这是一种测试时逐步级别的后门防御方法，利用高斯过程（GP）后验方差并适应伪轨迹，以实现对每个时间步的不确定性计算。此外，我们还提供了理论基础来解释GP后验方差的有效性。通过在七个RL游戏中的广泛实验，PolicyGuard在大多数情况下实现了最先进的检测性能，针对扰动攻击的平均AUROC为0.856，针对对抗代理攻击的AUROC为0.859。

🔬 方法详解

问题定义：本文旨在解决强化学习代理在面对后门攻击时的脆弱性。现有方法通常依赖于内部参数或仅限于特定攻击类型，无法广泛适用。

核心思路：PolicyGuard的核心思路是利用高斯过程后验方差来计算每个时间步的不确定性，从而在测试阶段有效识别潜在的后门攻击。通过适应伪轨迹，增强了对攻击的防御能力。

技术框架：该方法的整体架构包括数据收集、后验方差计算和决策模块。首先收集代理的行为数据，然后利用高斯过程计算后验方差，最后根据不确定性进行决策调整。

关键创新：PolicyGuard的创新在于其逐步级别的防御机制，能够在测试时动态评估每个时间步的风险，与传统方法相比，提供了更细粒度的防御能力。

关键设计：在设计中，关键参数包括高斯过程的超参数设置和伪轨迹的生成策略，损失函数则结合了不确定性评估与行为决策的优化目标。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，PolicyGuard在七个强化学习游戏中表现优异，针对扰动攻击的平均AUROC达到了0.856，而针对对抗代理攻击的AUROC为0.859，均显著优于现有防御方法，展示了其在实际应用中的有效性。

🎯 应用场景

该研究具有广泛的应用潜力，特别是在需要高安全性的强化学习系统中，如自动驾驶、金融交易和智能制造等领域。通过增强RL代理的安全性，PolicyGuard能够有效防止恶意攻击，提升系统的可靠性和信任度。

📄 摘要（原文）

While real-world applications of reinforcement learning (RL) are becoming increasingly popular, the security of RL systems deserve more attention and exploration. In particular, recent work has revealed that RL agents are vulnerable to backdoor attacks, where a victim agent behaves normally under standard conditions but executes malicious actions when a specific trigger is activated. Existing backdoor defenses for RL either require access to the agent's internal parameters, operate only at the model or trajectory level, or are limited to specific attack types. To ensure the security of RL agents, we propose \texttt{PolicyGuard}, a \textit{test-time step-level} backdoor defense which leverages Gaussian Process (GP) posterior variance and adapts pseudo trajectories to enable uncertainty computation for individual time step. Besides, we also provide theoretical foundations to explain the efficacy of GP posterior variance. Extensive experiments across seven RL games demonstrate that PolicyGuard achieves state-of-the-art detection performance in most cases, with average AUROC of 0.856 for perturbation-based attacks and 0.859 for adversary-agent attacks.