PolicyGuard: Towards Test-time and Step-level Adversary Defense for Reinforcement Learning Agent

📄 arXiv: 2606.12896v1 📥 PDF

作者: Junfeng Guo Heng Huang

分类: cs.LG, cs.AI, cs.CR

发布日期: 2026-06-11

💡 一句话要点

提出PolicyGuard以解决强化学习代理的后门攻击防御问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 后门攻击 高斯过程 不确定性计算 安全防御 机器学习 深度学习

📋 核心要点

  1. 现有的后门防御方法在强化学习中存在局限性，无法有效应对多种攻击类型，且通常需要内部参数访问。
  2. 本文提出的PolicyGuard通过高斯过程后验方差计算不确定性，提供了一种新的逐步防御机制，增强了对后门攻击的抵御能力。
  3. 实验结果表明，PolicyGuard在多个强化学习游戏中表现优异，检测性能在大多数情况下达到最先进水平，AUROC值显著提升。

📝 摘要（中文）

随着强化学习（RL）在现实世界应用中的日益普及，RL系统的安全性亟需更多关注。近期研究表明，RL代理易受到后门攻击，即在标准条件下表现正常，但在特定触发下执行恶意行为。现有的后门防御方法要么需要访问代理的内部参数，要么仅在模型或轨迹层面操作，或仅限于特定攻击类型。为确保RL代理的安全性，本文提出了PolicyGuard，这是一种在测试时进行逐步防御的后门防御方法，利用高斯过程（GP）后验方差并适应伪轨迹，以实现对单个时间步的不确定性计算。此外，本文还提供了理论基础以解释GP后验方差的有效性。通过在七个RL游戏中的广泛实验，PolicyGuard在大多数情况下实现了最先进的检测性能，针对扰动攻击的平均AUROC为0.856，针对对抗代理攻击的AUROC为0.859。

🔬 方法详解

问题定义：本文旨在解决强化学习代理在面对后门攻击时的脆弱性，现有方法往往需要内部参数或仅限于特定攻击类型，无法全面防御。

核心思路：PolicyGuard的核心思路是利用高斯过程后验方差来计算每个时间步的不确定性，通过适应伪轨迹来增强防御能力，从而实现测试时的逐步防御。

技术框架：PolicyGuard的整体架构包括数据收集、后验方差计算和决策模块。首先收集代理的行为数据，然后计算高斯过程的后验方差，最后根据不确定性调整代理的决策。

关键创新：最重要的创新点在于引入高斯过程后验方差作为不确定性度量，这一方法与传统的依赖内部参数的防御机制有本质区别，能够在不需要内部信息的情况下进行有效防御。

关键设计：在设计中，关键参数包括高斯过程的超参数设置，损失函数采用了与不确定性相关的度量，网络结构则结合了深度学习与高斯过程的优势，以实现高效的防御。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，PolicyGuard在七个强化学习游戏中的检测性能优异，针对扰动攻击的平均AUROC达到0.856，对抗代理攻击的AUROC为0.859，均显著优于现有防御方法，展示了其在实际应用中的有效性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、机器人控制和智能家居等强化学习系统的安全防护。通过增强RL代理的安全性，PolicyGuard能够有效防止恶意攻击，提升系统的可靠性和用户信任度，具有重要的实际价值和未来影响。

📄 摘要（原文）

While real-world applications of reinforcement learning (RL) are becoming increasingly popular, the security of RL systems deserve more attention and exploration. In particular, recent work has revealed that RL agents are vulnerable to backdoor attacks, where a victim agent behaves normally under standard conditions but executes malicious actions when a specific trigger is activated. Existing backdoor defenses for RL either require access to the agent's internal parameters, operate only at the model or trajectory level, or are limited to specific attack types. To ensure the security of RL agents, we propose \texttt{PolicyGuard}, a \textit{test-time step-level} backdoor defense which leverages Gaussian Process (GP) posterior variance and adapts pseudo trajectories to enable uncertainty computation for individual time step. Besides, we also provide theoretical foundations to explain the efficacy of GP posterior variance. Extensive experiments across seven RL games demonstrate that PolicyGuard achieves state-of-the-art detection performance in most cases, with average AUROC of 0.856 for perturbation-based attacks and 0.859 for adversary-agent attacks.