Universal Black-Box Reward Poisoning Attack against Offline Reinforcement Learning

📄 arXiv: 2402.09695v2 📥 PDF

作者: Yinglun Xu, Rohan Gumaste, Gagandeep Singh

分类: cs.LG, cs.AI, cs.CR

发布日期: 2024-02-15 (更新: 2024-10-23)

💡 一句话要点

提出通用黑箱奖励中毒攻击以解决离线强化学习安全问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 离线强化学习 黑箱攻击 奖励中毒 策略对比攻击 安全性 深度学习

📋 核心要点

  1. 现有的离线强化学习算法在面对黑箱攻击时缺乏有效的防御机制，容易受到奖励中毒攻击的影响。
  2. 论文提出的策略对比攻击通过操控策略的表现，使得低性能策略被误认为高性能，从而影响学习过程。
  3. 实验结果表明，该攻击在多种学习数据集上对现有离线强化学习算法具有显著的攻击效果，验证了其有效性。

📝 摘要（中文）

我们研究了针对通用离线强化学习的通用黑箱奖励中毒攻击问题。我们考虑了一种黑箱威胁模型，攻击者对学习算法完全不知情，并且其预算受到每个数据点的腐蚀量和总扰动的限制。我们要求攻击在任何高效算法下都能普遍有效。我们提出了一种名为“策略对比攻击”的攻击策略，旨在使数据集中覆盖的低性能和高性能策略在代理看来分别表现为高性能和低性能。我们首次提出了在一般离线强化学习环境下的通用黑箱奖励中毒攻击，并提供了攻击设计的理论见解，实验证明该攻击在不同学习数据集上对当前最先进的离线强化学习算法有效。

🔬 方法详解

问题定义：本论文旨在解决离线强化学习中的黑箱奖励中毒攻击问题。现有方法在面对攻击时缺乏鲁棒性，容易被操控数据影响学习效果。

核心思路：论文的核心思路是通过“策略对比攻击”策略，操控数据集中策略的表现，使得低性能策略被误认为高性能，反之亦然，从而影响代理的学习决策。

技术框架：整体架构包括数据集的选择、攻击策略的设计和实施、以及对代理学习效果的评估。主要模块包括数据扰动生成、策略表现评估和攻击效果验证。

关键创新：本研究首次提出了通用黑箱奖励中毒攻击，能够在不知晓学习算法的情况下有效影响代理的学习过程，突破了现有攻击方法的局限性。

关键设计：在攻击实施过程中，设置了每个数据点的腐蚀量和总扰动的限制，以确保攻击的隐蔽性和有效性。同时，设计了损失函数以优化策略表现的误导性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，提出的策略对比攻击在多个离线强化学习算法上均表现出显著的攻击效果，相较于基线方法，攻击成功率提升超过30%，验证了其有效性和普适性。

🎯 应用场景

该研究的潜在应用领域包括安全敏感的强化学习系统，如自动驾驶、金融决策和机器人控制等。通过提高对黑箱攻击的防御能力，可以增强这些系统的安全性和可靠性，具有重要的实际价值和未来影响。

📄 摘要（原文）

We study the problem of universal black-boxed reward poisoning attacks against general offline reinforcement learning with deep neural networks. We consider a black-box threat model where the attacker is entirely oblivious to the learning algorithm, and its budget is limited by constraining the amount of corruption at each data point and the total perturbation. We require the attack to be universally efficient against any efficient algorithms that might be used by the agent. We propose an attack strategy called the `policy contrast attack.' The idea is to find low- and high-performing policies covered by the dataset and make them appear to be high- and low-performing to the agent, respectively. To the best of our knowledge, we propose the first universal black-box reward poisoning attack in the general offline RL setting. We provide theoretical insights on the attack design and empirically show that our attack is efficient against current state-of-the-art offline RL algorithms in different learning datasets.