SUB-PLAY: Adversarial Policies against Partially Observed Multi-Agent Reinforcement Learning Systems

📄 arXiv: 2402.03741v3 📥 PDF

作者: Oubo Ma, Yuwen Pu, Linkang Du, Yang Dai, Ruo Wang, Xiaolei Liu, Yingcai Wu, Shouling Ji

分类: cs.LG, cs.AI, cs.CR

发布日期: 2024-02-06 (更新: 2024-06-26)

备注: To appear in the ACM Conference on Computer and Communications Security (CCS'24), October 14-18, 2024, Salt Lake City, UT, USA

💡 一句话要点

提出SUB-PLAY以解决部分可观察多智能体强化学习中的安全威胁问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多智能体强化学习 对抗策略 部分可观察性 黑箱攻击 安全性研究 子游戏构建 策略共享

📋 核心要点

  1. 现有研究主要集中在完全观察的双人竞争环境中，忽视了部分可观察情况下的攻击能力，存在安全隐患。
  2. 论文提出SUB-PLAY，通过构建多个子游戏来应对部分可观察性，并通过子策略间的过渡共享提升攻击效果。
  3. 实验结果表明，SUB-PLAY在三种部分可观察性限制下表现出色，显著改变了受害者的策略激活，展示了其有效性。

📝 摘要（中文）

近年来，多智能体强化学习（MARL）的进展为无人机群控、机器人手臂协作等应用开辟了广阔前景。然而，MARL部署中的潜在安全威胁亟需关注。研究表明，攻击者可以快速利用受害者的漏洞，生成对其任务执行造成影响的对抗策略。本文首次揭示了攻击者在部分观察情况下生成对抗策略的能力，提出了一种新颖的黑箱攻击方法SUB-PLAY，该方法通过构建多个子游戏来缓解部分可观察性影响，并建议在子策略间共享过渡以提升攻击者的利用能力。大量评估表明SUB-PLAY在三种典型的部分可观察性限制下有效，结果可视化显示对抗策略显著改变了受害者策略网络的激活情况。此外，本文评估了三种潜在防御措施，为在竞争环境中部署MARL提供了建设性建议。

🔬 方法详解

问题定义：本文旨在解决在部分可观察多智能体竞争环境中，攻击者如何生成有效的对抗策略的问题。现有方法假设攻击者能够完全观察受害者的状态，未考虑部分可观察性带来的挑战。

核心思路：论文的核心思路是通过构建多个子游戏来缓解部分可观察性对攻击效果的影响，并通过共享子策略之间的过渡来增强攻击者的利用能力。这样的设计使得攻击者即使在信息受限的情况下也能有效实施攻击。

技术框架：整体架构包括三个主要模块：1) 子游戏构建模块，负责生成多个子游戏以应对部分可观察性；2) 子策略共享模块，促进不同子策略之间的过渡共享；3) 攻击策略生成模块，基于子游戏和共享信息生成最终的对抗策略。

关键创新：最重要的技术创新在于首次提出了在部分可观察环境中生成对抗策略的能力，突破了以往研究的局限，展示了攻击者在信息不完全情况下的潜在威胁。

关键设计：关键设计包括子游戏的构建策略、过渡共享机制的实现，以及对抗策略的优化目标和损失函数设置，确保在不同的部分可观察性限制下仍能有效攻击。具体参数设置和网络结构细节在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SUB-PLAY在三种典型的部分可观察性限制下均表现出色，成功降低了受害者的任务成功率，并显著改变了其策略网络的激活情况。这些结果展示了SUB-PLAY的有效性和对抗能力，提供了对比基线的显著提升。

🎯 应用场景

该研究的潜在应用领域包括无人机群体控制、机器人协作任务等多智能体系统，能够为这些系统的安全性提供重要保障。通过识别和缓解对抗策略的威胁，能够提升多智能体系统在实际应用中的可靠性和安全性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Recent advancements in multi-agent reinforcement learning (MARL) have opened up vast application prospects, such as swarm control of drones, collaborative manipulation by robotic arms, and multi-target encirclement. However, potential security threats during the MARL deployment need more attention and thorough investigation. Recent research reveals that attackers can rapidly exploit the victim's vulnerabilities, generating adversarial policies that result in the failure of specific tasks. For instance, reducing the winning rate of a superhuman-level Go AI to around 20%. Existing studies predominantly focus on two-player competitive environments, assuming attackers possess complete global state observation. In this study, we unveil, for the first time, the capability of attackers to generate adversarial policies even when restricted to partial observations of the victims in multi-agent competitive environments. Specifically, we propose a novel black-box attack (SUB-PLAY) that incorporates the concept of constructing multiple subgames to mitigate the impact of partial observability and suggests sharing transitions among subpolicies to improve attackers' exploitative ability. Extensive evaluations demonstrate the effectiveness of SUB-PLAY under three typical partial observability limitations. Visualization results indicate that adversarial policies induce significantly different activations of the victims' policy networks. Furthermore, we evaluate three potential defenses aimed at exploring ways to mitigate security threats posed by adversarial policies, providing constructive recommendations for deploying MARL in competitive environments.