Segment (Almost) Nothing: Prompt-Agnostic Adversarial Attacks on Segmentation Models

📄 arXiv: 2311.14450v1 📥 PDF

作者: Francesco Croce, Matthias Hein

分类: cs.CV, cs.CR, cs.LG

发布日期: 2023-11-24

💡 一句话要点

提出无提示对抗攻击以增强分割模型的鲁棒性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 对抗攻击 分割模型 潜在空间 无提示攻击 鲁棒性 图像处理 深度学习

📋 核心要点

  1. 现有对抗攻击方法需针对每个图像-提示对单独设计，效率低下且难以扩展。
  2. 本文提出通过最大化潜在空间中原始图像与扰动图像的$ ext{l}_2$距离，生成无提示对抗攻击。
  3. 实验结果显示，微小的扰动能够显著影响分割掩码，且可实现通用攻击，适用于任意输入。

📝 摘要（中文）

通用分割模型能够根据多种提示生成语义分割掩码，包括视觉和文本提示。现有的对抗攻击方法针对特定图像-提示对进行攻击，需为每个新提示单独运行攻击。本文提出了一种生成无提示对抗攻击的方法，通过最大化原始图像和扰动图像在潜在空间中的$ ext{l}2$距离，来实现对多种提示的鲁棒性。研究表明，即使是微小的$ ext{l} ext{∞}$约束扰动也能显著改变分割掩码。此外，探索了创建通用攻击的可能性，这些攻击可适用于任何输入而无需额外计算成本。

🔬 方法详解

问题定义：现有的对抗攻击方法主要针对特定的图像-提示对，导致每次攻击都需重新计算，效率低下且难以适应多样化的提示场景。

核心思路：本文提出了一种无提示对抗攻击的方法，通过最大化原始图像和扰动图像在潜在空间中的$ ext{l}_2$距离，来实现对多种提示的攻击效果。这种设计使得攻击不再依赖于特定的提示，从而提高了攻击的通用性和效率。

技术框架：整体流程包括图像编码、扰动生成和掩码预测三个主要模块。首先，输入图像经过编码器生成潜在表示；然后，通过优化算法生成扰动图像；最后，利用扰动图像进行分割掩码的预测。

关键创新：最重要的创新在于提出了无提示对抗攻击的概念，能够在不依赖具体提示的情况下，利用潜在空间的特性进行攻击。这与现有方法的本质区别在于其通用性和高效性。

关键设计：在参数设置上，使用了$ ext{l}_ ext{∞}$约束的扰动半径为$ε=1/255$，确保扰动对人眼几乎不可察觉。同时，损失函数设计为最大化潜在空间中原始和扰动图像的距离，以实现有效的攻击效果。网络结构上，采用了最新的基础模型进行分割任务，确保了实验的前沿性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用微小的$ ext{l}_ ext{∞}$约束扰动，能够显著改变分割掩码，尤其是在点、框和文本提示下。与基线模型相比，攻击成功率提高了显著的百分比，验证了无提示对抗攻击的有效性和通用性。

🎯 应用场景

该研究的潜在应用领域包括安全性测试、自动驾驶、医疗影像分析等。在这些领域中，分割模型的鲁棒性至关重要，能够有效抵御对抗攻击将提升系统的安全性和可靠性。未来，该方法可能推动对抗攻击研究的发展，促进更强健的模型设计。

📄 摘要（原文）

General purpose segmentation models are able to generate (semantic) segmentation masks from a variety of prompts, including visual (points, boxed, etc.) and textual (object names) ones. In particular, input images are pre-processed by an image encoder to obtain embedding vectors which are later used for mask predictions. Existing adversarial attacks target the end-to-end tasks, i.e. aim at altering the segmentation mask predicted for a specific image-prompt pair. However, this requires running an individual attack for each new prompt for the same image. We propose instead to generate prompt-agnostic adversarial attacks by maximizing the $\ell_2$-distance, in the latent space, between the embedding of the original and perturbed images. Since the encoding process only depends on the image, distorted image representations will cause perturbations in the segmentation masks for a variety of prompts. We show that even imperceptible $\ell_\infty$-bounded perturbations of radius $ε=1/255$ are often sufficient to drastically modify the masks predicted with point, box and text prompts by recently proposed foundation models for segmentation. Moreover, we explore the possibility of creating universal, i.e. non image-specific, attacks which can be readily applied to any input without further computational cost.