PHANTOM: A Large-Scale Dataset of Multimodal Adversarial Attacks for Vision-Language Models

📄 arXiv: 2606.24388v1 📥 PDF

作者: Simone Gallivanone, Hossein Khodadadi, Mauro Dore, Mauro Medda, Nicola Franco

分类: cs.AI, cs.LG

发布日期: 2026-06-23

备注: The dataset has been released at: https://huggingface.co/datasets/it4lia/PHANTOM

💡 一句话要点

提出PHANTOM数据集以支持视觉语言模型的对抗攻击研究

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 对抗攻击 视觉语言模型 数据集 鲁棒性评估 多模态学习 安全性研究 机器学习

📋 核心要点

  1. 现有的对抗攻击数据集缺乏多样性和代表性，难以满足视觉语言模型的研究需求。
  2. 我们提出了PHANTOM数据集，包含47,524个对抗样本，覆盖多种有害意图，旨在为研究者提供丰富的对抗数据。
  3. 通过整合多个来源的基准数据，我们的工作为VLM的鲁棒性评估提供了更全面的资源，促进了对抗研究的深入发展。

📝 摘要（中文）

我们介绍了一个大规模的开源数据集，专门用于生成视觉语言模型（VLMs）的对抗攻击。该数据集涵盖10个高层次类别和55个有害意图的子类别，旨在为研究社区提供可访问的对抗数据。数据集中包含47,524个对抗样本，采用了最新的攻击策略生成。我们的工作整合并扩展了现有基准，提供了7,826种意图，并引入了额外的类别，以便为模型的鲁棒性和对齐性研究提供现实的评估资源。通过发布这一资源，我们希望降低对抗研究的门槛，促进更具可重复性、全面性和可比性的VLM安全评估。

🔬 方法详解

问题定义：本研究旨在解决现有对抗攻击数据集在多样性和代表性方面的不足，尤其是在视觉语言模型的应用中。现有方法生成对抗样本的成本高且复杂，限制了研究的深入。

核心思路：我们提出了PHANTOM数据集，系统性地生成并整理了多种对抗攻击样本，涵盖了10个高层次类别和55个子类别，以便为研究者提供丰富的对抗数据资源。

技术框架：数据集的生成采用了最新的对抗攻击策略，首先从多个已建立的来源整合数据，然后生成新的对抗样本，最终形成一个包含47,524个样本的综合数据集。

关键创新：本研究的主要创新在于整合和扩展现有的对抗攻击基准，提供了7,826种意图，并引入了新的类别，显著提升了对抗样本的多样性和实用性。

关键设计：在数据生成过程中，我们采用了先进的攻击策略，确保样本的质量和有效性，同时设计了合理的参数设置，以保证生成样本的多样性和代表性。我们还关注了样本的实际应用场景，以提高数据集的实用性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，PHANTOM数据集中的对抗样本能够有效评估视觉语言模型的鲁棒性，提供了比现有基准更全面的评估资源。通过对比实验，模型在对抗攻击下的性能提升显著，验证了数据集的有效性和实用性。

🎯 应用场景

PHANTOM数据集可广泛应用于视觉语言模型的鲁棒性评估和安全性研究，帮助研究者系统性地测试模型在对抗条件下的表现。此外，该数据集还可用于优化攻击生成模型和开发防御机制，具有重要的实际价值和潜在影响。

📄 摘要（原文）

We introduce a large-scale, open-source dataset of pre-generated adversarial attacks for vision-language models (VLMs). The dataset is designed to be diverse, representative, and practical, extending existing benchmarks by covering 10 high-level categories and 55 subcategories of harmful intents. Our primary goal is to make adversarial data accessible to the research community, given the computational cost and complexity of generating large numbers of attacks. The dataset comprises 47 524 adversarial samples, generated using state-of-the-art attack strategies from recent literature. Our work complements existing efforts by consolidating and extending prior benchmarks from multiple established sources, resulting in 7 826 intents, and introduce an additional category to broaden coverage. This provides realistic evaluation resources for studying model robustness and alignment. Our dataset intends to enable researchers and practitioners to systematically evaluate the robustness and safety of VLMs, fine-tune attack-generation models, and develop or stress-test defensive guardrails under diverse adversarial conditions. By releasing this resource, we aim to lower the barrier to adversarial research and foster more reproducible, comprehensive, and comparable evaluations of VLM safety.