VQAttack: Transferable Adversarial Attacks on Visual Question Answering via Pre-trained Models

📄 arXiv: 2402.11083v1 📥 PDF

作者: Ziyi Yin, Muchao Ye, Tianrong Zhang, Jiaqi Wang, Han Liu, Jinghui Chen, Ting Wang, Fenglong Ma

分类: cs.CV

发布日期: 2024-02-16

备注: AAAI 2024, 11 pages

💡 一句话要点

提出VQAttack以解决视觉问答中的可转移对抗攻击问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉问答 对抗攻击 多模态学习 预训练模型 鲁棒性 自然语言处理 计算机视觉

📋 核心要点

  1. 现有的VQA方法在对抗攻击下表现脆弱，缺乏对抗鲁棒性研究。
  2. VQAttack模型通过预训练的多模态源模型生成对抗图像-文本对，采用迭代生成扰动的方法。
  3. 在两个VQA数据集上的实验结果显示，VQAttack在可转移攻击设置下显著优于现有基线模型。

📝 摘要（中文）

视觉问答（VQA）是计算机视觉和自然语言处理领域的基础任务。尽管“预训练与微调”的学习范式显著提升了VQA的性能，但其对抗鲁棒性尚未被充分探索。本文探讨了一个新问题：利用预训练的多模态源模型生成对抗图像-文本对，并将其转移到攻击目标VQA模型。我们提出了一种新颖的VQAttack模型，能够通过设计的模块迭代生成图像和文本扰动。实验结果表明，VQAttack在可转移攻击设置下的有效性超过了现有的最先进基线，揭示了“预训练与微调”范式在VQA任务中的显著盲点。

🔬 方法详解

问题定义：本文旨在解决视觉问答（VQA）任务中对抗攻击的脆弱性，现有的“预训练与微调”方法未能考虑对抗鲁棒性，导致模型在对抗样本下性能下降。

核心思路：VQAttack模型的核心思想是利用预训练的多模态源模型生成对抗图像和文本扰动，通过迭代优化过程增强对抗样本的有效性。

技术框架：VQAttack的整体架构包括两个主要模块：LLM增强的图像攻击模块和跨模态联合攻击模块。前者负责生成图像扰动，后者在特定迭代中更新图像和文本扰动。

关键创新：VQAttack的创新之处在于结合了大语言模型（LLM）与图像扰动生成，通过优化潜在表示损失和设计的掩码答案反恢复损失，提升了对抗样本的生成质量。

关键设计：在设计中，采用了基于词嵌入空间的梯度更新和同义词替换策略来生成文本扰动，确保了扰动的有效性和多样性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，VQAttack在两个VQA数据集上相较于五个验证模型的最先进基线，显著提升了对抗攻击的成功率，验证了其在可转移攻击设置下的有效性，展示了对抗样本生成的强大能力。

🎯 应用场景

该研究的潜在应用领域包括安全性较高的视觉问答系统、智能助理和自动内容审核等。通过提升VQA模型的对抗鲁棒性，可以增强其在实际应用中的可靠性，减少对抗攻击带来的风险，未来可能推动更安全的多模态AI系统的发展。

📄 摘要（原文）

Visual Question Answering (VQA) is a fundamental task in computer vision and natural language process fields. Although the pre-training & finetuning'' learning paradigm significantly improves the VQA performance, the adversarial robustness of such a learning paradigm has not been explored. In this paper, we delve into a new problem: using a pre-trained multimodal source model to create adversarial image-text pairs and then transferring them to attack the target VQA models. Correspondingly, we propose a novel VQAttack model, which can iteratively generate both image and text perturbations with the designed modules: the large language model (LLM)-enhanced image attack and the cross-modal joint attack module. At each iteration, the LLM-enhanced image attack module first optimizes the latent representation-based loss to generate feature-level image perturbations. Then it incorporates an LLM to further enhance the image perturbations by optimizing the designed masked answer anti-recovery loss. The cross-modal joint attack module will be triggered at a specific iteration, which updates the image and text perturbations sequentially. Notably, the text perturbation updates are based on both the learned gradients in the word embedding space and word synonym-based substitution. Experimental results on two VQA datasets with five validated models demonstrate the effectiveness of the proposed VQAttack in the transferable attack setting, compared with state-of-the-art baselines. This work reveals a significant blind spot in thepre-training & fine-tuning'' paradigm on VQA tasks. Source codes will be released.