Improving Adversarial Transferability of Vision-Language Pre-training Models through Collaborative Multimodal Interaction

📄 arXiv: 2403.10883v2 📥 PDF

作者: Jiyuan Fu, Zhaoyu Chen, Kaixun Jiang, Haijing Guo, Jiafeng Wang, Shuyong Gao, Wenqiang Zhang

分类: cs.CV, cs.CR, cs.MM

发布日期: 2024-03-16 (更新: 2024-07-08)

备注: This work won first place in CVPR 2024 Workshop Challenge: Black-box Adversarial Attacks on Vision Foundation Models

💡 一句话要点

提出协作多模态交互攻击以提升视觉语言预训练模型的对抗转移性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 对抗攻击 视觉语言模型 多模态交互 转移性 鲁棒性 嵌入层攻击 图像-文本检索

📋 核心要点

  1. 现有视觉语言预训练模型在对抗攻击下表现脆弱，攻击转移性研究较少，导致性能差距显著。
  2. 提出协作多模态交互攻击（CMI-Attack），通过嵌入层攻击文本并利用模态交互增强对抗效果。
  3. 在Flickr30K数据集中，CMI-Attack显著提高了多种模型的转移成功率，并在跨任务场景中表现优异。

📝 摘要（中文）

尽管视觉语言预训练（VLP）模型取得了显著进展，但其对对抗攻击的脆弱性仍然是一个重大挑战。现有研究很少关注VLP模型的攻击转移性，导致其在白盒攻击下的性能差距显著。本文提出了一种新型攻击方法——协作多模态交互攻击（CMI-Attack），通过嵌入指导和交互增强来利用模态间的交互。具体而言，在嵌入层对文本进行攻击，同时保持语义完整，并利用交互图像梯度来增强文本和图像扰动的约束。在Flickr30K数据集的图像-文本检索任务中，CMI-Attack将ALBEF到TCL、$ ext{CLIP}{ ext{ViT}}$和$ ext{CLIP}{ ext{CNN}}$的转移成功率提高了8.11%-16.75%。此外，CMI-Attack在跨任务泛化场景中也表现出优越的性能。我们的工作填补了VLP模型转移攻击研究的空白，强调了模态交互在增强对抗鲁棒性方面的重要性。

🔬 方法详解

问题定义：本文旨在解决视觉语言预训练模型在对抗攻击中的脆弱性，尤其是攻击转移性不足的问题。现有方法未能充分利用模态间的交互机制，导致攻击效果不理想。

核心思路：提出的CMI-Attack通过在嵌入层对文本进行攻击，同时保持其语义完整性，结合模态间的交互来增强对抗效果。这种设计旨在提高攻击的有效性和转移性。

技术框架：CMI-Attack的整体架构包括两个主要模块：嵌入层攻击和交互增强。首先，在嵌入层对文本进行扰动，其次利用图像的交互梯度来约束文本和图像的扰动，从而实现更强的对抗效果。

关键创新：CMI-Attack的核心创新在于通过模态交互提升对抗攻击的转移性，这一方法在现有研究中尚属首次，显著提高了模型的对抗鲁棒性。

关键设计：在参数设置上，CMI-Attack采用了特定的损失函数以平衡文本和图像的扰动，同时设计了有效的网络结构以实现模态间的交互增强。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

CMI-Attack在Flickr30K数据集的实验中，成功将ALBEF到TCL、$ ext{CLIP}{ ext{ViT}}$和$ ext{CLIP}{ ext{CNN}}$的转移成功率提高了8.11%-16.75%，显示出显著的性能提升。此外，该方法在跨任务泛化场景中也展现了优越的效果，证明了其广泛适用性。

🎯 应用场景

该研究的潜在应用领域包括安全性要求高的视觉语言处理任务，如图像-文本检索、自动图像描述生成等。通过提升模型的对抗鲁棒性，可以在实际应用中更好地抵御对抗攻击，确保系统的稳定性和可靠性。未来，该方法可能推动对抗学习和多模态交互研究的进一步发展。

📄 摘要（原文）

Despite the substantial advancements in Vision-Language Pre-training (VLP) models, their susceptibility to adversarial attacks poses a significant challenge. Existing work rarely studies the transferability of attacks on VLP models, resulting in a substantial performance gap from white-box attacks. We observe that prior work overlooks the interaction mechanisms between modalities, which plays a crucial role in understanding the intricacies of VLP models. In response, we propose a novel attack, called Collaborative Multimodal Interaction Attack (CMI-Attack), leveraging modality interaction through embedding guidance and interaction enhancement. Specifically, attacking text at the embedding level while preserving semantics, as well as utilizing interaction image gradients to enhance constraints on perturbations of texts and images. Significantly, in the image-text retrieval task on Flickr30K dataset, CMI-Attack raises the transfer success rates from ALBEF to TCL, $\text{CLIP}{\text{ViT}}$ and $\text{CLIP}{\text{CNN}}$ by 8.11%-16.75% over state-of-the-art methods. Moreover, CMI-Attack also demonstrates superior performance in cross-task generalization scenarios. Our work addresses the underexplored realm of transfer attacks on VLP models, shedding light on the importance of modality interaction for enhanced adversarial robustness.