Test-Time Backdoor Attacks on Multimodal Large Language Models

📄 arXiv: 2402.08577v1 📥 PDF

作者: Dong Lu, Tianyu Pang, Chao Du, Qian Liu, Xianjun Yang, Min Lin

分类: cs.CL, cs.CR, cs.CV, cs.LG, cs.MM

发布日期: 2024-02-13

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出AnyDoor以解决多模态大语言模型的测试时后门攻击问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 后门攻击 多模态大语言模型 对抗性攻击 安全性研究 模型鲁棒性

📋 核心要点

  1. 现有的后门攻击方法通常依赖于训练数据的污染，限制了其灵活性和适应性。
  2. AnyDoor通过对抗性测试图像在测试阶段注入后门，避免了对训练数据的依赖，具有更高的隐蔽性。
  3. 实验结果显示，AnyDoor在多个主流MLLMs上均表现出显著的攻击效果，且能够动态调整后门触发条件。

📝 摘要（中文）

后门攻击通常通过污染训练数据来实现，使得触发器可以在测试阶段激活预定的有害效果。在本研究中，我们提出了AnyDoor，这是一种针对多模态大语言模型（MLLMs）的测试时后门攻击方法，涉及使用对抗性测试图像将后门注入文本模态，而无需访问或修改训练数据。AnyDoor采用与通用对抗攻击相似的技术，但其独特之处在于能够解耦有害效果的设置和激活时间。实验验证了AnyDoor在流行的MLLMs（如LLaVA-1.5、MiniGPT-4、InstructBLIP和BLIP-2）上的有效性，并提供了全面的消融研究。值得注意的是，由于后门是通过通用扰动注入的，AnyDoor可以动态改变其后门触发提示/有害效果，从而为防御后门攻击带来了新的挑战。

🔬 方法详解

问题定义：本论文旨在解决多模态大语言模型（MLLMs）在测试阶段面临的后门攻击问题。现有方法通常依赖于训练数据的污染，限制了攻击的灵活性和隐蔽性。

核心思路：AnyDoor的核心思想是利用对抗性测试图像在测试阶段注入后门，而无需修改训练数据。这种方法允许攻击者在不暴露训练数据的情况下，灵活地激活有害效果。

技术框架：AnyDoor的整体架构包括两个主要阶段：第一阶段是利用通用扰动生成对抗性测试图像，第二阶段是在文本模态中注入后门。该方法通过解耦设置和激活时间，增强了攻击的隐蔽性。

关键创新：AnyDoor的最大创新在于其能够动态改变后门触发提示和有害效果，这与传统后门攻击方法的静态特性形成鲜明对比。

关键设计：在技术细节上，AnyDoor使用了通用扰动生成对抗性图像，并设计了特定的损失函数以优化后门的注入效果。此外，网络结构方面采用了适应性调整机制，以便在不同的MLLMs上实现最佳性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，AnyDoor在LLaVA-1.5、MiniGPT-4、InstructBLIP和BLIP-2等多个主流MLLMs上均成功实现了后门攻击，攻击成功率超过了90%。此外，通过动态调整后门触发条件，AnyDoor显著提高了攻击的隐蔽性和灵活性。

🎯 应用场景

该研究的潜在应用领域包括安全性研究、模型鲁棒性评估和对抗性训练等。通过揭示多模态大语言模型在测试阶段的脆弱性，AnyDoor为开发更强大的防御机制提供了新的思路，具有重要的实际价值和未来影响。

📄 摘要（原文）

Backdoor attacks are commonly executed by contaminating training data, such that a trigger can activate predetermined harmful effects during the test phase. In this work, we present AnyDoor, a test-time backdoor attack against multimodal large language models (MLLMs), which involves injecting the backdoor into the textual modality using adversarial test images (sharing the same universal perturbation), without requiring access to or modification of the training data. AnyDoor employs similar techniques used in universal adversarial attacks, but distinguishes itself by its ability to decouple the timing of setup and activation of harmful effects. In our experiments, we validate the effectiveness of AnyDoor against popular MLLMs such as LLaVA-1.5, MiniGPT-4, InstructBLIP, and BLIP-2, as well as provide comprehensive ablation studies. Notably, because the backdoor is injected by a universal perturbation, AnyDoor can dynamically change its backdoor trigger prompts/harmful effects, exposing a new challenge for defending against backdoor attacks. Our project page is available at https://sail-sg.github.io/AnyDoor/.