Stop Reasoning! When Multimodal LLM with Chain-of-Thought Reasoning Meets Adversarial Image

📄 arXiv: 2402.14899v3 📥 PDF

作者: Zefeng Wang, Zhen Han, Shuo Chen, Fan Xue, Zifeng Ding, Xun Xiao, Volker Tresp, Philip Torr, Jindong Gu

分类: cs.CV, cs.AI, cs.CR, cs.LG

发布日期: 2024-02-22 (更新: 2024-09-22)

💡 一句话要点

提出停推理攻击以增强多模态大语言模型的对抗鲁棒性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 链式推理 对抗攻击 鲁棒性 停推理攻击 视觉推理 模型安全性

📋 核心要点

  1. 现有的多模态大语言模型在面对对抗性图像时表现出脆弱性，尤其是在链式推理的应用下。
  2. 本文提出了一种新型的停推理攻击，旨在通过绕过链式推理过程来攻击模型，从而提高对抗鲁棒性。
  3. 实验结果显示，停推理攻击在三个多模态大语言模型和两个视觉推理数据集上均显著优于传统攻击方法。

📝 摘要（中文）

多模态大语言模型（MLLMs）在文本和图像理解方面表现出色，链式推理（CoT）进一步提升了其可解释性。然而，MLLMs在面对对抗性图像时仍然存在脆弱性。本文探讨了CoT是否增强了MLLMs的对抗鲁棒性，并提出了一种新型攻击方法——停推理攻击，能够在绕过CoT推理过程的情况下攻击模型。实验结果表明，停推理攻击能够显著提高对抗攻击的有效性，导致错误预测，并在多个基线攻击中表现优异。

🔬 方法详解

问题定义：本文旨在解决多模态大语言模型在对抗性图像下的脆弱性，现有方法未能有效提升其鲁棒性，尤其是在链式推理应用时。

核心思路：通过提出停推理攻击，绕过链式推理过程，直接攻击模型的推理能力，从而评估和提升其对抗鲁棒性。

技术框架：整体架构包括对现有攻击方法的推广，针对链式推理的两个主要组件（推理依据和答案）进行攻击，并设计新的停推理攻击流程。

关键创新：停推理攻击是本文的核心创新，与现有方法的本质区别在于其绕过了链式推理的中间步骤，直接影响模型的最终输出。

关键设计：在实验中，停推理攻击的参数设置经过精细调整，确保其在不同模型和数据集上的有效性，损失函数和网络结构设计也经过优化，以提高攻击效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，停推理攻击在三个多模态大语言模型上实现了显著的性能提升，相较于基线攻击方法，错误预测率提高了显著的幅度，验证了该方法的有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括安全性敏感的多模态系统，如自动驾驶、医疗影像分析和智能监控等。通过增强模型的对抗鲁棒性，可以提高这些系统在真实世界中的可靠性和安全性，减少对抗攻击带来的风险。

📄 摘要（原文）

Multimodal LLMs (MLLMs) with a great ability of text and image understanding have received great attention. To achieve better reasoning with MLLMs, Chain-of-Thought (CoT) reasoning has been widely explored, which further promotes MLLMs' explainability by giving intermediate reasoning steps. Despite the strong power demonstrated by MLLMs in multimodal reasoning, recent studies show that MLLMs still suffer from adversarial images. This raises the following open questions: Does CoT also enhance the adversarial robustness of MLLMs? What do the intermediate reasoning steps of CoT entail under adversarial attacks? To answer these questions, we first generalize existing attacks to CoT-based inferences by attacking the two main components, i.e., rationale and answer. We find that CoT indeed improves MLLMs' adversarial robustness against the existing attack methods by leveraging the multi-step reasoning process, but not substantially. Based on our findings, we further propose a novel attack method, termed as stop-reasoning attack, that attacks the model while bypassing the CoT reasoning process. Experiments on three MLLMs and two visual reasoning datasets verify the effectiveness of our proposed method. We show that stop-reasoning attack can result in misled predictions and outperform baseline attacks by a significant margin.