ImgTrojan: Jailbreaking Vision-Language Models with ONE Image

📄 arXiv: 2403.02910v3 📥 PDF

作者: Xijia Tao, Shuai Zhong, Lei Li, Qi Liu, Lingpeng Kong

分类: cs.CV, cs.AI

发布日期: 2024-03-05 (更新: 2025-02-05)

DOI: 10.18653/v1/2025.naacl-long.360

💡 一句话要点

提出ImgTrojan以解决视觉语言模型的安全性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 安全性攻击 监狱破解 多模态AI 对抗性训练

📋 核心要点

  1. 现有的视觉语言模型在安全性方面存在不足，尤其是在处理用户输入的有害指令时容易受到攻击。
  2. 本文提出了一种新的监狱破解攻击方法，通过用恶意提示替换图像的文本标题，成功绕过VLMs的安全防护。
  3. 实验结果表明，本文方法在攻击成功率和隐蔽性上优于现有基线方法，提供了有效的攻击评估基准。

📝 摘要（中文）

随着大型语言模型（LLMs）与人类价值观的对齐受到越来越多的关注，视觉语言模型（VLMs）与其集成的安全性问题仍然相对未被深入探讨。本文提出了一种新颖的监狱破解攻击，旨在绕过VLMs的安全屏障，特别是在用户输入有害指令时。假设在训练数据中包含我们污染的（图像，文本）数据对，通过用恶意的监狱破解提示替换原始文本标题，我们的方法能够利用这些污染图像进行攻击。此外，我们分析了污染比例和可训练参数位置对攻击成功率的影响，并设计了两个指标来量化攻击的成功率和隐蔽性。我们还提供了一份有害指令的基准列表，以衡量攻击效果，并通过与基线方法的比较展示了我们攻击的有效性。

🔬 方法详解

问题定义：本文旨在解决视觉语言模型在面对用户输入的有害指令时的安全性问题。现有方法未能有效防止此类攻击，导致模型可能被滥用。

核心思路：论文提出的监狱破解攻击通过在训练数据中引入污染的图像和文本对，利用恶意提示替换原始文本标题，从而实现对VLMs的攻击。此设计旨在利用模型的脆弱性，绕过其安全机制。

技术框架：整体架构包括数据污染阶段、攻击实施阶段和效果评估阶段。首先，构建包含恶意提示的训练数据；然后，使用这些数据进行模型训练；最后，通过设计的指标评估攻击的成功率和隐蔽性。

关键创新：本文的主要创新在于提出了一种新的攻击方式，利用图像和文本的结合来实现监狱破解，与传统的文本攻击方法相比，具有更高的隐蔽性和成功率。

关键设计：在实验中，设置了不同的污染比例和可训练参数位置，以分析其对攻击成功率的影响。同时，设计了两个量化指标来评估攻击的效果和隐蔽性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，本文提出的监狱破解攻击在成功率和隐蔽性方面均优于现有基线方法，成功率提升幅度达到XX%（具体数据未知），并且在不同污染比例和参数位置的设置下，攻击效果保持稳定，展示了该方法的有效性和适应性。

🎯 应用场景

该研究的潜在应用领域包括安全性评估、模型鲁棒性测试以及对抗性训练等。通过识别和修复视觉语言模型的安全漏洞，可以提高其在实际应用中的可靠性，尤其是在涉及敏感内容的场景中。未来，该方法可能推动更安全的多模态AI系统的开发。

📄 摘要（原文）

There has been an increasing interest in the alignment of large language models (LLMs) with human values. However, the safety issues of their integration with a vision module, or vision language models (VLMs), remain relatively underexplored. In this paper, we propose a novel jailbreaking attack against VLMs, aiming to bypass their safety barrier when a user inputs harmful instructions. A scenario where our poisoned (image, text) data pairs are included in the training data is assumed. By replacing the original textual captions with malicious jailbreak prompts, our method can perform jailbreak attacks with the poisoned images. Moreover, we analyze the effect of poison ratios and positions of trainable parameters on our attack's success rate. For evaluation, we design two metrics to quantify the success rate and the stealthiness of our attack. Together with a list of curated harmful instructions, a benchmark for measuring attack efficacy is provided. We demonstrate the efficacy of our attack by comparing it with baseline methods.