Images are Achilles' Heel of Alignment: Exploiting Visual Vulnerabilities for Jailbreaking Multimodal Large Language Models

📄 arXiv: 2403.09792v3 📥 PDF

作者: Yifan Li, Hangyu Guo, Kun Zhou, Wayne Xin Zhao, Ji-Rong Wen

分类: cs.CV, cs.CL

发布日期: 2024-03-14 (更新: 2025-01-13)

备注: ECCV 2024 Oral

🔗 代码/项目: GITHUB

💡 一句话要点

提出HADES方法以解决多模态大语言模型的对齐脆弱性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 对齐脆弱性 恶意输入 越狱方法 图像输入 安全性测试 对抗样本

📋 核心要点

  1. 现有多模态大语言模型在处理图像输入时存在对齐脆弱性，导致恶意输入可能被误解或未能有效识别。
  2. 提出的HADES方法通过巧妙设计的图像来隐藏和放大文本中的恶意意图，从而实现对MLLMs的越狱。
  3. 实验结果显示，HADES在LLaVA-1.5和Gemini Pro Vision上的攻击成功率分别达到90.26%和71.60%，显著提升了越狱效果。

📝 摘要（中文）

本文研究了多模态大语言模型（MLLMs）的无害性对齐问题。通过系统的实证分析，揭示了图像输入对MLLMs的对齐脆弱性。基于此，提出了一种新颖的越狱方法HADES，该方法通过精心设计的图像隐藏并放大文本输入中的恶意意图。实验结果表明，HADES能够有效越狱现有的MLLMs，LLaVA-1.5的平均攻击成功率（ASR）达到90.26%，而Gemini Pro Vision的ASR为71.60%。我们的代码和数据可在https://github.com/RUCAIBox/HADES获取。

🔬 方法详解

问题定义：本文旨在解决多模态大语言模型在图像输入下的对齐脆弱性问题。现有方法在处理恶意输入时，未能有效识别和应对潜在的威胁，导致安全隐患。

核心思路：HADES方法的核心思路是通过精心设计的图像来隐藏文本中的恶意意图，并放大其影响力，以此实现对MLLMs的越狱。这样的设计可以利用图像输入的脆弱性，绕过模型的安全防护。

技术框架：HADES的整体架构包括两个主要模块：一是图像生成模块，负责生成能够隐藏恶意意图的图像；二是文本输入模块，结合图像与文本进行输入，触发模型的脆弱性。

关键创新：HADES的最大创新在于将图像输入作为攻击媒介，通过图像的设计来增强文本中的恶意信息，这与传统的文本攻击方法有本质区别。

关键设计：在HADES中，关键参数包括图像的生成算法和文本的恶意意图嵌入方式，损失函数设计为同时考虑图像与文本的相互影响，以确保攻击效果的最大化。具体的网络结构和参数设置在实验中进行了详细调优。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

HADES方法在实验中表现出色，LLaVA-1.5的攻击成功率达到90.26%，而Gemini Pro Vision的成功率为71.60%。这些结果显著高于传统方法，表明HADES在越狱多模态大语言模型方面的有效性和创新性。

🎯 应用场景

该研究的潜在应用领域包括安全性测试、对抗样本生成以及多模态系统的安全防护。通过揭示多模态大语言模型的脆弱性，HADES方法可以帮助开发更为安全的AI系统，防止恶意攻击的发生。未来，该方法可能在AI安全领域产生深远影响，推动相关技术的发展与应用。

📄 摘要（原文）

In this paper, we study the harmlessness alignment problem of multimodal large language models (MLLMs). We conduct a systematic empirical analysis of the harmlessness performance of representative MLLMs and reveal that the image input poses the alignment vulnerability of MLLMs. Inspired by this, we propose a novel jailbreak method named HADES, which hides and amplifies the harmfulness of the malicious intent within the text input, using meticulously crafted images. Experimental results show that HADES can effectively jailbreak existing MLLMs, which achieves an average Attack Success Rate (ASR) of 90.26% for LLaVA-1.5 and 71.60% for Gemini Pro Vision. Our code and data are available at https://github.com/RUCAIBox/HADES.