Jailbreaking Attack against Multimodal Large Language Model

📄 arXiv: 2402.02309v1 📥 PDF

作者: Zhenxing Niu, Haodong Ren, Xinbo Gao, Gang Hua, Rong Jin

分类: cs.LG, cs.CL, cs.CR, cs.CV

发布日期: 2024-02-04

💡 一句话要点

提出图像越狱提示以攻击多模态大语言模型

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 越狱攻击 图像提示 模型迁移 对抗性攻击 安全性测试 AI伦理

📋 核心要点

  1. 现有方法在多模态大语言模型的越狱攻击中面临挑战，难以在未见数据上有效生成不当响应。
  2. 提出了一种基于最大似然的算法，寻找图像越狱提示（imgJP），实现对多种模型的黑箱越狱。
  3. 实验结果显示，该方法在多个模型上具有强大的迁移能力，且在LLM越狱中效率高于现有方法。

📝 摘要（中文）

本文聚焦于针对多模态大语言模型（MLLMs）的越狱攻击，旨在引导MLLMs对有害用户查询生成不当响应。提出了一种基于最大似然的算法，用于寻找图像越狱提示（imgJP），使得在多个未见提示和图像上进行越狱成为可能，展现出数据通用性。该方法具有强大的模型迁移能力，生成的imgJP可以在黑箱环境下转移至不同模型，如MiniGPT-v2、LLaVA、InstructBLIP和mPLUG-Owl2。此外，揭示了MLLM越狱与LLM越狱之间的联系，提出了一种基于构造的方法，利用该方法进行LLM越狱，效率超过当前最先进的方法。代码可在此获取。警告：某些语言模型生成的内容可能对部分读者具有冒犯性。

🔬 方法详解

问题定义：本文旨在解决多模态大语言模型（MLLMs）在面对有害查询时生成不当响应的问题。现有方法在未见数据上表现不佳，难以有效引导模型生成期望的输出。

核心思路：提出基于最大似然的算法，通过寻找图像越狱提示（imgJP）来实现对MLLMs的越狱。该设计旨在提高模型的迁移能力，使得生成的提示能够在不同模型间有效转移。

技术框架：整体方法包括数据收集、imgJP生成和模型测试三个主要模块。首先，通过最大似然估计生成imgJP，然后在多个MLLMs上进行测试以验证其有效性。

关键创新：最重要的创新在于提出了imgJP的概念及其在多模态环境下的应用，显著提高了越狱的成功率和效率，与现有方法相比，具有更好的模型迁移性。

关键设计：在算法设计中，采用了特定的损失函数来优化imgJP的生成过程，并通过实验调整了模型参数，以确保在不同模型上均能有效工作。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所提出的imgJP在MiniGPT-v2、LLaVA、InstructBLIP和mPLUG-Owl2等多个模型上均能成功实现越狱，且在LLM越狱中效率超过现有最先进的方法，显示出显著的模型迁移能力和数据通用性。

🎯 应用场景

该研究的潜在应用领域包括安全性测试、模型鲁棒性评估以及对抗性攻击的研究。通过揭示多模态大语言模型的脆弱性，能够帮助开发更安全的AI系统，减少模型被滥用的风险。未来，该方法可能在AI伦理和安全领域产生深远影响。

📄 摘要（原文）

This paper focuses on jailbreaking attacks against multi-modal large language models (MLLMs), seeking to elicit MLLMs to generate objectionable responses to harmful user queries. A maximum likelihood-based algorithm is proposed to find an \emph{image Jailbreaking Prompt} (imgJP), enabling jailbreaks against MLLMs across multiple unseen prompts and images (i.e., data-universal property). Our approach exhibits strong model-transferability, as the generated imgJP can be transferred to jailbreak various models, including MiniGPT-v2, LLaVA, InstructBLIP, and mPLUG-Owl2, in a black-box manner. Moreover, we reveal a connection between MLLM-jailbreaks and LLM-jailbreaks. As a result, we introduce a construction-based method to harness our approach for LLM-jailbreaks, demonstrating greater efficiency than current state-of-the-art methods. The code is available here. \textbf{Warning: some content generated by language models may be offensive to some readers.}