FigStep: Jailbreaking Large Vision-Language Models via Typographic Visual Prompts

📄 arXiv: 2311.05608v3 📥 PDF

作者: Yichen Gong, Delong Ran, Jinyuan Liu, Conglei Wang, Tianshuo Cong, Anyu Wang, Sisi Duan, Xiaoyun Wang

分类: cs.CR, cs.AI, cs.CL

发布日期: 2023-11-09 (更新: 2025-01-19)

备注: AAAI 2025 (Oral)

🔗 代码/项目: GITHUB

💡 一句话要点

提出FigStep以解决大型视觉语言模型的安全漏洞问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 安全性研究 黑箱越狱 跨模态对齐 排版技术 攻击成功率 人工智能安全 模型评估

📋 核心要点

  1. 当前大型视觉语言模型的安全性研究不足，存在对基础语言模型安全性的过度依赖。
  2. FigStep通过将有害文本内容转化为图像，利用排版技术有效绕过LVLMs的安全机制。
  3. 实验结果显示，FigStep在六个开源LVLMs上达到了82.50%的攻击成功率，表现优于现有越狱方法。

📝 摘要（中文）

大型视觉语言模型（LVLMs）在人工智能领域标志着一种突破性的范式转变，超越了大型语言模型（LLMs）的能力，融合了图像等额外模态。然而，LVLMs的安全性仍然未得到充分探索，存在对其基础LLMs安全保证的过度依赖。本文提出了FigStep，这是一种简单而有效的黑箱越狱算法，通过将禁止内容转化为图像，利用排版技术绕过安全对齐。实验结果表明，FigStep在六个开源LVLMs上实现了82.50%的平均攻击成功率。此外，本文还进行了全面的消融研究，分析了语义嵌入的分布，揭示了FigStep成功的原因在于视觉嵌入的安全对齐不足。我们还将FigStep与五种文本越狱和四种基于图像的越狱进行了比较，展示了其在攻击成本和性能上的优势。

🔬 方法详解

问题定义：本文旨在解决大型视觉语言模型（LVLMs）在安全性方面的脆弱性，现有方法往往依赖于文本输入，未能有效防范通过视觉模态进行的攻击。

核心思路：FigStep的核心思路是将有害的文本内容转化为图像，通过排版技术绕过LVLMs的安全对齐机制，从而实现有效的黑箱越狱。这样的设计使得攻击者能够利用视觉信息而非文本信息进行攻击，增加了安全防护的复杂性。

技术框架：FigStep的整体架构包括内容转换模块和攻击执行模块。内容转换模块负责将文本内容转化为图像，攻击执行模块则利用生成的图像对LVLMs进行攻击。整个流程简洁高效，能够快速生成攻击样本。

关键创新：FigStep的主要创新在于其通过视觉模态进行的越狱方式，突破了传统文本越狱方法的局限，揭示了LVLMs在视觉嵌入安全对齐方面的不足。

关键设计：在设计上，FigStep采用了特定的排版技术以确保生成的图像能够有效传达有害信息，同时在参数设置上进行了优化，以提高攻击的成功率和效率。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果显示，FigStep在六个开源LVLMs上实现了82.50%的平均攻击成功率，显著优于五种文本越狱和四种图像越狱方法，展示了其在攻击成本和性能上的优势，强调了LVLMs的安全性亟待改进。

🎯 应用场景

该研究的潜在应用领域包括安全性测试、模型评估和防御机制的开发。通过揭示LVLMs的脆弱性，FigStep为未来的安全防护技术提供了重要的参考，推动了跨模态安全对齐技术的研究与应用。

📄 摘要（原文）

Large Vision-Language Models (LVLMs) signify a groundbreaking paradigm shift within the Artificial Intelligence (AI) community, extending beyond the capabilities of Large Language Models (LLMs) by assimilating additional modalities (e.g., images). Despite this advancement, the safety of LVLMs remains adequately underexplored, with a potential overreliance on the safety assurances purported by their underlying LLMs. In this paper, we propose FigStep, a straightforward yet effective black-box jailbreak algorithm against LVLMs. Instead of feeding textual harmful instructions directly, FigStep converts the prohibited content into images through typography to bypass the safety alignment. The experimental results indicate that FigStep can achieve an average attack success rate of 82.50% on six promising open-source LVLMs. Not merely to demonstrate the efficacy of FigStep, we conduct comprehensive ablation studies and analyze the distribution of the semantic embeddings to uncover that the reason behind the success of FigStep is the deficiency of safety alignment for visual embeddings. Moreover, we compare FigStep with five text-only jailbreaks and four image-based jailbreaks to demonstrate the superiority of FigStep, i.e., negligible attack costs and better attack performance. Above all, our work reveals that current LVLMs are vulnerable to jailbreak attacks, which highlights the necessity of novel cross-modality safety alignment techniques. Our code and datasets are available at https://github.com/ThuCCSLab/FigStep .