Cross-Modal Obfuscation for Jailbreak Attacks on Large Vision-Language Models

📄 arXiv: 2506.16760v1 📥 PDF

作者: Lei Jiang, Zixun Zhang, Zizhou Wang, Xiaobing Sun, Zhen Li, Liangli Zhen, Xiaohua Xu

分类: cs.CL, cs.CV

发布日期: 2025-06-20

备注: 15 pages, 9 figures

💡 一句话要点

提出跨模态对抗模糊化方法以解决大型视觉语言模型的越狱攻击问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 越狱攻击 对抗攻击 多模态推理 安全机制 内容生成 深度学习

📋 核心要点

  1. 现有的黑箱越狱方法依赖对抗性文本或图像扰动，易被检测且效率低下。
  2. 本文提出的CAMO方法通过将恶意提示分解为无害片段，利用跨模态推理能力进行隐秘重构。
  3. 实验结果表明，CAMO在多个LVLMs上表现优异，查询次数显著低于以往方法，展示了良好的跨模型迁移性。

📝 摘要（中文）

大型视觉语言模型（LVLMs）在多模态任务中表现出色，但仍然容易受到越狱攻击，这些攻击绕过内置安全机制以生成受限内容。现有的黑箱越狱方法主要依赖对抗性文本提示或图像扰动，但这些方法易被标准内容过滤系统检测，且查询和计算效率低下。本文提出了一种新的黑箱越狱攻击框架——跨模态对抗多模态模糊化（CAMO），该方法将恶意提示分解为语义上无害的视觉和文本片段。通过利用LVLMs的跨模态推理能力，CAMO通过多步推理隐秘地重构有害指令，从而规避传统检测机制。综合评估表明，CAMO在领先的LVLMs上表现出色，展示了强大的跨模型迁移能力，突显了当前内置安全机制的重大漏洞，强调了在视觉语言系统中迫切需要先进的对齐安全和安全解决方案。

🔬 方法详解

问题定义：本文解决的是大型视觉语言模型在面对越狱攻击时的脆弱性，现有方法的主要痛点在于其易被检测且计算效率低下。

核心思路：CAMO的核心思路是将恶意提示分解为语义上无害的视觉和文本片段，利用LVLMs的跨模态推理能力，通过多步推理隐秘地重构有害指令，从而规避传统的检测机制。

技术框架：CAMO的整体架构包括三个主要模块：1）恶意提示分解模块，将恶意内容分解为无害片段；2）跨模态推理模块，利用LVLMs的推理能力进行重构；3）检测规避模块，确保生成内容不被检测。

关键创新：CAMO的最重要技术创新在于其通过跨模态推理实现了对恶意提示的隐秘重构，显著提高了攻击的隐蔽性和效率，与现有方法相比，减少了查询次数并提高了成功率。

关键设计：在设计上，CAMO允许调整推理复杂度，采用特定的损失函数以优化重构效果，网络结构上结合了视觉和文本特征的融合，确保了多模态信息的有效利用。

📊 实验亮点

实验结果显示，CAMO在多个领先的LVLMs上表现出色，相较于传统方法，查询次数减少了50%以上，成功率显著提高，展示了强大的跨模型迁移能力，验证了其在实际应用中的有效性。

🎯 应用场景

该研究的潜在应用领域包括安全性测试、内容生成和人工智能系统的安全防护等。通过提高对抗攻击的隐蔽性，CAMO可以帮助开发更为安全的视觉语言模型，保护用户免受恶意内容生成的影响，未来可能推动更安全的AI应用和技术标准的制定。

📄 摘要（原文）

Large Vision-Language Models (LVLMs) demonstrate exceptional performance across multimodal tasks, yet remain vulnerable to jailbreak attacks that bypass built-in safety mechanisms to elicit restricted content generation. Existing black-box jailbreak methods primarily rely on adversarial textual prompts or image perturbations, yet these approaches are highly detectable by standard content filtering systems and exhibit low query and computational efficiency. In this work, we present Cross-modal Adversarial Multimodal Obfuscation (CAMO), a novel black-box jailbreak attack framework that decomposes malicious prompts into semantically benign visual and textual fragments. By leveraging LVLMs' cross-modal reasoning abilities, CAMO covertly reconstructs harmful instructions through multi-step reasoning, evading conventional detection mechanisms. Our approach supports adjustable reasoning complexity and requires significantly fewer queries than prior attacks, enabling both stealth and efficiency. Comprehensive evaluations conducted on leading LVLMs validate CAMO's effectiveness, showcasing robust performance and strong cross-model transferability. These results underscore significant vulnerabilities in current built-in safety mechanisms, emphasizing an urgent need for advanced, alignment-aware security and safety solutions in vision-language systems.