Jailbreaking GPT-4V via Self-Adversarial Attacks with System Prompts
作者: Yuanwei Wu, Xiang Li, Yixin Liu, Pan Zhou, Lichao Sun
分类: cs.CR, cs.AI, cs.LG
发布日期: 2023-11-15 (更新: 2024-01-20)
💡 一句话要点
提出SASP方法以解决GPT-4V系统提示泄露问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态大型语言模型 越狱攻击 系统提示 自对抗攻击 安全性测试 模型防御机制
📋 核心要点
- 现有方法主要关注模型输入的对抗样本，忽视了模型API的潜在漏洞，导致安全性不足。
- 本文提出了一种新颖的越狱攻击方法SASP，通过系统提示的自对抗攻击，利用GPT-4进行自我攻击。
- 实验结果显示，结合人类修改后，攻击成功率达到98.7%，并且合理设计的系统提示能有效降低越狱成功率。
📝 摘要（中文）
现有针对多模态大型语言模型（MLLMs）的越狱研究主要集中在模型输入的对抗样本上，而对模型API的漏洞关注较少。为填补这一研究空白，本文发现了GPT-4V中的系统提示泄露漏洞，并提出了一种新颖的越狱攻击方法SASP（通过系统提示的自对抗攻击）。通过利用GPT-4作为自我红队工具，结合人类修改，成功将攻击成功率提升至98.7%。此外，研究还评估了修改系统提示对防御越狱攻击的效果，结果表明，合理设计的系统提示能显著降低越狱成功率。整体而言，本文为增强MLLM安全性提供了新思路，强调了系统提示在越狱中的重要作用。
🔬 方法详解
问题定义：本文旨在解决多模态大型语言模型（MLLMs）中存在的系统提示泄露问题。现有方法主要集中在输入对抗样本，未能有效识别和利用模型API中的安全漏洞。
核心思路：论文提出的SASP方法通过自对抗攻击，利用从GPT-4V中提取的系统提示进行越狱。通过这种方式，研究者能够有效地发现和利用模型的弱点。
技术框架：整体流程包括三个主要阶段：首先，设计对话以提取系统提示；其次，利用提取的提示生成越狱输入；最后，结合人类修改以优化攻击效果。
关键创新：最重要的创新在于发现了系统提示泄露的漏洞，并提出了基于此的自对抗攻击方法SASP。这一方法与传统的输入对抗样本方法本质上不同，强调了系统提示的作用。
关键设计：在设计中，研究者对系统提示的提取过程进行了精心设计，并在攻击过程中引入了人类的修改，以提高攻击的成功率。
🖼️ 关键图片
📊 实验亮点
实验结果表明，结合人类修改后，SASP方法的攻击成功率达到了98.7%。同时，合理设计的系统提示能够显著降低越狱成功率，展示了系统提示在安全防护中的重要性。
🎯 应用场景
该研究的潜在应用领域包括安全性测试、模型防御机制的设计以及多模态系统的安全评估。通过深入理解系统提示的作用，未来可以开发出更为安全的MLLMs，降低被攻击的风险，提升用户信任度。
📄 摘要（原文）
Existing work on jailbreak Multimodal Large Language Models (MLLMs) has focused primarily on adversarial examples in model inputs, with less attention to vulnerabilities, especially in model API. To fill the research gap, we carry out the following work: 1) We discover a system prompt leakage vulnerability in GPT-4V. Through carefully designed dialogue, we successfully extract the internal system prompts of GPT-4V. This finding indicates potential exploitable security risks in MLLMs; 2) Based on the acquired system prompts, we propose a novel MLLM jailbreaking attack method termed SASP (Self-Adversarial Attack via System Prompt). By employing GPT-4 as a red teaming tool against itself, we aim to search for potential jailbreak prompts leveraging stolen system prompts. Furthermore, in pursuit of better performance, we also add human modification based on GPT-4's analysis, which further improves the attack success rate to 98.7\%; 3) We evaluated the effect of modifying system prompts to defend against jailbreaking attacks. Results show that appropriately designed system prompts can significantly reduce jailbreak success rates. Overall, our work provides new insights into enhancing MLLM security, demonstrating the important role of system prompts in jailbreaking. This finding could be leveraged to greatly facilitate jailbreak success rates while also holding the potential for defending against jailbreaks.