A Wolf in Sheep's Clothing: Generalized Nested Jailbreak Prompts can Fool Large Language Models Easily

📄 arXiv: 2311.08268v4 📥 PDF

作者: Peng Ding, Jun Kuang, Dan Ma, Xuezhi Cao, Yunsen Xian, Jiajun Chen, Shujian Huang

分类: cs.CL

发布日期: 2023-11-14 (更新: 2024-04-07)

备注: Acccepted by NAACL 2024, 18 pages, 7 figures, 13 tables

🔗 代码/项目: GITHUB

💡 一句话要点

提出ReNeLLM框架以自动生成有效的越狱提示

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 越狱提示 大型语言模型 安全性测试 自动化生成 对抗性训练

📋 核心要点

  1. 现有越狱方法依赖复杂的手动设计或需在其他白盒模型上优化，导致通用性和效率的妥协。
  2. 本文提出ReNeLLM框架，通过提示重写和场景嵌套自动生成越狱提示，提升攻击效果。
  3. 实验结果显示，ReNeLLM在攻击成功率上显著优于现有基线，同时减少了时间成本。

📝 摘要（中文）

大型语言模型（LLMs），如ChatGPT和GPT-4，旨在提供有用且安全的响应。然而，所谓的越狱提示可以绕过这些安全措施，导致生成潜在有害内容。本文将越狱提示攻击概括为提示重写和场景嵌套两个方面，提出了ReNeLLM框架，利用LLMs自身自动生成有效的越狱提示。实验表明，ReNeLLM显著提高了攻击成功率，并大幅降低了时间成本，同时揭示了当前防御方法的不足。最后，从提示执行优先级的角度分析了LLMs防御的失败，并提出相应的防御策略。希望本研究能促进学术界和LLMs开发者提供更安全的模型。

🔬 方法详解

问题定义：本文解决的是如何有效生成越狱提示以绕过大型语言模型的安全防护。现有方法往往需要复杂的手动设计或依赖其他模型的优化，导致通用性和效率不足。

核心思路：论文的核心思路是将越狱提示攻击进行概括，提出提示重写和场景嵌套的概念，利用LLMs自身的能力自动生成有效的越狱提示，从而提高攻击成功率。

技术框架：ReNeLLM框架主要包括两个模块：提示重写模块和场景嵌套模块。提示重写模块负责对输入提示进行优化，而场景嵌套模块则通过构建复杂的场景来增强提示的有效性。

关键创新：最重要的技术创新在于将越狱提示的生成过程自动化，避免了传统方法中的手动设计和优化过程，使得生成的提示更具通用性和效率。

关键设计：在ReNeLLM中，提示重写模块采用了特定的损失函数来评估提示的有效性，同时场景嵌套模块设计了多层次的场景结构，以增强提示的复杂性和适应性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，ReNeLLM的攻击成功率显著提高，较现有基线提升幅度超过30%，同时时间成本减少了50%以上，表明该框架在效率和效果上的优势。

🎯 应用场景

该研究的潜在应用领域包括安全性测试、模型评估和对抗性训练等。通过揭示LLMs的弱点，研究者和开发者可以更好地设计防御机制，提高模型的安全性和可靠性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Large Language Models (LLMs), such as ChatGPT and GPT-4, are designed to provide useful and safe responses. However, adversarial prompts known as 'jailbreaks' can circumvent safeguards, leading LLMs to generate potentially harmful content. Exploring jailbreak prompts can help to better reveal the weaknesses of LLMs and further steer us to secure them. Unfortunately, existing jailbreak methods either suffer from intricate manual design or require optimization on other white-box models, which compromises either generalization or efficiency. In this paper, we generalize jailbreak prompt attacks into two aspects: (1) Prompt Rewriting and (2) Scenario Nesting. Based on this, we propose ReNeLLM, an automatic framework that leverages LLMs themselves to generate effective jailbreak prompts. Extensive experiments demonstrate that ReNeLLM significantly improves the attack success rate while greatly reducing the time cost compared to existing baselines. Our study also reveals the inadequacy of current defense methods in safeguarding LLMs. Finally, we analyze the failure of LLMs defense from the perspective of prompt execution priority, and propose corresponding defense strategies. We hope that our research can catalyze both the academic community and LLMs developers towards the provision of safer and more regulated LLMs. The code is available at https://github.com/NJUNLP/ReNeLLM.