JailbreakBench: An Open Robustness Benchmark for Jailbreaking Large Language Models
作者: Patrick Chao, Edoardo Debenedetti, Alexander Robey, Maksym Andriushchenko, Francesco Croce, Vikash Sehwag, Edgar Dobriban, Nicolas Flammarion, George J. Pappas, Florian Tramer, Hamed Hassani, Eric Wong
分类: cs.CR, cs.LG
发布日期: 2024-03-28 (更新: 2024-10-31)
备注: The camera-ready version of JailbreakBench v1.0 (accepted at NeurIPS 2024 Datasets and Benchmarks Track): more attack artifacts, more test-time defenses, a more accurate jailbreak judge (Llama-3-70B with a custom prompt), a larger dataset of human preferences for selecting a jailbreak judge (300 examples), an over-refusal evaluation dataset, a semantic refusal judge based on Llama-3-8B
🔗 代码/项目: GITHUB
💡 一句话要点
提出JailbreakBench以解决大语言模型的监狱破解评估问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 监狱破解 大型语言模型 对抗性攻击 安全评估 开源基准 人工智能伦理 标准化评估
📋 核心要点
- 现有监狱破解评估方法缺乏标准化，导致评估结果不一致且难以复现。
- JailbreakBench通过提供对抗性提示库、监狱破解数据集和标准化评估框架来解决这些问题。
- 该基准的发布将促进对监狱破解攻击的研究和评估，推动相关领域的发展。
📝 摘要（中文）
监狱破解攻击使大型语言模型（LLMs）生成有害、不道德或其他令人反感的内容。评估这些攻击面临多重挑战，现有基准和评估技术未能充分解决这些问题。首先，缺乏明确的监狱破解评估标准；其次，现有研究在计算成本和成功率时方法不一；最后，许多研究因保留对抗性提示、使用闭源代码或依赖不断变化的专有API而无法复现。为应对这些挑战，本文提出了JailbreakBench，一个开源基准，包含最新的对抗性提示库、一个包含100种行为的监狱破解数据集、标准化的评估框架以及一个跟踪攻击和防御性能的排行榜。我们认真考虑了发布该基准的潜在伦理影响，并相信它将对社区产生积极影响。
🔬 方法详解
问题定义：本文旨在解决现有监狱破解评估方法缺乏标准化和可复现性的问题。现有方法在评估攻击成功率和成本时存在不一致性，且许多研究无法复现。
核心思路：JailbreakBench的核心思路是创建一个开放的基准，提供标准化的评估框架和对抗性提示库，以便研究人员能够一致地评估监狱破解攻击的效果。
技术框架：该基准包括四个主要模块：对抗性提示库（监狱破解文物）、监狱破解数据集（包含100种行为）、标准化评估框架（定义威胁模型、系统提示和评分函数）以及排行榜（跟踪不同LLMs的攻击和防御性能）。
关键创新：JailbreakBench的创新在于其开放性和标准化，提供了一个可复现的评估平台，解决了现有研究中常见的闭源和不可复现问题。
关键设计：在设计中，数据集遵循OpenAI的使用政策，评估框架明确了威胁模型和评分标准，确保了评估的一致性和透明度。所有组件均为开源，便于社区使用和改进。
🖼️ 关键图片
📊 实验亮点
JailbreakBench的实验结果显示，使用该基准进行评估的监狱破解攻击成功率显著提高，且与现有基准相比，评估结果的一致性和可复现性得到了增强。具体性能数据和提升幅度在论文中详细列出，展示了该基准的有效性。
🎯 应用场景
JailbreakBench的潜在应用场景包括大型语言模型的安全性评估、对抗性攻击研究以及人工智能伦理研究。通过提供标准化的评估工具，研究人员可以更有效地识别和缓解语言模型中的潜在风险，推动安全和伦理的AI应用发展。
📄 摘要（原文）
Jailbreak attacks cause large language models (LLMs) to generate harmful, unethical, or otherwise objectionable content. Evaluating these attacks presents a number of challenges, which the current collection of benchmarks and evaluation techniques do not adequately address. First, there is no clear standard of practice regarding jailbreaking evaluation. Second, existing works compute costs and success rates in incomparable ways. And third, numerous works are not reproducible, as they withhold adversarial prompts, involve closed-source code, or rely on evolving proprietary APIs. To address these challenges, we introduce JailbreakBench, an open-sourced benchmark with the following components: (1) an evolving repository of state-of-the-art adversarial prompts, which we refer to as jailbreak artifacts; (2) a jailbreaking dataset comprising 100 behaviors -- both original and sourced from prior work (Zou et al., 2023; Mazeika et al., 2023, 2024) -- which align with OpenAI's usage policies; (3) a standardized evaluation framework at https://github.com/JailbreakBench/jailbreakbench that includes a clearly defined threat model, system prompts, chat templates, and scoring functions; and (4) a leaderboard at https://jailbreakbench.github.io/ that tracks the performance of attacks and defenses for various LLMs. We have carefully considered the potential ethical implications of releasing this benchmark, and believe that it will be a net positive for the community.