Defending Large Language Models Against Jailbreaking Attacks Through Goal Prioritization

📄 arXiv: 2311.09096v2 📥 PDF

作者: Zhexin Zhang, Junxiao Yang, Pei Ke, Fei Mi, Hongning Wang, Minlie Huang

分类: cs.CL

发布日期: 2023-11-15 (更新: 2024-06-12)

备注: ACL 2024 Main Conference

🔗 代码/项目: GITHUB

💡 一句话要点

通过目标优先级整合防御大语言模型的越狱攻击

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 越狱攻击 目标优先级 安全性 模型训练 推理阶段 防御机制

📋 核心要点

  1. 现有方法在防御大语言模型的越狱攻击方面存在不足，缺乏有效的防御机制。
  2. 论文提出通过在训练和推理阶段整合目标优先级来应对越狱攻击，旨在平衡帮助性与安全性。
  3. 实验结果显示，目标优先级的整合显著降低了多个模型的攻击成功率，提升了安全性。

📝 摘要（中文）

尽管对大语言模型（LLMs）越狱攻击的弱点进行了大量研究，但针对这些攻击的防御工作仍然不足。本文指出，越狱成功的一个关键因素是帮助性与安全性目标之间的内在冲突。因此，我们提出在训练和推理阶段整合目标优先级以进行防御。在推理阶段实施目标优先级显著降低了ChatGPT的攻击成功率（ASR）从66.4%降至3.6%。将目标优先级整合到模型训练中，使Llama2-13B的ASR从71.0%降至6.6%。即使在训练中未包含越狱样本的情况下，我们的方法也将ASR减半。此外，研究发现，尽管更强的LLMs面临更大的安全风险，但它们也具备更强的能力来抵御此类攻击。我们的工作为理解越狱攻击及其防御提供了新视角，并揭示了LLMs能力与安全性之间的关系。

🔬 方法详解

问题定义：本文旨在解决大语言模型（LLMs）在面对越狱攻击时的防御不足问题。现有方法未能有效平衡模型的帮助性与安全性目标，导致越狱攻击频繁成功。

核心思路：论文的核心思路是通过整合目标优先级来增强模型的防御能力。在训练和推理阶段优先考虑安全性目标，从而降低越狱攻击的成功率。

技术框架：整体架构包括两个主要阶段：训练阶段和推理阶段。在训练阶段，模型学习时将安全性目标置于更高优先级；在推理阶段，模型根据目标优先级调整输出，确保安全性优先。

关键创新：最重要的技术创新在于将目标优先级的概念引入到大语言模型的训练和推理过程中。这一方法与传统的单一目标优化方法本质上不同，能够有效降低越狱攻击的成功率。

关键设计：在训练过程中，模型的损失函数被调整，以便在优化过程中更重视安全性目标。此外，模型的网络结构也可能根据目标优先级进行调整，以增强其对越狱攻击的抵抗能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，通过在推理阶段实施目标优先级，ChatGPT的攻击成功率（ASR）从66.4%降至3.6%；而在训练阶段整合目标优先级后，Llama2-13B的ASR从71.0%降至6.6%。即使在没有越狱样本的训练情况下，该方法也能将ASR减半，展现出显著的防御效果。

🎯 应用场景

该研究的潜在应用场景包括大语言模型的安全性增强，尤其是在金融、医疗和法律等高风险领域。通过提高模型的安全性，可以有效防止恶意用户利用模型进行不当行为，从而保护用户和系统的安全。未来，该方法还可能扩展到其他类型的AI系统中，提升其整体安全性。

📄 摘要（原文）

While significant attention has been dedicated to exploiting weaknesses in LLMs through jailbreaking attacks, there remains a paucity of effort in defending against these attacks. We point out a pivotal factor contributing to the success of jailbreaks: the intrinsic conflict between the goals of being helpful and ensuring safety. Accordingly, we propose to integrate goal prioritization at both training and inference stages to counteract. Implementing goal prioritization during inference substantially diminishes the Attack Success Rate (ASR) of jailbreaking from 66.4% to 3.6% for ChatGPT. And integrating goal prioritization into model training reduces the ASR from 71.0% to 6.6% for Llama2-13B. Remarkably, even in scenarios where no jailbreaking samples are included during training, our approach slashes the ASR by half. Additionally, our findings reveal that while stronger LLMs face greater safety risks, they also possess a greater capacity to be steered towards defending against such attacks, both because of their stronger ability in instruction following. Our work thus contributes to the comprehension of jailbreaking attacks and defenses, and sheds light on the relationship between LLMs' capability and safety. Our code is available at \url{https://github.com/thu-coai/JailbreakDefense_GoalPriority}.