Fight Back Against Jailbreaking via Prompt Adversarial Tuning

📄 arXiv: 2402.06255v4 📥 PDF

作者: Yichuan Mo, Yuji Wang, Zeming Wei, Yisen Wang

分类: cs.LG, cs.AI, cs.CL, cs.CR

发布日期: 2024-02-09 (更新: 2024-10-31)

🔗 代码/项目: GITHUB

💡 一句话要点

提出提示对抗调优以应对监狱破坏攻击问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 监狱破坏攻击 对抗训练 提示优化 模型鲁棒性 安全性增强

📋 核心要点

  1. 现有的防御策略主要集中在模型微调和启发式设计，难以实现内在的鲁棒性，尤其是在面对复杂的监狱破坏攻击时。
  2. 本文提出的提示对抗调优（PAT）方法，通过在用户提示前附加控制提示，结合对抗性和良性提示进行优化，以增强模型的安全性。
  3. 实验结果显示，PAT方法在灰盒和黑盒攻击下的成功率几乎降至0%，同时保持了模型的良性任务性能，计算开销也非常小。

📝 摘要（中文）

大型语言模型（LLMs）在多种应用中取得了显著成功，但也容易受到监狱破坏攻击的影响。现有的防御策略主要集中在模型微调或启发式防御设计上，而如何通过提示优化实现内在鲁棒性仍然是一个未解决的问题。本文提出了一种名为提示对抗调优（PAT）的方法，该方法在用户提示前附加一个提示控制作为保护前缀，通过对抗性和良性提示的优化来实现防御目标，同时保持自然性能。实验表明，该方法在灰盒和黑盒攻击下均有效，将高级攻击的成功率降低至接近0%，同时保持模型在良性任务上的效用，并仅产生微不足道的计算开销，为未来LLM安全研究提供了新的视角。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在面对监狱破坏攻击时的脆弱性。现有方法主要依赖于模型微调或启发式设计，难以实现内在的鲁棒性，特别是在对抗性攻击的情况下。

核心思路：论文提出的提示对抗调优（PAT）方法，通过在用户提示前附加一个控制提示，作为保护前缀，利用对抗性和良性提示的优化来增强模型的安全性。这种设计旨在在不损害模型性能的情况下，提高其抵御攻击的能力。

技术框架：PAT方法的整体架构包括两个主要模块：提示控制生成模块和优化模块。提示控制生成模块负责生成与用户输入相关的控制提示，而优化模块则通过对抗性和良性提示的结合进行训练，以提升模型的鲁棒性。

关键创新：最重要的技术创新在于引入了提示控制作为防御机制，通过对抗性训练的方式优化提示，从而实现了在保持模型效用的同时，显著提高了对抗攻击的抵御能力。这与现有方法的本质区别在于，现有方法多依赖于模型内部结构的调整，而PAT则侧重于输入提示的优化。

关键设计：在关键设计方面，PAT方法采用了特定的损失函数来平衡对抗性和良性提示的优化，同时在网络结构上，控制提示的生成与用户输入紧密结合，以确保生成的提示能够有效地引导模型输出安全的信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，提示对抗调优（PAT）方法在灰盒和黑盒攻击下的成功率降至接近0%。与现有防御策略相比，PAT不仅保持了模型在良性任务上的性能，还仅引入了微不足道的计算开销，展现了其在安全性和效率上的优越性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理中的安全性增强，尤其是在需要防止恶意输入导致不当输出的场景，如聊天机器人、内容生成和自动问答系统等。通过提升大型语言模型的安全性，能够有效降低其在实际应用中的风险，具有重要的实际价值和未来影响。

📄 摘要（原文）

While Large Language Models (LLMs) have achieved tremendous success in various applications, they are also susceptible to jailbreaking attacks. Several primary defense strategies have been proposed to protect LLMs from producing harmful information, mostly focusing on model fine-tuning or heuristical defense designs. However, how to achieve intrinsic robustness through prompt optimization remains an open problem. In this paper, motivated by adversarial training paradigms for achieving reliable robustness, we propose an approach named Prompt Adversarial Tuning (PAT) that trains a prompt control attached to the user prompt as a guard prefix. To achieve our defense goal whilst maintaining natural performance, we optimize the control prompt with both adversarial and benign prompts. Comprehensive experiments show that our method is effective against both grey-box and black-box attacks, reducing the success rate of advanced attacks to nearly 0%, while maintaining the model's utility on the benign task and incurring only negligible computational overhead, charting a new perspective for future explorations in LLM security. Our code is available at https://github.com/PKU-ML/PAT.