AutoDefense: Multi-Agent LLM Defense against Jailbreak Attacks

📄 arXiv: 2403.04783v2 📥 PDF

作者: Yifan Zeng, Yiran Wu, Xiao Zhang, Huazheng Wang, Qingyun Wu

分类: cs.LG, cs.CL, cs.CR

发布日期: 2024-03-02 (更新: 2024-11-14)

🔗 代码/项目: GITHUB

💡 一句话要点

提出AutoDefense以解决大语言模型的监狱突破攻击问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多代理协作 监狱突破攻击 大型语言模型 响应过滤 道德对齐

📋 核心要点

  1. 现有的大型语言模型在道德对齐方面的预训练不足以完全防止监狱突破攻击，导致生成有害信息的风险。
  2. AutoDefense框架通过多代理协作，分配不同角色以过滤有害响应，从而增强了防御能力和指令遵循性。
  3. 实验结果显示，AutoDefense有效降低了监狱突破攻击的成功率，同时保持了正常请求的性能，展现出良好的实用性。

📝 摘要（中文）

尽管大型语言模型（LLMs）经过广泛的道德对齐预训练以防止生成有害信息，但仍然容易受到监狱突破攻击。本文提出了AutoDefense，一个多代理防御框架，旨在过滤LLMs的有害响应。通过响应过滤机制，我们的框架对不同的监狱突破攻击提示具有鲁棒性，并可用于防御不同的受害模型。AutoDefense为LLM代理分配不同角色，协同完成防御任务，从而增强了LLMs的整体指令遵循能力，并能够将其他防御组件整合为工具。实验表明，AutoDefense能够有效防御不同的监狱突破攻击，同时在正常用户请求下保持性能。例如，使用LLaMA-2-13b的3代理系统，我们将GPT-3.5的攻击成功率从55.74%降低到7.95%。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在面对监狱突破攻击时的脆弱性，现有方法在防御能力和适应性上存在不足，无法有效过滤有害响应。

核心思路：AutoDefense通过引入多代理协作机制，分配不同角色以共同完成防御任务，从而提高了整体的指令遵循能力和防御效果。

技术框架：AutoDefense框架包括多个LLM代理，每个代理承担特定的角色和任务，通过协作实现响应过滤。框架设计允许整合其他防御工具，形成一个灵活的防御体系。

关键创新：最重要的创新在于多代理协作的设计，使得不同的LLM能够在防御任务中发挥各自优势，显著提升了防御效果，与传统单一模型防御方法相比具有本质区别。

关键设计：在设计中，AutoDefense采用了特定的任务分配策略，优化了代理之间的协作机制，确保了响应过滤的高效性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，AutoDefense在防御监狱突破攻击方面表现出色，成功将GPT-3.5的攻击成功率从55.74%降低至7.95%，显示出显著的防御效果和良好的性能保持能力。

🎯 应用场景

该研究的潜在应用领域包括社交媒体平台、在线客服系统和内容生成工具等，能够有效防止有害信息的传播，提升用户体验和安全性。未来，AutoDefense可能在更多领域中得到应用，推动智能系统的安全性和可靠性。

📄 摘要（原文）

Despite extensive pre-training in moral alignment to prevent generating harmful information, large language models (LLMs) remain vulnerable to jailbreak attacks. In this paper, we propose AutoDefense, a multi-agent defense framework that filters harmful responses from LLMs. With the response-filtering mechanism, our framework is robust against different jailbreak attack prompts, and can be used to defend different victim models. AutoDefense assigns different roles to LLM agents and employs them to complete the defense task collaboratively. The division in tasks enhances the overall instruction-following of LLMs and enables the integration of other defense components as tools. With AutoDefense, small open-source LMs can serve as agents and defend larger models against jailbreak attacks. Our experiments show that AutoDefense can effectively defense against different jailbreak attacks, while maintaining the performance at normal user request. For example, we reduce the attack success rate on GPT-3.5 from 55.74% to 7.95% using LLaMA-2-13b with a 3-agent system. Our code and data are publicly available at https://github.com/XHMY/AutoDefense.