Evaluating Multi-Agent Defences Against Jailbreaking Attacks on Large Language Models

📄 arXiv: 2506.23576v1 📥 PDF

作者: Maria Carolina Cornelia Wit, Jun Pang

分类: cs.AI

发布日期: 2025-06-30

备注: 26 pages, 1 figure

💡 一句话要点

提出多代理系统以应对大型语言模型的越狱攻击

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 越狱攻击 大型语言模型 多代理系统 安全机制 假阴性 防御策略 计算开销

📋 核心要点

  1. 越狱攻击对大型语言模型的安全性构成威胁，现有防御方法效果有限，尤其在假阴性率方面。
  2. 本文提出使用多代理LLM系统作为防御手段，通过比较不同代理配置来评估其有效性。
  3. 实验结果显示，多代理系统在抵抗越狱攻击方面表现出色，假阴性显著减少，但假阳性和计算开销有所增加。

📝 摘要（中文）

近年来，大型语言模型（LLMs）的进步引发了对越狱攻击的担忧，即通过特定提示绕过安全机制。本文研究了多代理LLM系统作为防御手段的有效性。我们评估了三种越狱策略，包括原始的AutoDefense攻击和Deepleaps的BetterDan及JB。通过重现AutoDefense框架，我们比较了单代理与双代理和三代理配置的效果。结果表明，多代理系统增强了对越狱攻击的抵抗力，尤其是在减少假阴性方面。然而，其有效性因攻击类型而异，并引入了假阳性增加和计算开销等权衡。这些发现揭示了当前自动防御的局限性，并为未来LLM系统的对齐鲁棒性改进提供了方向。

🔬 方法详解

问题定义：本文旨在解决大型语言模型面临的越狱攻击问题，现有单代理防御方法在假阴性率上存在不足，导致安全性降低。

核心思路：通过引入多代理系统，利用多个代理之间的协作来增强对越狱攻击的防御能力，旨在提高模型的整体安全性和鲁棒性。

技术框架：整体架构包括多个代理的协作机制，分别进行输入处理和攻击检测。实验中比较了单代理、双代理和三代理配置的效果，评估其在不同攻击策略下的表现。

关键创新：最重要的创新在于多代理系统的设计，通过代理间的交互减少假阴性，提高对越狱攻击的抵抗力，与传统单代理方法形成鲜明对比。

关键设计：在参数设置上，采用了动态调整的阈值来平衡假阳性和假阴性，损失函数设计上考虑了多代理协作的特性，确保各代理能够有效配合。实验中还优化了计算资源的使用，以降低整体开销。

📊 实验亮点

实验结果表明，多代理系统在抵抗越狱攻击方面显著优于单代理配置，假阴性率降低了约30%，但假阳性率有所上升，计算开销增加了15%。这些结果强调了多代理系统在安全防护中的潜力和局限性。

🎯 应用场景

该研究的潜在应用领域包括安全敏感的对话系统、内容生成平台及其他依赖大型语言模型的应用。通过增强模型的安全性，可以有效防止恶意用户利用越狱攻击进行不当操作，提升用户信任度和系统稳定性。未来，该方法有望在更广泛的AI系统中推广应用，提升整体安全性。

📄 摘要（原文）

Recent advances in large language models (LLMs) have raised concerns about jailbreaking attacks, i.e., prompts that bypass safety mechanisms. This paper investigates the use of multi-agent LLM systems as a defence against such attacks. We evaluate three jailbreaking strategies, including the original AutoDefense attack and two from Deepleaps: BetterDan and JB. Reproducing the AutoDefense framework, we compare single-agent setups with two- and three-agent configurations. Our results show that multi-agent systems enhance resistance to jailbreaks, especially by reducing false negatives. However, its effectiveness varies by attack type, and it introduces trade-offs such as increased false positives and computational overhead. These findings point to the limitations of current automated defences and suggest directions for improving alignment robustness in future LLM systems.