A Self-Evolving Multi-Agent Framework Defense against LLM Jailbreak Attacks
作者: Tongyan Hu, Bryan Hooi
分类: cs.CR, cs.CL
发布日期: 2026-08-26
备注: 8 pages (main), with appendix
💡 一句话要点
提出自演化多智能体框架以防御LLM越狱攻击
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 越狱攻击 大型语言模型 自演化防御 规则记忆 黑箱模型 安全性提升 适应性防御
📋 核心要点
- 现有的防御方法大多是静态的，无法适应不断变化的越狱攻击策略，导致防御效果有限。
- 本文提出了一种自演化的防御机制，通过持久的规则记忆来捕捉和重用攻击模式，从而提高防御能力。
- 实验结果表明，该方法在四个黑箱越狱攻击家族中显著降低了攻击成功率，同时保持了良好的正常使用性能。
📝 摘要（中文）
大型语言模型（LLMs）仍然容易受到越狱攻击，这些攻击利用角色扮演、模糊处理、代码转换和多步间接等技术来引发有害输出。尽管防御措施不断增加，但大多数仍然是静态的，无法积累防御经验或适应未见策略。本文提出了一种自演化的测试时防御机制，围绕持久的跨交互规则记忆构建：当攻击成功时，框架将该失败抽象为捕捉结构性攻击包装的方法级规则，并在未来输入中重用。由于规则是方法级的，诱导的规则可以跨整个攻击家族进行泛化，且随着新包装的出现，标签空间也会扩展。该机制完全通过外部记忆和提示操作，无需参数更新，适用于开放权重和黑箱API模型。
🔬 方法详解
问题定义：本文旨在解决大型语言模型（LLMs）在面对不断演变的越狱攻击时的防御不足。现有方法通常是静态的，无法适应新出现的攻击策略，导致防御效果不佳。
核心思路：论文提出了一种自演化的防御机制，通过构建持久的跨交互规则记忆，捕捉成功攻击的结构性特征，并在未来的输入中重用这些规则，从而提高防御能力。
技术框架：整体架构由四个协作模块组成，核心在于记忆基础的适应机制。该机制通过外部记忆和提示进行操作，无需对模型参数进行更新，适用于开放权重和黑箱API模型。
关键创新：最重要的技术创新在于引入了方法级规则的概念，使得一个诱导规则可以泛化到整个攻击家族，从而提高了防御的灵活性和有效性。与现有静态防御方法相比，该机制能够动态适应新的攻击策略。
关键设计：该方法的设计不涉及具体的参数设置或网络结构更新，而是通过外部记忆的方式进行规则的存储和调用，确保了在不同攻击场景下的有效性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，提出的方法在四个黑箱越狱攻击家族中显著降低了攻击成功率，具体数据表明成功率下降幅度超过了50%。此外，该方法在面对自适应复合包装攻击时表现出良好的鲁棒性，且随着记忆的增长，拒绝率并未增加。
🎯 应用场景
该研究的潜在应用领域包括大型语言模型的安全防护、智能助手的安全性提升以及任何依赖于自然语言处理的系统。通过增强模型的防御能力，可以有效降低恶意攻击带来的风险，提升用户信任度和系统稳定性。
📄 摘要（原文）
Large language models (LLMs) remain vulnerable to jailbreak attacks that exploit techniques such as role-playing, obfuscation, code transformation, and multi-step indirection to elicit harmful outputs. As jailbreak strategies keep emerging, defenses have proliferated in an ongoing cat-and-mouse game, yet most remain static: their safety behavior is fixed at deployment, so they cannot accumulate defensive experience or adapt to unseen strategies. We propose a self-evolving test-time defense built around a persistent, cross-interaction rule memory: when an attack succeeds, the framework abstracts that failure into a method-level rule capturing the structural attack wrapper rather than the harmful topic, and reuses it against future inputs. Because rules are method-level, one induced rule generalizes across an entire attack family, and the label space expands as novel wrappers appear. The mechanism operates entirely through external memory and prompting, with no parameter updates, and applies to both open-weight and black-box API models. We realize it as four cooperating modules, but the contribution is the memory-based adaptation mechanism, not the module decomposition. Across four black-box jailbreak families and multiple models, our method substantially reduces attack success rates while preserving benign utility, remains robust under an adaptive composite-wrapper attack, and does not increase over-refusal as the memory grows.