CAITLYN: Can LLM Agents Autonomously Synthesize Defenses against Emerging Injection Attacks?

📄 arXiv: 2608.27990v1 📥 PDF

作者: Zi Liang, Xiaoyu Xu, Yanyun Wang, Minxin Du, Qingqing Ye, Haibo Hu

分类: cs.CR, cs.AI

发布日期: 2026-08-28

备注: Source code: https://github.com/liangzid/caitlyn

💡 一句话要点

提出CAITLYN以解决大语言模型的注入攻击防御问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 注入攻击 防御机制 动态合成 安全性 智能代理 机器学习

📋 核心要点

  1. 现有防御方法在应对新型提示注入攻击时面临挑战，且存在效率、精确度和适应性之间的权衡。
  2. CAITLYN通过两个系统实现防御，系统I针对现有攻击进行即时防御，系统II则合成新防御。
  3. 实验结果显示，CAITLYN在标准基准测试中与最先进的防御方法相当，且在新型攻击下显著降低了攻击成功率。

📝 摘要（中文）

针对大语言模型（LLM）代理的提示注入攻击，研究者提出了CAITLYN这一防御中间件。现有防御方法在应对新型攻击时面临挑战，且通常存在运行效率、上下文精确度和适应性之间的权衡。CAITLYN通过两个系统实现防御：系统I使用双层库进行现有攻击的即时防御，而系统II则监控潜在异常信号并合成新防御。实验结果表明，CAITLYN在标准基准测试中表现出色，且在新型注入技术下显著降低了攻击成功率。

🔬 方法详解

问题定义：论文旨在解决大语言模型（LLM）代理面临的提示注入攻击问题。现有防御方法在应对新型攻击时效率低下，且难以适应不断变化的攻击形式。

核心思路：CAITLYN通过两个系统实现防御，系统I专注于现有攻击的即时防御，而系统II则通过监控和合成新防御来应对新兴威胁。这样的设计旨在提高防御的灵活性和有效性。

技术框架：CAITLYN的整体架构包括两个主要系统：系统I使用双层库进行防御，Tier-0为基于规则的检测脚本，Tier-1为优化的LLM推理；系统II则负责监控异常信号并合成新的防御能力。

关键创新：CAITLYN的主要创新在于其双系统架构，能够在现有防御与新防御之间实现动态切换，克服了传统方法的固有三难困境。

关键设计：系统I的双层库设计允许灵活应对不同类型的攻击，系统II则通过实时监控和合成新防御能力，显著提高了防御的适应性和有效性。具体的参数设置和损失函数尚未详细披露。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在标准基准测试中，CAITLYN的检测性能与最先进的防御方法相当，但在新型注入技术的测试中，系统II能够自主合成验证的防御能力，显著降低了攻击成功率，展示了其在多种代理环境中的有效性。

🎯 应用场景

CAITLYN的研究成果在多个领域具有潜在应用价值，尤其是在需要保护大语言模型免受注入攻击的场景中，如智能客服、自动化内容生成和社交媒体监控等。随着攻击手段的不断演变，CAITLYN的动态防御能力将为相关应用提供更强的安全保障。

📄 摘要（原文）

Prompt injection attacks on Large Language Model (LLM) agents seek to introduce malicious instructions or content into external text sources retrieved by agents, forcing the underlying LLMs to execute harmful actions outside their benign scope. While current defenses effectively counter known injection attacks, deploying them in LLM agent environments remains challenging due to attack variants and emerging threats. Moreover, existing solutions typically suffer from an inherent trilemma, i.e., a constant trade-off among runtime efficiency, contextual precision, and adaptability. To bridge this gap, we propose Continuous Agents for Injection Threats via Lifelong Yielding Nexus (CAITLYN), an agent-agnostic defense middleware. CAITLYN integrates two systems. System I focuses on immediate defense against existing attacks using a two-tiered library: Tier-0 for rule-based detection scripts and Tier-1 for optimized LLM-based accurate inference. System II, in contrast, is deployed to monitor potential abnormal signals and attempt to synthesize new defenses. On standard benchmarks, CAITLYN matches the detection performance of state-of-the-art defenses at lower token overhead than LLM-as-a-judge baselines. On Emerging, our new delivery-aware benchmark featuring novel injection techniques, static baselines and the standalone System I configuration remain vulnerable. In contrast, System II autonomously synthesizes verified defense capabilities, substantially lowering the attack success rate across three diverse agent environments.