Whispers in the Machine: Confidentiality in Agentic Systems
作者: Jonathan Evertz, Merlin Chlosta, Lea Schönherr, Thorsten Eisenhofer
分类: cs.CR, cs.LG
发布日期: 2024-02-10 (更新: 2026-04-21)
备注: Accepted at Conference on Detection of Intrusions and Malware & Vulnerability Assessment (DIMVA) 2026
💡 一句话要点
提出LLM代理系统的机密性评估方法以应对安全威胁
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 机密性评估 安全风险 提示注入攻击 代理系统 数据泄露 防御机制
📋 核心要点
- 现有的LLM代理系统在处理敏感数据时面临严重的机密性风险，尤其是提示注入攻击的威胁。
- 本文通过形式化机密性定义，评估了多种代理在不同工具场景下的安全性，提出了系统化的评估方法。
- 实验结果显示，所有评估的代理均存在脆弱性，现有防御措施效果不佳，且工具本身可能加剧泄露风险。
📝 摘要（中文）
基于大型语言模型（LLM）的代理系统结合了LLM与外部工具，以自动化任务如会议安排、文档管理或旅行预订。尽管这些集成解锁了强大的能力，但也创造了新的、更严重的攻击面。特别是在代理环境中，提示注入攻击变得更加危险：嵌入连接服务中的恶意指令可能误导代理，直接导致敏感数据的泄露。尽管现实世界中发生了越来越多的事件，但此类系统的机密性风险仍然了解不足。为了解决这一问题，本文对LLM代理中的机密性进行了形式化定义，并评估了十个代理在20种工具场景和14种攻击策略下的表现。结果表明，所有代理至少对一种攻击存在脆弱性，现有防御措施无法提供可靠保护，工具本身可能会放大泄露风险。
🔬 方法详解
问题定义：本文旨在解决LLM代理系统在处理敏感数据时的机密性风险，尤其是提示注入攻击带来的威胁。现有方法未能有效识别和防范这些风险，导致数据泄露事件频发。
核心思路：通过将敏感数据抽象为秘密字符串，本文提出了一种系统化的评估框架，以分析不同代理在多种工具场景下的脆弱性和攻击策略。
技术框架：整体架构包括敏感数据的抽象表示、代理的功能集成、攻击策略的设计以及防御措施的评估。主要模块包括数据抽象、攻击模拟和防御效果评估。
关键创新：本文的主要创新在于系统性地评估LLM代理的机密性，揭示了现有防御措施的不足，并指出工具本身可能加剧泄露风险，这在以往研究中未被充分探讨。
关键设计：在实验中，采用了多种攻击策略和工具场景，评估了十个不同的代理，关键参数包括攻击类型、工具集成方式和防御机制的有效性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所有评估的代理在面对至少一种攻击时均表现出脆弱性，现有的防御措施未能有效阻止数据泄露。此外，工具本身的设计可能加剧了泄露风险，这一发现为未来的安全设计提供了重要参考。
🎯 应用场景
该研究的潜在应用领域包括智能助理、自动化办公系统和任何依赖于LLM的代理服务。通过提高对机密性风险的认识和评估，能够为开发更安全的代理系统提供理论基础，进而保护用户的敏感信息，增强信任度。
📄 摘要（原文）
Large language model (LLM)-based agents combine LLMs with external tools to automate tasks such as scheduling meetings, managing documents, or booking travel. While these integrations unlock powerful capabilities, they also create new and more severe attack surfaces. In particular, prompt injection attacks become far more dangerous in the agentic setting: malicious instructions embedded in connected services can misdirect the agent, providing a direct pathway for sensitive data to be exfiltrated. Yet, despite a growing number of real-world incidents, the confidentiality risks of such systems remain poorly understood. To address this gap, we provide a formalization of confidentiality in LLM-based agents. By abstracting sensitive data as a secret string, we evaluate ten agents across 20 tool scenarios and 14 attack strategies. We find that all agents are vulnerable to at least one attack, and existing defenses fail to provide reliable protection against these threats. Strikingly, we find that the tooling itself can amplify leakage risks.