TRAP: Benchmark for Task-completion and Resistance to Active Privacy-extraction
作者: Moon Ye-Bin, Nam Hyeon-Woo, Baek Seong-Eun, Yejin Yeo, Tae-Hyun Oh
分类: cs.CR, cs.AI
发布日期: 2026-06-17
💡 一句话要点
提出TRAP以解决任务完成与隐私泄露的矛盾问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 隐私保护 任务完成 信息泄露 智能体 模型评估 哈希键 结构化隔离
📋 核心要点
- 核心问题：现有模型在使用私人信息完成任务时，面临任务准确性与隐私泄露之间的根本矛盾。
- 方法要点：提出TRAP基准，通过结构化私人字段隔离方法，替换私人字段以防止信息泄露，同时保持任务准确性。
- 实验或效果：评估22种模型，发现所有模型均存在泄露，且现有防御措施在降低泄露的同时显著影响任务准确性。
📝 摘要（中文）
随着智能体在处理文档密集型工作流中的应用日益增加，敏感私人信息的使用成为常态。智能体在完成任务时必须使用私人信息，同时又不能在响应中泄露这些信息。本文引入了任务完成与主动隐私提取抵抗的基准（TRAP），评估任务准确性与隐私泄露之间的权衡。通过对22种模型的评估，发现所有模型都存在显著的泄露现象，并且遵循指令的能力与泄露率相关。现有的基于提示的防御措施虽然能减少泄露，但会显著降低任务准确性。基于此，本文提出了结构化的私人字段隔离方法，以在保持任务准确性的同时有效防止信息泄露。
🔬 方法详解
问题定义：本文旨在解决智能体在处理任务时使用私人信息的同时，避免泄露这些信息的问题。现有方法在任务完成与隐私保护之间存在显著的权衡，无法同时实现高准确性与零泄露概率。
核心思路：论文提出的核心思路是通过结构化私人字段隔离，使用哈希键替代私人字段，从而在模型处理前有效防止信息泄露。这种设计旨在打破传统方法的局限，寻求更优的隐私保护方案。
技术框架：整体架构包括三个主要模块：文档输入模块、任务查询模块和攻击查询模块。文档输入模块负责提供包含私人信息的文档，任务查询模块用于执行任务，攻击查询模块则尝试以自然语言引导模型泄露私人信息。
关键创新：最重要的技术创新在于提出了结构化私人字段隔离方法，这一方法与现有的基于提示的防御措施本质上不同，能够在不牺牲任务准确性的情况下有效防止信息泄露。
关键设计：在设计中，采用哈希键替代私人字段，确保模型在处理时无法直接访问敏感信息。同时，优化了模型的指令遵循能力，以提高任务完成的准确性。具体的参数设置和损失函数设计也经过精心调整，以平衡任务成功率与隐私保护。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所有评估的22种模型均存在显著的隐私泄露现象，且遵循指令的能力与泄露率呈正相关。现有的提示防御措施虽然能减少泄露，但任务准确性下降幅度可达20%以上。提出的结构化私人字段隔离方法在保持任务准确性的同时，显著降低了泄露概率，展示了其有效性。
🎯 应用场景
该研究的潜在应用领域包括金融、医疗和客户服务等行业，这些领域通常涉及大量敏感信息的处理。通过有效保护用户隐私，提升智能体在实际应用中的安全性和可靠性，具有重要的实际价值和未来影响。
📄 摘要（原文）
Agents are increasingly deployed in document-intensive workflows where sensitive private information is not an edge case but a routine input, e.g., an agent booking a flight needs passport numbers. In such settings, the agent must use private information to complete tasks accurately while never exposing it in its responses, because it cannot verify who is actually at the keyboard. These two obligations are in fundamental tension. A model capable enough to use private information for task completion can, by the same capability, be induced to reveal it. To evaluate the trade-off of task accuracy and privacy leakage, we introduce Task-completion and Resistance to Active Privacy-extraction (TRAP). Each scenario includes a document containing private information, a task query that requires the agent to invoke the correct tool using private fields, and an attack query that attempts to elicit the same information in natural language. Evaluating 22 models spanning frontier proprietary and open-source models at multiple scales, we find that all model families exhibit non-trivial leakage, and that instruction-following ability correlates with leakage rate. Existing prompt-based defenses reduce leakage but at significant cost to task accuracy. Prompt optimization fails to escape this trade-off. We demonstrate that this failure is not incidental. For any softmax-based model, no soft-constraint defense, e.g., prompt-based defenses, can jointly achieve high task success with zero leakage probability. Motivated by this impossibility result, we propose structural private field isolation, which replaces private fields with hash keys before they reach the model. This approach largely prevents leakage while keeping task accuracy.