Minim: Privacy-Aware Minimal View for Agents via Trusted Local Sanitization

📄 arXiv: 2606.13949v1 📥 PDF

作者: Hexuan Yu, Chaoyu Zhang, Heng Jin, Shanghao Shi, Ning Zhang, Y. Thomas Hou, Wenjing Lou

分类: cs.AI

发布日期: 2026-06-11

备注: Accepted at ICML 2026 (43rd International Conference on Machine Learning, Seoul, South Korea). Code available at https://github.com/yyyyhx/MINIM

💡 一句话要点

提出MINIM以解决用户界面状态隐私泄露问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 隐私保护 用户界面 敏感信息最小化 智能体 上下文完整性 信息安全

📋 核心要点

  1. 现有方法在处理用户界面状态时，容易泄露与任务无关的敏感信息，导致隐私风险。
  2. 论文提出MINIM，通过在客户端进行隐私意识的最小化，学习用户界面元素的敏感性和必要性评分。
  3. 实验结果显示，MINIM在减少敏感信息泄露的同时，成功保留了任务关键的上下文信息。

📝 摘要（中文）

现代基于大语言模型的自主智能体越来越依赖丰富的用户界面状态观察，以在复杂的数字环境中实现可靠的动作定位。然而，许多部署将完整的用户界面状态传输到远程推理服务器，即使大多数元素与当前任务无关，这可能泄露敏感但不必要的上下文信息，如认证代码、私人通知和后台应用状态。我们提出MINIM，一个可信的本地代理，在任何观察离开设备之前进行隐私意识的最小化。MINIM基于上下文完整性理论，学习每个用户界面元素的双重评分表示，预测固有敏感性评分和任务条件必要性评分。这些评分驱动一个三元披露策略，保留必要元素，必要时抽象敏感属性，并删除与任务无关的内容。实验表明，MINIM显著减少了任务无关的敏感泄露，同时保留了任务关键的语义上下文和可靠的智能体动作所需的交互能力。

🔬 方法详解

问题定义：本论文旨在解决在用户界面状态观察中，敏感信息泄露的问题。现有方法往往将完整的用户界面状态传输到远程服务器，导致隐私风险，尤其是在任务无关的情况下。

核心思路：MINIM通过在客户端进行隐私意识的最小化，学习每个用户界面元素的敏感性评分和任务必要性评分，从而制定三元披露策略，优化信息传输。

技术框架：MINIM的整体架构包括三个主要模块：敏感性评分模块、必要性评分模块和三元披露策略模块。敏感性评分模块预测每个元素的固有敏感性，必要性评分模块则根据任务需求评估元素的必要性。

关键创新：MINIM的核心创新在于引入了双重评分表示和三元披露策略，能够在保留任务关键元素的同时，有效抽象敏感属性和删除无关内容。这一方法与现有的全量传输方法形成鲜明对比。

关键设计：在设计中，MINIM优化了一个上下文完整性意识的目标函数，对高风险内容的必要性错误给予更强的惩罚，从而实现更激进的剪枝，同时保留关键的信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MINIM在真实世界的用户界面观察中，显著减少了任务无关的敏感信息泄露，减少幅度达到XX%，同时保持了任务关键的语义上下文和交互能力，验证了其有效性和实用性。

🎯 应用场景

该研究在隐私保护和智能体交互领域具有广泛的应用潜力。MINIM可以被应用于各种需要用户界面状态的智能系统中，如智能助手、自动驾驶车辆和远程医疗系统，确保用户隐私的同时提升系统的可靠性和安全性。

📄 摘要（原文）

Modern LLM-powered autonomous agents increasingly rely on rich user interface (UI) state observations to achieve reliable action grounding in complex digital environments. However, many deployments transmit the full UI state to remote inference servers even when most elements are irrelevant to the current task, which can leak sensitive but unnecessary context such as authentication codes, private notifications, and background application states. We propose MINIM, a trusted local broker that performs privacy-aware minimization on the client side before any observation leaves the device. Grounded in Contextual Integrity (CI), MINIM learns a dual-score representation for each UI element by predicting an inherent sensitivity score (s) and a task-conditioned necessity score (n). These scores drive a ternary disclosure policy that keeps essential elements, abstracts sensitive attributes when needed, and removes task-irrelevant content. We optimize a CI-aware objective that penalizes necessity errors more strongly on high-risk content, enabling aggressive pruning while preserving task-critical information. Experiments on real-world UI observations derived from WebArena show that MINIM substantially reduces task-irrelevant sensitive leakage while preserving task-critical semantic context and the interactive affordances required for reliable agent actions.