CAPED: Context-Aware Privacy Exposure Defense for Mobile GUI Agents

📄 arXiv: 2606.12666 📥 PDF

作者: Siyu Shen, Fenghao Xu, Wenrui Diao, Kehuan Zhang

分类: cs.CR, cs.AI

发布日期: 2026-06-12

💡 一句话要点

提出CAPED以解决移动GUI代理的隐私暴露问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 隐私保护 移动应用 上下文感知 GUI代理 信息选择性暴露 任务驱动 屏幕截图

📋 核心要点

  1. 核心问题：现有的隐私保护方法难以应对偶然的视觉隐私暴露，导致敏感信息泄露。
  2. 方法要点：CAPED通过提取任务需求和屏幕上下文，选择性地暴露必要内容，同时遮蔽私人信息。
  3. 实验或效果：CAPED在控制评估中将泄露率从0.766降低至0.268，保持高任务效用。

📝 摘要（中文）

基于截图的移动GUI代理能够通过与人类用户相同的视觉界面操作智能手机应用，但这一能力也使得每次屏幕观察都成为隐私边界。在正常任务执行过程中，截图可能会暴露联系人、消息、照片、文件、推荐、健康提示等与用户请求无关的敏感信息。我们称之为偶然的视觉隐私暴露。现有防御措施难以解决这一问题：文本匿名化无法覆盖许多视觉和推理线索，而通用隐私遮蔽可能会移除GUI代理完成任务所需的证据和控制。本文提出了CAPED，一个上下文感知的预上传隐私暴露控制层，旨在作为手机端的保护层，在截图上传至远程多模态代理之前，提取任务需求，利用屏幕上下文作为隐私先验，解析可见的UI元素，选择性地暴露当前任务所需的内容，同时遮蔽偶然的私人内容。我们在AndroidWorld上评估了CAPED的广泛任务效用，并使用28个任务的控制隐私评估作为轨迹级偶然泄露的测量工具。在这一评估中，完整的CAPED将成功条件加权的种子泄露从0.766降低至0.268，同时保持高任务效用。更广泛的AndroidWorld运行显示出仍然存在原型级的效用成本，但结果支持了截图上传应被视为明确的设备-云边界决策的中心论点，受任务驱动的选择性暴露而非全有或全无的屏幕共享所支配。

🔬 方法详解

问题定义：论文要解决的具体问题是移动GUI代理在执行任务时可能导致的偶然视觉隐私暴露。现有方法如文本匿名化和通用隐私遮蔽无法有效保护用户隐私，导致敏感信息泄露。

核心思路：CAPED的核心解决思路是通过上下文感知的方式，在上传截图之前，提取任务需求并利用屏幕上下文作为隐私先验，选择性地暴露当前任务所需的信息，同时遮蔽与任务无关的私人内容。这样的设计旨在平衡隐私保护与任务执行的有效性。

技术框架：CAPED的整体架构包括几个主要模块：任务需求提取模块、屏幕上下文分析模块、UI元素解析模块和选择性暴露控制模块。整个流程是在用户执行任务时实时进行的，确保隐私保护与任务执行的无缝结合。

关键创新：CAPED的最重要技术创新在于其上下文感知的隐私控制机制，能够根据具体任务动态调整信息暴露，区别于传统的全有或全无的隐私保护方法。

关键设计：在技术细节上，CAPED采用了特定的参数设置来优化任务需求提取的准确性，并设计了损失函数以平衡隐私保护与任务效用。此外，网络结构经过精心设计，以支持实时的上下文分析和信息选择性暴露。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

CAPED在控制评估中成功将成功条件加权的种子泄露从0.766降低至0.268，显示出显著的隐私保护效果。同时，在广泛的AndroidWorld测试中，尽管存在原型级的效用成本，但仍然支持了任务驱动的选择性曝光的有效性，证明了其实际应用价值。

🎯 应用场景

CAPED的研究成果在移动应用程序的隐私保护领域具有重要的应用潜力。它可以广泛应用于智能手机助手、社交媒体应用和任何需要用户交互的移动应用中，帮助用户在享受便利的同时保护个人隐私。未来，随着移动设备的普及，CAPED的技术可以进一步推广到更广泛的场景中，提升用户的隐私安全性。

📄 摘要（原文）

Screenshot-based mobile GUI agents can operate ordinary smartphone apps through the same visual interface as a human user, but this capability also turns every screen observation into a privacy boundary. During normal task execution, screenshots may expose contacts, messages, photos, files, recommendations, health cues, and other sensitive context that is unrelated to the user's request. We call this problem incidental visual privacy exposure. It is difficult to address with existing defenses: text anonymization misses many visual and inferential cues, while generic privacy masking can remove the evidence and controls that a GUI agent needs to complete the task.This paper presents CAPED, a context-aware pre-upload exposure control layer for mobile GUI agents. CAPED is designed as a phone-side protection layer: before screenshots are released to a remote multimodal agent, it extracts task requirements, uses screen context as a privacy prior, parses visible UI elements, and selectively exposes only content needed for the current task while masking incidental private content. We evaluate CAPED on AndroidWorld for broad task utility and with a controlled 28-task seeded privacy evaluation used as a measurement instrument for trajectory-level incidental leakage. In this seeded evaluation, Full CAPED reduces success-conditioned weighted seeded leakage from 0.766 under raw screenshots to 0.268 while preserving high task utility. A broader AndroidWorld run shows a remaining prototype-level utility cost, but the results support the central claim that screenshot upload should be treated as an explicit device--cloud boundary decision, governed by task-driven selective exposure rather than all-or-nothing screen sharing.