SovereignPA-Bench: Evaluating User-Owned Personal Agents under Evolving Intent, Platform Mediation, and Consent Constraints
作者: Dylan Zongmin Liu
分类: cs.AI
发布日期: 2026-07-06
💡 一句话要点
提出SovereignPA-Bench以评估用户拥有的个人代理在隐私与同意约束下的表现
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 个人代理 用户主权 隐私保护 同意约束 基准评估 动态意图 操控风险 智能助手
📋 核心要点
- 现有的个人代理评估方法往往忽视了用户主权，未能有效处理隐私和同意问题。
- 本文提出SovereignPA-Bench基准，专注于在多种约束下评估用户拥有的个人代理的表现。
- 实验结果表明，全面主权框架显著提高了主权评分，并有效降低了隐私泄露和操控风险。
📝 摘要（中文）
个人代理正逐渐成为用户拥有的持久中介，它们能够记住用户偏好、过滤平台信息、使用工具并与服务进行谈判。现有基准主要评估工具使用、网络导航和个性化等，但很少关注代理是否能维护用户主权。本文提出SovereignPA-Bench，这是一个可执行的基准，用于评估用户拥有的个人代理在不断变化的意图、平台中介、隐私边界和同意约束下的表现。该基准通过分离可观察状态与隐藏标签，报告任务成功率、隐私、同意等多个指标，并在模型和策略比较中保持场景顺序。实验结果显示，全面主权框架在多个基线中提升了主权评分，同时减少了隐私泄露和操控风险。
🔬 方法详解
问题定义：本文旨在解决现有个人代理评估方法未能充分考虑用户主权、隐私和同意等问题的痛点。现有方法往往只关注任务完成，而忽视了用户的真实需求和权利。
核心思路：SovereignPA-Bench通过引入隐私边界和同意约束，评估个人代理在动态意图下的表现，强调用户主权的重要性。设计上，基准将可观察状态与隐藏标签分开，以便更全面地评估代理的行为。
技术框架：该基准包括多个模块，首先定义了代理的可观察状态和隐藏标签，然后通过一系列任务评估代理在隐私、同意和操控等方面的表现。实验中使用了120个主权压力场景，涵盖4个模型家族和8个策略基线。
关键创新：最重要的创新在于全面主权框架的引入，使得评估不仅限于任务完成，还考虑了用户的隐私和同意。这一设计与现有方法的本质区别在于其对用户权利的重视。
关键设计：在实验中，采用了多种评估指标，包括任务成功率、隐私泄露、同意违规等，确保全面评估代理的表现。同时，设计了盲审机制以提高结果的客观性。实验数据包括3840个冻结提示轨迹，确保了结果的可靠性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，全面主权框架在多个基线中提升了主权评分，具体表现为相较于直接、记忆、同意等基线，隐私泄露减少、同意违规降低、操控捕获减少，且人类审计在隐私和同意方面达成高度一致。
🎯 应用场景
该研究的潜在应用领域包括智能助手、个性化推荐系统和用户隐私保护工具。通过提升个人代理的主权评估能力，可以更好地满足用户需求，增强用户对技术的信任，推动智能代理的广泛应用和发展。
📄 摘要（原文）
Personal agents are becoming persistent user-owned intermediaries: they remember preferences, filter platform-mediated information, use tools, and negotiate with services. Existing benchmarks evaluate tool use, web navigation, desktop control, personalization, recommendation, and evolving context, but rarely ask whether an agent preserves user sovereignty: advancing the user's current interests while respecting privacy, consent, evidence, user burden, and resistance to manipulative incentives. We introduce SovereignPA-Bench, an executable benchmark for evaluating user-owned personal agents under evolving intent, platform mediation, privacy boundaries, consent constraints, evidence requirements, and burden tradeoffs. The benchmark separates agent-visible ObservableState from evaluator-only HiddenLabels, reports component metrics for task success, alignment, privacy, consent, evidence, manipulation, burden, and auditability, and preserves paired scenario ordering for model and policy comparisons. We evaluate 120 sovereignty stress scenarios across 4 model families and 8 policy baselines, yielding 3,840 frozen-prompt trajectories with raw prompts, outputs, provider-form responses, parsed actions, recomputable metrics, hard-set analyses, qualitative cases, and a blinded 3-annotator audit over 240 items. Full-sovereign scaffolding improves sovereignty score over direct, memory-only, consent-only, evidence-only, ReAct/tool-use, safety-prompt, and judge-guard baselines while reducing privacy leakage, consent violation, over-concession, and manipulation capture. Human audit shows high agreement on privacy and consent and lower agreement on manipulation, identifying the subjective frontier of platform-persuasion judgments. These results show that personal-agent evaluation must move beyond task completion toward representative, consent-aware, evidence-grounded action.