P-ContextBench: From Personal Fact Recall to Personalized Agent Behavior

📄 arXiv: 2610.40959v1 📥 PDF

作者: Grant Nasir Brown, Abdul Basir Bari, Anmol Tadikonda, Isabel Song

分类: cs.AI

发布日期: 2026-10-29

💡 一句话要点

提出P-ContextBench以评估个人上下文理解能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 个人上下文理解 大型语言模型 数字人类 评估基准 隐式证据 个性化智能助手 多阶段验证 应用追踪

📋 核心要点

  1. 现有方法在评估大型语言模型的个人上下文理解能力时面临挑战，尤其是在上下文的私密性和动态性方面。
  2. P-ContextBench通过构建基于人口特征的数字人类，使用隐式证据来评估个人上下文理解能力，提供了一种新的评估框架。
  3. 实验表明，当前主流LLM在时间跟踪和模式推断等能力上的准确率低于60%，显示出显著的改进空间。

📝 摘要（中文）

随着大型语言模型（LLMs）在个人任务中的广泛应用，评估其安全使用个人上下文的能力变得愈发重要。本文提出P-ContextBench，一个现实、可验证且可扩展的基准，用于评估个人上下文理解能力。该基准通过反映美国人口的种族特征构建人口结构化的数字人类，嵌入特征、日常活动、目标和约束，以隐式证据的形式呈现。P-ContextBench评估五种能力，包括单源事实恢复、多源事实恢复、时间状态跟踪等，并通过多阶段验证管道确保个性合理性和信息保留。实验结果显示，当前主流LLM在这些能力上的表现仍有待提升。

🔬 方法详解

问题定义：本文旨在解决如何有效评估大型语言模型在个人上下文理解方面的能力，现有方法在处理私密、动态和碎片化的上下文时存在不足。

核心思路：P-ContextBench通过构建基于人口特征的数字人类，利用隐式证据而非静态档案，来评估个人上下文的理解能力，从而更真实地反映个人行为。

技术框架：该框架包括多个模块，首先构建数字人类，其次生成应用追踪记录，最后通过多阶段验证管道评估模型的表现，确保个性合理性和信息保留。

关键创新：P-ContextBench的创新在于其使用隐式证据和动态生成的应用记录，区别于传统的静态个人档案，提供了更真实的评估环境。

关键设计：该方法设计了100个个性化角色，包含10,088个隐性事实和18,261个应用追踪片段，验证案例达到4,810个，确保了评估的全面性和可靠性。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果显示，当前主流的SOTA LLM在时间跟踪、高级模式推断和约束意识决策等能力上的准确率均低于60%，在所有测试案例中，正确回答率不足10%。这一发现突显了P-ContextBench在提升LLM性能方面的重要性。

🎯 应用场景

P-ContextBench的研究成果可以广泛应用于个性化智能助手的开发，提升其在处理个人信息时的准确性和安全性。未来，该基准还可扩展至其他领域，如社交媒体分析和个性化推荐系统，推动相关技术的进步。

📄 摘要（原文）

Large language models (LLMs) are increasingly used for personal tasks, yet evaluating their safe use of personal context remains difficult because such contexts are private, fragmented, dynamic, and socially situated. We introduce P-ContextBench, a realistic, verifiable, and scalable benchmark for evaluating personal-context understanding. P-ContextBench constructs population-structured, life-story-grounded digital humans from demographic seeds reflecting the U.S. population. Rather than using explicit, static profiles, P-ContextBench embeds traits, routines, goals, and constraints as implicit evidence across fragmented, evolving synthetic mobile-app records. It evaluates five capabilities: single-source fact recovery, multi-source fact recovery, temporal state tracking, inference of higher-level personal patterns from routine behavior, and safe handling of requests conflicting with persona-specific constraints through compliance, warning, clarification, or refusal. A multi-stage validation pipeline checks persona plausibility, context recoverability, information leakage, evidence preservation, test-case grounding, and human-judge agreement. We instantiate P-ContextBench with 100 personas, 10,088 hidden facts, 18,261 app-trace fragments, and 4,810 verified test cases. The pipeline supports configurable generation across scales and demographic groups. Cost-effective state-of-the-art (SOTA) LLMs relevant to personal agents achieve below 60% accuracy on temporal tracking, higher-level pattern inference, and constraint-aware action-boundary decisions, with fewer than 10% of test cases answered correctly across all three repeated runs. Even a high-performing SOTA model remains inconsistent on these capabilities. P-ContextBench provides measurable targets for improving the accuracy, reliability, and safety of LLM-based personal agents.