SPIEval: Evaluating Large Language Models as Mobile Assistants over Scattered Personal Information

📄 arXiv: 2608.10692v1 📥 PDF

作者: Junjie Ye, Zhuohui Sheng, Shaofan Liu, Yulun Zhu, Wenjie Fu, Dingwei Zhu, Ming Zhang, Yujiong Shen, Weichao Wang, Xin Zhao, Shihan Dou, Tao Gui, Qi Zhang, Xuanjing Huang, Pluto Zhou

分类: cs.CL, cs.AI

发布日期: 2026-08-11

🔗 代码/项目: HUGGINGFACE

💡 一句话要点

提出SPIEval基准以评估大语言模型在移动助手中的表现

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 移动助手 信息整合 认知能力 基准评估 任务设计 多轮交互

📋 核心要点

  1. 现有大语言模型在移动助手中面临的主要挑战是如何有效整合分散在多个应用中的个人信息。
  2. 本文提出SPIEval基准，通过五种认知能力评估LLM的表现，填补了缺乏专门基准的空白。
  3. 实验结果显示，当前LLM的表现存在显著提升空间，尤其在信息定位和检索效率方面。

📝 摘要（中文）

随着大语言模型（LLMs）作为移动助手的广泛应用，如何有效利用分散在多个应用中的个人信息以完成用户指令成为一大挑战。为填补这一空白，本文提出了SPIEval，一个基于五种认知能力（推理、消歧义、信息整合、偏好推断和多意图分解）的人为策划基准。SPIEval包含250个任务，涵盖10个应用中的4,335条个人记录，并支持通过21种工具进行多轮交互。分析表明，该基准展示了多样化场景、具有挑战性的任务、分散的信息、可控的环境和可验证的结果。对九个代表性LLM的评估显示出显著的改进空间，表现最佳的模型GPT-5.5（xhigh）仅达到57.3%的准确率，而最弱的模型仅为16.4%。进一步分析发现，79%的失败源于信息定位不准确，LLM往往选择可信但错误的信息而非继续检索以进行验证。

🔬 方法详解

问题定义：本文旨在解决大语言模型在移动助手中利用分散个人信息的能力不足的问题。现有方法缺乏专门的基准，导致其能力评估不充分。

核心思路：SPIEval基准通过设计多样化的任务和场景，评估LLM在推理、消歧义等认知能力上的表现，帮助识别其局限性。

技术框架：SPIEval包含250个任务，涉及4,335条个人记录，分布于10个应用中，并支持多轮交互，整体架构包括任务设计、数据收集和模型评估三个主要模块。

关键创新：SPIEval的创新在于其人类策划的基准设计，聚焦于认知能力的多维度评估，与现有方法相比，提供了更全面的性能分析。

关键设计：在任务设计中，采用了多种工具和场景，确保任务的多样性和挑战性，同时在评估中引入了信息定位和检索效率的考量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，表现最佳的模型GPT-5.5（xhigh）仅达到57.3%的准确率，最弱模型仅为16.4%。79%的失败案例源于信息定位不准确，且不到2%的检索行为使用了高级搜索方法，揭示了当前LLM在移动助手应用中的基本局限性。

🎯 应用场景

该研究的潜在应用领域包括智能手机助手、个人信息管理和智能家居系统等。通过提升大语言模型在处理分散信息方面的能力，未来可以实现更智能的用户交互和个性化服务，推动移动助手技术的发展。

📄 摘要（原文）

Large language models (LLMs) are increasingly deployed as mobile assistants, where a key challenge is leveraging personal information scattered across multiple applications (apps) to complete user instructions. However, due to the lack of dedicated benchmarks, their capabilities remain poorly understood. To address this gap, we introduce SPIEval, a human-curated benchmark grounded in five cognitive capabilities (i.e., reasoning, disambiguation, integration, preference inference, and multi-intent decomposition). SPIEval comprises 250 tasks spanning 4,335 personal records distributed across 10 apps and supports multi-turn interaction through 21 tools. Analysis shows that the benchmark exhibits diverse scenarios, challenging tasks, scattered information, controllable environments, and verifiable outcomes. We evaluate nine representative LLMs and find substantial room for improvement. The best-performing model, GPT-5.5 (xhigh), achieves only 57.3% accuracy, while the weakest achieves just 16.4%. Further analysis reveals that 79% of failures stem from inaccurate information localization, as LLMs often commit to plausible but incorrect information instead of continuing retrieval for verification. We also find that fewer than 2% of retrieval actions employ advanced search methods and observe substantial variation in search efficiency across models. These findings expose fundamental limitations of current LLM-based mobile assistants and motivate future research in this direction. Data and code are available at https://huggingface.co/datasets/Junjie-Ye/SPIEval.