MobilePA-Bench: Benchmarking Mobile Planner Agents on Complex Real-World Tasks
作者: Yi Zhu, Xiongwei Wu, Qiyi Wang, Tingyu Qu, Jiajun Liu, Sihan Cao, Long Chen, Weigao Sun, Feida Zhu, Yiran Zhong, Steven Hoi
分类: cs.AI
发布日期: 2026-08-24
💡 一句话要点
提出MobilePA-Bench以评估移动规划代理在复杂任务中的能力
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 移动规划代理 基准测试 工具调用 长远规划 交互式沙箱 智能助手 性能评估
📋 核心要点
- 现有基准测试方法存在盲点，无法全面评估移动规划代理的能力，特别是在复杂任务中。
- 本文提出MobilePA-Bench，通过交互式沙箱评估工具调用和规划能力，涵盖多种功能领域。
- 实验结果显示，当前LLM在移动环境中的表现不稳定，MobilePA-Bench为提升其可靠性提供了基础。
📝 摘要（中文）
随着移动设备上的大型语言模型（LLM）代理逐渐演变为个人助手，移动操作系统成为这一范式的关键测试平台，因此对其能力的严格评估显得尤为重要。然而，现有基准测试存在明显盲点：GUI中心的基准测试仅关注表面操作，而忽视了后台工具使用和长远规划；静态函数调用基准则依赖于离线API匹配，无法反映真实运行时约束。为填补这一空白，本文提出了MobilePA-Bench，这是一个交互式、有状态且以工具为中心的基准，用于评估移动规划代理的工具调用和规划能力。MobilePA-Bench在一个可执行的沙箱中运行，维护实时应用数据库并返回结构化反馈，涵盖13个功能领域和212个现实移动工具。除了基本的工具使用外，它还从三个高级维度评估中心规划代理的能力：子代理协作、记忆使用和技能使用。实验表明，当前前沿的LLM在移动环境中表现不稳定，尤其在严格的工具顺序、权限限制和意外运行时错误下，性能显著下降。
🔬 方法详解
问题定义：本文旨在解决现有移动规划代理评估方法的不足，特别是缺乏对复杂任务的全面评估，现有方法无法有效处理后台工具使用和长远规划的问题。
核心思路：MobilePA-Bench通过创建一个交互式、状态保持的沙箱环境，允许实时评估移动代理的工具调用和规划能力，旨在提供更真实的测试场景。
技术框架：该框架包括一个可执行的沙箱，维护实时应用数据库，支持多种功能领域的工具调用，评估代理在子代理协作、记忆使用和技能使用等方面的能力。
关键创新：MobilePA-Bench的创新在于其工具中心的设计，能够动态评估代理在复杂任务中的表现，而不仅仅是静态的函数调用匹配。
关键设计：在设计中，重点考虑了实时反馈机制、工具调用的顺序限制、权限管理以及对意外错误的处理，确保评估的真实性和有效性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，当前的前沿LLM在严格的工具顺序和权限限制下，性能下降显著，MobilePA-Bench提供的评估方法能够有效识别这些问题，为提升移动代理的可靠性提供了重要依据。
🎯 应用场景
MobilePA-Bench的潜在应用场景包括智能手机助手、移动应用开发和人机交互设计等领域。通过提供一个可靠的评估基准，研究者和开发者可以更好地理解和改进移动代理的性能，从而推动智能助手的实际应用和发展。
📄 摘要（原文）
As on-device LLM agents evolve into personal copilots, the mobile operating system has become a key testbed for this paradigm, making rigorous capability evaluation essential. Yet existing benchmarks fall into two camps, each with a critical blind spot: GUI-centric benchmarks test surface-level screen manipulation while overlooking background tool use and long-horizon planning, whereas static function-calling benchmarks rely on offline API matching that is detached from real runtime constraints. To close this gap, we present \textbf{MobilePA-Bench}, an interactive, stateful, and tool-centric benchmark for evaluating the tool-calling and planning abilities of mobile planning agents. MobilePA-Bench runs on an executable sandbox that maintains live application databases and returns structured feedback, spanning $13$ functional domains and $212$ realistic mobile tools. Beyond basic tool use, it evaluates a central planning agent along three advanced dimensions: \emph{(1)~Sub-agent Collaboration}---decomposing a complex task and delegating specialized work to capable sub-agents; \emph{(2)~Memory Usage}---recalling stored memories, user profiles, and past preferences to resolve implicit requests; and \emph{(3)~Skill Usage}---invoking pre-packaged composite skills instead of planning every step from scratch. Extensive experiments show that current frontier LLMs remain unreliable in mobile settings: performance drops sharply under strict tool ordering, permission limits, and unexpected runtime errors. By pairing an interactive function-calling sandbox with evidence-based verification, MobilePA-Bench serves as both a practical diagnostic benchmark and an interactive foundation for agentic reinforcement learning---accelerating the development of dependable mobile agents.