Benchmarking Mobile Device Control Agents across Diverse Configurations
作者: Juyong Lee, Taywon Min, Minyong An, Dongyoon Hahm, Haeone Lee, Changyeon Kim, Kimin Lee
分类: cs.HC, cs.AI, cs.LG
发布日期: 2024-04-25 (更新: 2025-07-21)
备注: Accepted to ICLR 2024 Workshop on Generative Models for Decision Making (Spotlight) and CoLLAs 2025
💡 一句话要点
提出B-MoCA基准以评估移动设备控制代理的性能
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 移动设备控制 基准测试 自动化任务 泛化能力 智能代理 用户交互 性能评估
📋 核心要点
- 现有的移动设备控制代理缺乏统一的基准，导致科学进展难以量化和比较。
- 本文提出B-MoCA基准，通过定义131个日常任务并引入随机化配置，评估移动设备控制代理的性能。
- 实验结果显示，虽然代理在简单任务上表现良好，但在复杂任务上仍存在显著的改进空间。
📝 摘要（中文）
移动设备控制代理能够通过自动化日常任务显著提升用户交互和生产力。然而，缺乏统一的基准使得量化科学进展变得困难。本文提出了B-MoCA，一个基于Android操作系统的创新基准，定义了131个常见日常任务，并引入随机化特性以评估代理的泛化性能。我们对多种代理进行了基准测试，包括使用大型语言模型和模态多样化的代理。尽管这些代理在简单任务上表现良好，但在复杂任务上的表现不佳，显示出未来研究的巨大改进空间。源代码已公开。
🔬 方法详解
问题定义：本文旨在解决移动设备控制代理评估缺乏统一基准的问题。现有方法无法有效量化不同代理的性能，限制了科学进展的比较和分析。
核心思路：提出B-MoCA基准，通过创建互动环境和定义日常任务，结合随机化特性，评估代理在多种配置下的泛化能力。这样的设计使得基准更具现实性和适用性。
技术框架：B-MoCA基准的整体架构包括任务定义模块、随机化配置模块和性能评估模块。任务定义模块设定131个日常任务，随机化配置模块调整用户界面和语言设置，性能评估模块则对代理的执行效果进行量化分析。
关键创新：B-MoCA的最大创新在于引入了随机化特性，使得评估过程更具挑战性和现实性。这一设计与现有方法相比，能够更全面地测试代理的泛化能力。
关键设计：在任务定义中，131个日常任务涵盖了多种用户需求；随机化配置涉及用户界面布局和语言设置的多样化；性能评估采用了多种指标，以全面反映代理的执行能力。
🖼️ 关键图片
📊 实验亮点
实验结果表明，尽管代理在简单任务上表现出色，但在复杂任务上表现不佳，显示出平均性能提升幅度有限。这一发现为未来研究提供了明确的方向，强调了在复杂环境中提高代理能力的重要性。
🎯 应用场景
该研究的潜在应用领域包括智能手机助手、家庭自动化系统和企业生产力工具等。通过提供一个标准化的评估基准，B-MoCA能够帮助开发者优化移动设备控制代理，提高用户体验和工作效率。未来，该基准可能推动更多创新的代理技术发展。
📄 摘要（原文）
Mobile device control agents can largely enhance user interactions and productivity by automating daily tasks. However, despite growing interest in developing practical agents, the absence of a commonly adopted benchmark in this area makes it challenging to quantify scientific progress. In this work, we introduce B-MoCA: a novel benchmark with interactive environments for evaluating and developing mobile device control agents. To create a realistic benchmark, we develop B-MoCA based on the Android operating system and define 131 common daily tasks. Importantly, we incorporate a randomization feature that changes the configurations of mobile devices, including user interface layouts and language settings, to assess generalization performance. We benchmark diverse agents, including agents employing large language models (LLMs) or multi-modal LLMs as well as agents trained with imitation learning using human expert demonstrations. While these agents demonstrate proficiency in executing straightforward tasks, their poor performance on complex tasks highlights significant opportunities for future research to improve effectiveness. Our source code is publicly available at https://b-moca.github.io.