LlamaTouch: A Faithful and Scalable Testbed for Mobile UI Task Automation
作者: Li Zhang, Shihe Wang, Xianqing Jia, Zhihan Zheng, Yunhe Yan, Longxi Gao, Yuanchun Li, Mengwei Xu
分类: cs.HC, cs.AI
发布日期: 2024-04-12 (更新: 2024-08-02)
备注: Accepted at ACM UIST 2024
🔗 代码/项目: GITHUB
💡 一句话要点
提出LlamaTouch以解决移动UI任务自动化评估不准确与不可扩展问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 移动UI自动化 任务评估 多模态模型 移动代理 细粒度注释 状态匹配算法 可扩展性 真实环境评估
📋 核心要点
- 现有的移动UI任务自动化评估方法依赖人工验证或固定数据集，导致评估过程不可扩展且不够准确。
- LlamaTouch通过仅评估代理是否遍历所有关键UI状态，提出了一种新颖的评估方法，解决了现有方法的局限。
- 实验结果显示，LlamaTouch在真实环境中的评估可信度高，且在可扩展性方面优于传统的人工验证方法。
📝 摘要（中文）
随着大型语言/多模态模型的出现，移动代理的演变得以加速，尤其是在移动UI任务自动化方面。然而，现有的评估方法依赖于人工验证或已建立的数据集，将代理预测的动作与预定义的动作序列进行比较，这种方法不可扩展且不够准确。为了解决这些局限性，本文提出了LlamaTouch，一个用于设备上移动UI任务执行和可信、可扩展任务评估的测试平台。LlamaTouch通过观察任务执行过程仅传递UI状态，采用了一种新颖的评估方法，仅评估代理是否遍历所有手动注释的关键应用/系统状态。LlamaTouch包含三项关键技术：设备上的任务执行、细粒度UI组件注释和多层次应用状态匹配算法。评估结果表明，LlamaTouch在真实移动环境中的评估可信度高，且比人工验证更具可扩展性。
🔬 方法详解
问题定义：本文旨在解决现有移动UI任务自动化评估方法的不可扩展性和不准确性，现有方法依赖人工验证或固定数据集，难以适应多样化的应用场景。
核心思路：LlamaTouch的核心思路是通过观察任务执行过程中的UI状态变化，仅评估代理是否遍历所有手动注释的关键状态，从而实现高效且准确的评估。
技术框架：LlamaTouch的整体架构包括三个主要模块：设备上的任务执行、细粒度UI组件注释和多层次应用状态匹配算法。任务执行模块使代理能够与真实的移动环境交互，注释模块则结合像素级截图和文本层次结构进行UI组件的精确标注。
关键创新：LlamaTouch的主要创新在于其评估方法的设计，通过仅关注关键UI状态的遍历，避免了传统方法中对动作序列的严格匹配要求，从而提高了评估的灵活性和准确性。
关键设计：在细粒度UI组件注释中，设计了一套丰富的注释原语，以确保UI组件的准确识别和标注；在多层次应用状态匹配算法中，采用了精确匹配与模糊匹配相结合的策略，以应对UI布局和内容的动态变化。
🖼️ 关键图片
📊 实验亮点
实验结果表明，LlamaTouch在真实移动环境中的评估可信度高，且在可扩展性方面相比传统人工验证方法提升显著。具体而言，LlamaTouch能够处理496个任务，涵盖多种移动应用，展示了其在多样化场景下的有效性和灵活性。
🎯 应用场景
LlamaTouch的研究成果在移动应用开发、测试和评估领域具有广泛的应用潜力。它能够为开发者提供一个高效的自动化测试平台，帮助快速验证移动UI的功能和用户体验。此外，LlamaTouch的可扩展性使得其能够适应不断变化的移动应用生态，为未来的移动代理研究提供了坚实的基础。
📄 摘要（原文）
The emergent large language/multimodal models facilitate the evolution of mobile agents, especially in mobile UI task automation. However, existing evaluation approaches, which rely on human validation or established datasets to compare agent-predicted actions with predefined action sequences, are unscalable and unfaithful. To overcome these limitations, this paper presents LlamaTouch, a testbed for on-device mobile UI task execution and faithful, scalable task evaluation. By observing that the task execution process only transfers UI states, LlamaTouch employs a novel evaluation approach that only assesses whether an agent traverses all manually annotated, essential application/system states. LlamaTouch comprises three key techniques: (1) On-device task execution that enables mobile agents to interact with realistic mobile environments for task execution. (2) Fine-grained UI component annotation that merges pixel-level screenshots and textual screen hierarchies to explicitly identify and precisely annotate essential UI components with a rich set of designed annotation primitives. (3) A multi-level application state matching algorithm that utilizes exact and fuzzy matching to accurately detect critical information in each screen, even with unpredictable UI layout/content dynamics. LlamaTouch currently incorporates four mobile agents and 496 tasks, encompassing both tasks in the widely-used datasets and our self-constructed ones to cover more diverse mobile applications. Evaluation results demonstrate LlamaTouch's high faithfulness of evaluation in real-world mobile environments and its better scalability than human validation. LlamaTouch also enables easy task annotation and integration of new mobile agents. Code and dataset are publicly available at https://github.com/LlamaTouch/LlamaTouch.