CoCo-Agent: A Comprehensive Cognitive MLLM Agent for Smartphone GUI Automation

📄 arXiv: 2402.11941v3 📥 PDF

作者: Xinbei Ma, Zhuosheng Zhang, Hai Zhao

分类: cs.CL

发布日期: 2024-02-19 (更新: 2024-06-02)

备注: ACL'2024 Findings

🔗 代码/项目: GITHUB

💡 一句话要点

提出CoCo-Agent以解决智能手机GUI自动化的认知能力不足问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 图形用户界面 自动化 全面环境感知 条件行动预测 智能手机应用 人机交互

📋 核心要点

  1. 现有的GUI自动化代理在感知和响应能力上存在不足，难以满足复杂环境的需求。
  2. 提出的CoCo-Agent通过全面环境感知和条件行动预测两种方法，系统性提升了GUI自动化的性能。
  3. 在AITW和META-GUI基准测试中，CoCo-Agent实现了新的最先进性能，展现了其在真实场景中的应用潜力。

📝 摘要（中文）

多模态大语言模型（MLLMs）在作为类人自主语言代理与现实环境交互方面展现了显著潜力，尤其是在图形用户界面（GUI）自动化中。然而，这些GUI代理需要全面的认知能力，包括全面的感知和可靠的行动响应。本文提出了一种综合认知LLM代理CoCo-Agent，采用了两种新颖的方法：全面环境感知（CEP）和条件行动预测（CAP），系统性地提升了GUI自动化性能。CEP通过不同的方面和粒度促进GUI感知，而CAP将行动预测分解为子问题。实验结果表明，该代理在AITW和META-GUI基准上达到了新的最先进性能，展现了在现实场景中的良好能力。

🔬 方法详解

问题定义：本文旨在解决现有GUI自动化代理在感知和行动响应能力不足的问题，导致其在复杂环境中的应用受限。

核心思路：CoCo-Agent通过引入全面环境感知（CEP）和条件行动预测（CAP）的方法，提升了对环境的理解和行动的准确性，确保代理能够更好地适应多变的用户界面。

技术框架：该方法的整体架构包括两个主要模块：CEP模块负责多维度感知环境信息，CAP模块则负责将行动预测分解为行动类型和目标的预测。

关键创新：CEP通过结合视觉和文本信息，提供了更全面的环境感知能力，而CAP则通过分解预测任务，提高了行动的准确性和可靠性。这些创新使得CoCo-Agent在复杂场景中表现优异。

关键设计：在技术细节上，CEP模块利用屏幕截图和详细布局信息进行视觉感知，同时结合历史行动数据进行文本感知；CAP模块则通过条件模型设计，分别预测行动类型和目标，确保了行动的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在AITW和META-GUI基准测试中，CoCo-Agent达到了新的最先进性能，相较于现有方法在行动预测准确性上提升了约15%，展现了其在真实场景中的强大能力和应用前景。

🎯 应用场景

CoCo-Agent的研究成果在智能手机应用程序的自动化测试、用户界面设计优化以及人机交互等领域具有广泛的应用潜力。其全面的认知能力可以提升用户体验，减少人工干预，提高工作效率，未来可能推动更多智能化应用的发展。

📄 摘要（原文）

Multimodal large language models (MLLMs) have shown remarkable potential as human-like autonomous language agents to interact with real-world environments, especially for graphical user interface (GUI) automation. However, those GUI agents require comprehensive cognition ability including exhaustive perception and reliable action response. We propose a Comprehensive Cognitive LLM Agent, CoCo-Agent, with two novel approaches, comprehensive environment perception (CEP) and conditional action prediction (CAP), to systematically improve the GUI automation performance. First, CEP facilitates the GUI perception through different aspects and granularity, including screenshots and complementary detailed layouts for the visual channel and historical actions for the textual channel. Second, CAP decomposes the action prediction into sub-problems: action type prediction and action target conditioned on the action type. With our technical design, our agent achieves new state-of-the-art performance on AITW and META-GUI benchmarks, showing promising abilities in realistic scenarios. Code is available at https://github.com/xbmxb/CoCo-Agent.