Android in the Zoo: Chain-of-Action-Thought for GUI Agents

📄 arXiv: 2403.02713v2 📥 PDF

作者: Jiwen Zhang, Jihao Wu, Yihua Teng, Minghui Liao, Nuo Xu, Xiao Xiao, Zhongyu Wei, Duyu Tang

分类: cs.CL, cs.CV, cs.HC, cs.LG

发布日期: 2024-03-05 (更新: 2024-07-13)

备注: Dataset could be found in https://github.com/IMNearth/CoAT

💡 一句话要点

提出Chain-of-Action-Thought以提升GUI代理的任务执行能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: GUI代理 动作预测 链式思考 数据集构建 自然语言处理 深度学习

📋 核心要点

  1. 现有方法在处理GUI代理任务时，往往忽视了中间状态的语义信息，导致动作预测不准确。
  2. 本文提出的CoAT方法通过结合先前操作描述、当前屏幕和操作思考，增强了对任务执行的理解。
  3. 实验结果显示，CoAT在零-shot设置下显著提升了动作预测性能，并在AitZ数据集上表现优异。

📝 摘要（中文）

大型语言模型（LLM）的发展推动了智能手机自主GUI代理的兴起，这些代理通过自然语言触发任务并预测API的操作序列。现有研究通常忽视了中间截图和屏幕操作所携带的语义信息。为了解决这一问题，本文提出了Chain-of-Action-Thought（CoAT），该方法考虑了先前操作的描述、当前屏幕以及应执行的操作思考和选择操作所带来的结果。在三个现成的LMM上进行零-shot实验，CoAT显著提升了动作预测能力。此外，本文构建了Android-In-The-Zoo（AitZ）数据集，包含18643个屏幕-动作对及其链式思考注释。实验表明，在AitZ数据集上微调1B模型（AUTO-UI-base）可达到与CogAgent-Chat-18B相当的性能。

🔬 方法详解

问题定义：本文旨在解决现有GUI代理在任务执行中对中间状态语义信息的忽视，导致动作预测能力不足的问题。

核心思路：CoAT方法通过引入对先前操作的描述、当前屏幕状态及未来操作思考的综合考虑，提升了对任务执行的理解和预测能力。

技术框架：整体架构包括三个主要模块：先前操作描述模块、当前屏幕状态模块和操作思考模块。这些模块共同作用于动作预测过程。

关键创新：最重要的技术创新在于引入了“操作思考”这一概念，使得模型不仅仅依赖于历史操作和视觉信息，还能进行更深层次的推理。与现有方法相比，CoAT在语义理解上具有本质的提升。

关键设计：在模型设计中，采用了特定的损失函数来优化动作预测的准确性，同时在网络结构上进行了调整，以更好地融合不同模块的信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，CoAT在零-shot设置下显著提升了动作预测能力，相较于以往的上下文建模方法，性能提升幅度达到显著水平。此外，微调1B模型在AitZ数据集上表现出与18B模型相当的性能，展示了其有效性。

🎯 应用场景

该研究的潜在应用领域包括智能手机助手、自动化任务执行和人机交互等。通过提升GUI代理的任务执行能力，能够为用户提供更智能的操作体验，未来可能在各类应用中广泛推广，提升工作效率和用户满意度。

📄 摘要（原文）

Large language model (LLM) leads to a surge of autonomous GUI agents for smartphone, which completes a task triggered by natural language through predicting a sequence of actions of API. Even though the task highly relies on past actions and visual observations, existing studies typically consider little semantic information carried out by intermediate screenshots and screen operations. To address this, this work presents Chain-of-Action-Thought (dubbed CoAT), which takes the description of the previous actions, the current screen, and more importantly the action thinking of what actions should be performed and the outcomes led by the chosen action. We demonstrate that, in a zero-shot setting upon three off-the-shelf LMMs, CoAT significantly improves the action prediction compared to previous proposed context modeling. To further facilitate the research in this line, we construct a dataset Android-In-The-Zoo (AitZ), which contains 18,643 screen-action pairs together with chain-of-action-thought annotations. Experiments show that fine-tuning a 1B model (i.e. AUTO-UI-base) on our AitZ dataset achieves on-par performance with CogAgent-Chat-18B.