GUIDE: Graphical User Interface Data for Execution

📄 arXiv: 2404.16048v2 📥 PDF

作者: Rajat Chawla, Adarsh Jha, Muskaan Kumar, Mukunda NS, Ishaan Bhola

分类: cs.HC, cs.AI

发布日期: 2024-04-09 (更新: 2024-10-27)

备注: 11 pages, 8 figures, 3 Tables and 1 Algorithm

💡 一句话要点

提出GUIDE数据集以推动多模态大语言模型在RPA中的应用

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 机器人流程自动化 图形用户界面 数据集 自动化技术 自然语言理解

📋 核心要点

  1. 现有的多模态大语言模型在处理图形用户界面时面临数据不足和多样性不足的挑战。
  2. 本文提出了GUIDE数据集，专注于RPA场景，包含多平台和多网站的数据，旨在提升模型的适应性和通用性。
  3. 通过使用GUIDE数据集，构建了V-Zen，这是第一个能够自动化多个网站的RPA模型，展示了显著的应用潜力。

📝 摘要（中文）

本文介绍了GUIDE，一个新颖的数据集，旨在推动多模态大语言模型（MLLM）在机器人流程自动化（RPA）应用中的发展。该数据集涵盖来自多个网站的数据，包括Apollo、Gmail、Calendar和Canva等。每个数据条目包含图像、任务描述、最后执行的操作、推理链（CoT）以及下一步操作的信息，此外还提供了操作执行的具体位置。数据通过内部开发的注释工具NEXTAG收集，适配多种操作系统、浏览器和显示类型。我们希望通过该数据集促进图形用户界面相关的LLM研究与开发，推动自动化和自然语言理解领域的创新。

🔬 方法详解

问题定义：本文旨在解决现有多模态大语言模型在图形用户界面应用中的数据不足和多样性不足的问题，尤其是在RPA场景下。现有方法往往缺乏对不同网站设计和用户交互方式的全面覆盖。

核心思路：论文提出的GUIDE数据集通过收集多种网站的数据，结合图像、任务描述和操作信息，提供了丰富的上下文信息，以支持多模态大语言模型的训练和应用。这样的设计旨在增强模型在不同平台和浏览器上的适应能力。

技术框架：整体架构包括数据收集、注释和适配三个主要阶段。数据通过NEXTAG工具进行注释，确保多样性和准确性，最终形成适用于多种操作系统和浏览器的标准化数据集。

关键创新：最重要的技术创新在于数据集的多样性和适应性，涵盖了多个主流网站的用户交互数据，填补了现有数据集在RPA领域的空白。与传统方法相比，GUIDE提供了更全面的上下文信息，提升了模型的实用性。

关键设计：数据集的设计考虑了多种操作系统和浏览器的兼容性，注释过程中采用了多位注释者以捕捉设计的变异性，确保数据的广泛适用性和代表性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用GUIDE数据集训练的V-Zen模型在多个网站的自动化任务中表现优异，相较于基线模型，性能提升显著，展示了该数据集在实际应用中的有效性和潜力。

🎯 应用场景

GUIDE数据集的潜在应用领域包括机器人流程自动化、用户界面设计优化和自然语言处理等。通过提供丰富的多模态数据，研究人员和开发者可以更好地训练和评估多平台的大语言模型，推动自动化技术的实际应用和创新。

📄 摘要（原文）

In this paper, we introduce GUIDE, a novel dataset tailored for the advancement of Multimodal Large Language Model (MLLM) applications, particularly focusing on Robotic Process Automation (RPA) use cases. Our dataset encompasses diverse data from various websites including Apollo(62.67\%), Gmail(3.43\%), Calendar(10.98\%) and Canva(22.92\%). Each data entry includes an image, a task description, the last action taken, CoT and the next action to be performed along with grounding information of where the action needs to be executed. The data is collected using our in-house advanced annotation tool NEXTAG (Next Action Grounding and Annotation Tool). The data is adapted for multiple OS, browsers and display types. It is collected by multiple annotators to capture the variation of design and the way person uses a website. Through this dataset, we aim to facilitate research and development in the realm of LLMs for graphical user interfaces, particularly in tasks related to RPA. The dataset's multi-platform nature and coverage of diverse websites enable the exploration of cross-interface capabilities in automation tasks. We believe that our dataset will serve as a valuable resource for advancing the capabilities of multi-platform LLMs in practical applications, fostering innovation in the field of automation and natural language understanding. Using GUIDE, we build V-Zen, the first RPA model to automate multiple websites using our in-House Automation tool AUTONODE