OmniACT: A Dataset and Benchmark for Enabling Multimodal Generalist Autonomous Agents for Desktop and Web
作者: Raghav Kapoor, Yash Parag Butala, Melisa Russak, Jing Yu Koh, Kiran Kamble, Waseem Alshikh, Ruslan Salakhutdinov
分类: cs.AI, cs.CL, cs.CV, cs.HC
发布日期: 2024-02-27 (更新: 2024-07-21)
💡 一句话要点
提出OmniACT数据集以推动多模态自主代理在桌面和网络任务中的应用
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态学习 自主代理 数据集构建 人机交互 任务自动化
📋 核心要点
- 现有的人机交互方式依赖人工输入，限制了计算机任务的自动化和效率提升。
- 论文提出了OmniACT数据集，旨在评估自主代理生成可执行程序的能力，覆盖多种桌面应用。
- 实验结果显示，尽管GPT-4表现最佳，但其生成可执行脚本的能力仍仅为人类的15%，显示出任务的复杂性。
📝 摘要（中文）
人机交互长期以来依赖人工输入，限制了计算机任务的自动化。本文介绍了OmniACT，这是一个首创的数据集和基准，用于评估自主虚拟代理生成可执行程序的能力。该数据集涵盖了从简单任务到复杂任务的多种桌面应用，目标是根据屏幕图像和自然语言任务生成完整的执行脚本。尽管基线模型如GPT-4在基准测试中表现最佳，但其生成可执行脚本的能力仅达到人类的15%，显示出该任务的挑战性。该基准为评估语言模型在计算机任务自动化中的进展提供了平台，并激励未来构建多模态模型以实现语言模型与视觉信息的结合。
🔬 方法详解
问题定义：本文旨在解决传统人机交互中高度依赖人工输入的问题，现有方法在自动化生成可执行程序方面存在显著不足。
核心思路：提出OmniACT数据集和基准，旨在通过视觉和语言信息的结合，评估代理生成执行脚本的能力，推动计算机任务的自动化。
技术框架：整体架构包括数据集构建、任务定义、模型训练和评估四个主要模块。数据集涵盖多种任务，模型则基于强大的语言模型进行训练和评估。
关键创新：OmniACT是首个专注于多模态任务生成的基准，突破了传统的网页自动化，扩展到桌面应用，提供了新的评估标准。
关键设计：在模型训练中，采用了特定的损失函数和参数设置，以优化生成脚本的准确性和执行能力，同时结合视觉信息进行任务理解。
🖼️ 关键图片
📊 实验亮点
实验中，GPT-4作为最强基线模型在OmniACT基准测试中表现最佳，但其生成可执行脚本的能力仅达到人类的15%。这一结果突显了现有模型在处理复杂多模态任务时的局限性，为未来的研究指明了方向。
🎯 应用场景
该研究的潜在应用领域包括日常办公自动化、智能助手开发和复杂任务的自动化处理。通过降低对用户技术能力的要求，OmniACT能够使更多用户高效利用计算机系统，提升工作效率。未来，该研究可能推动多模态模型的发展，进一步提升计算机任务的自动化水平。
📄 摘要（原文）
For decades, human-computer interaction has fundamentally been manual. Even today, almost all productive work done on the computer necessitates human input at every step. Autonomous virtual agents represent an exciting step in automating many of these menial tasks. Virtual agents would empower users with limited technical proficiency to harness the full possibilities of computer systems. They could also enable the efficient streamlining of numerous computer tasks, ranging from calendar management to complex travel bookings, with minimal human intervention. In this paper, we introduce OmniACT, the first-of-a-kind dataset and benchmark for assessing an agent's capability to generate executable programs to accomplish computer tasks. Our scope extends beyond traditional web automation, covering a diverse range of desktop applications. The dataset consists of fundamental tasks such as "Play the next song", as well as longer horizon tasks such as "Send an email to John Doe mentioning the time and place to meet". Specifically, given a pair of screen image and a visually-grounded natural language task, the goal is to generate a script capable of fully executing the task. We run several strong baseline language model agents on our benchmark. The strongest baseline, GPT-4, performs the best on our benchmark However, its performance level still reaches only 15% of the human proficiency in generating executable scripts capable of completing the task, demonstrating the challenge of our task for conventional web agents. Our benchmark provides a platform to measure and evaluate the progress of language model agents in automating computer tasks and motivates future work towards building multimodal models that bridge large language models and the visual grounding of computer screens.