ScreenAgent: A Vision Language Model-driven Computer Control Agent
作者: Runliang Niu, Jindong Li, Shiqi Wang, Yali Fu, Xiyu Hu, Xueyuan Leng, He Kong, Yi Chang, Qi Wang
分类: cs.HC, cs.AI, cs.CV
发布日期: 2024-02-09
期刊: Proceedings of the Thirty-Third International Joint Conference on Artificial Intelligence (IJCAI 2024)
🔗 代码/项目: GITHUB
💡 一句话要点
提出ScreenAgent以实现计算机控制的视觉语言模型代理
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉语言模型 计算机控制 自动化 多步骤任务 用户界面操作 智能代理 数据集构建
📋 核心要点
- 现有方法在复杂任务的计算机控制上存在局限，无法有效利用计算机的强大能力。
- 本文提出了一种新的视觉语言模型代理，能够通过观察屏幕并执行鼠标和键盘操作来控制计算机。
- 实验结果表明，ScreenAgent在计算机控制能力上与GPT-4V相当，并在UI定位精度上有所提升。
📝 摘要（中文）
现有的大型语言模型（LLM）能够调用多种工具和API来完成复杂任务。本文构建了一个视觉语言模型（VLM）代理的环境，使其能够直接与真实计算机屏幕交互。代理可以观察屏幕截图，并通过输出鼠标和键盘操作来操控图形用户界面（GUI）。我们设计了一个自动控制管道，包括规划、执行和反思阶段，引导代理持续与环境互动并完成多步骤任务。此外，构建了ScreenAgent数据集，收集了完成各种日常计算机任务时的屏幕截图和操作序列。最终，我们训练的ScreenAgent模型在计算机控制能力上与GPT-4V相当，并展示了更精确的UI定位能力。我们的尝试可能激发对构建通用LLM代理的进一步研究。
🔬 方法详解
问题定义：本文旨在解决现有大型语言模型在直接控制计算机方面的不足，尤其是在复杂任务执行中的局限性。现有方法未能充分利用计算机的强大能力，导致任务完成效率低下。
核心思路：论文提出了一种视觉语言模型代理，能够通过观察计算机屏幕截图并输出相应的鼠标和键盘操作来实现对计算机的控制。这样的设计使得代理能够在真实环境中进行交互，提升了任务执行的灵活性和准确性。
技术框架：整体架构包括三个主要阶段：规划、执行和反思。代理首先分析当前环境并制定操作计划，然后执行计划中的动作，最后根据执行结果进行反思和调整，以优化后续操作。
关键创新：最重要的技术创新在于构建了一个能够与真实计算机屏幕交互的视觉语言模型代理，并设计了一个自动控制管道，使得代理能够持续进行多步骤任务的执行。这与现有方法的本质区别在于其实时交互能力和环境适应性。
关键设计：在模型训练中，采用了特定的损失函数以优化UI操作的精度，并通过ScreenAgent数据集提供丰富的训练样本，确保模型能够有效学习各种日常计算机任务的操作序列。
🖼️ 关键图片
📊 实验亮点
实验结果表明，ScreenAgent在计算机控制能力上与GPT-4V相当，并在UI定位精度上实现了显著提升，具体性能数据尚未披露，但展示了更高的操作准确性和灵活性。
🎯 应用场景
该研究的潜在应用领域包括智能助手、自动化办公、游戏控制等。通过实现计算机的自动化控制，能够显著提高人类在日常数字工作中的效率，未来可能推动更广泛的智能代理技术的发展。
📄 摘要（原文）
Existing Large Language Models (LLM) can invoke a variety of tools and APIs to complete complex tasks. The computer, as the most powerful and universal tool, could potentially be controlled directly by a trained LLM agent. Powered by the computer, we can hopefully build a more generalized agent to assist humans in various daily digital works. In this paper, we construct an environment for a Vision Language Model (VLM) agent to interact with a real computer screen. Within this environment, the agent can observe screenshots and manipulate the Graphics User Interface (GUI) by outputting mouse and keyboard actions. We also design an automated control pipeline that includes planning, acting, and reflecting phases, guiding the agent to continuously interact with the environment and complete multi-step tasks. Additionally, we construct the ScreenAgent Dataset, which collects screenshots and action sequences when completing a variety of daily computer tasks. Finally, we trained a model, ScreenAgent, which achieved computer control capabilities comparable to GPT-4V and demonstrated more precise UI positioning capabilities. Our attempts could inspire further research on building a generalist LLM agent. The code is available at \url{https://github.com/niuzaisheng/ScreenAgent}.