OS-Copilot: Towards Generalist Computer Agents with Self-Improvement

📄 arXiv: 2402.07456v2 📥 PDF

作者: Zhiyong Wu, Chengcheng Han, Zichen Ding, Zhenmin Weng, Zhoumianze Liu, Shunyu Yao, Tao Yu, Lingpeng Kong

分类: cs.AI

发布日期: 2024-02-12 (更新: 2024-02-15)

备注: Project page: https://os-copilot.github.io

💡 一句话要点

提出OS-Copilot框架以构建通用计算机代理

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 通用计算机代理 自我改进 大语言模型 操作系统交互 技能积累 自动化任务 智能助手

📋 核心要点

  1. 现有的数字代理多集中于特定领域，限制了其在广泛计算任务中的应用。
  2. OS-Copilot框架旨在构建能够与操作系统各类元素交互的通用代理，提升其适用性。
  3. FRIDAY在GAIA基准测试中超越了以往方法35%，展现出强大的泛化能力和自我改进能力。

📝 摘要（中文）

自主与计算机交互一直是一个长期挑战，尤其是在大语言模型（LLMs）迅速发展的背景下。现有的数字代理大多局限于特定软件或网站，限制了其在一般计算任务中的适用性。为此，本文提出了OS-Copilot框架，旨在构建能够与操作系统中各类元素（如网页、代码终端、文件、多媒体及第三方应用）进行交互的通用代理。通过OS-Copilot，我们创建了FRIDAY，一个自我改进的代理，能够自动化一般计算任务。在GAIA基准测试中，FRIDAY的表现超越了以往方法35%，展现出对未见应用的强泛化能力，并在Excel和Powerpoint的控制与自我改进上提供了定量证据。该框架及其实证结果为未来更强大、通用的计算机代理研究提供了基础和见解。

🔬 方法详解

问题定义：本文旨在解决现有数字代理在特定领域的局限性，缺乏对一般计算任务的适应能力。现有方法往往无法有效处理多样化的操作系统元素。

核心思路：OS-Copilot框架通过构建通用代理，允许其与操作系统中的多种元素进行交互，进而实现自我改进和技能积累。这样的设计使得代理能够在不同任务中学习并提升其能力。

技术框架：OS-Copilot的整体架构包括多个模块，主要包括任务识别、技能积累、执行反馈和自我改进。代理通过这些模块实现对操作系统的全面控制。

关键创新：FRIDAY作为OS-Copilot的实现，首次展示了在GAIA基准测试中超越以往方法的能力，特别是在未见应用的泛化能力上。

关键设计：在设计中，FRIDAY采用了最小监督的学习方式，利用历史任务的技能积累来提升在Excel和Powerpoint等应用中的表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

FRIDAY在GAIA基准测试中表现出色，超越了以往方法35%。该代理在处理未见应用时展现出强大的泛化能力，并在Excel和Powerpoint的控制上实现了显著的自我改进，证明了其在实际应用中的有效性。

🎯 应用场景

该研究的潜在应用领域包括智能办公助手、自动化软件测试、以及个人助理等。通过提升计算机代理的通用性和自我改进能力，未来可以在更多复杂任务中实现高效的自动化，极大地提高工作效率。

📄 摘要（原文）

Autonomous interaction with the computer has been a longstanding challenge with great potential, and the recent proliferation of large language models (LLMs) has markedly accelerated progress in building digital agents. However, most of these agents are designed to interact with a narrow domain, such as a specific software or website. This narrow focus constrains their applicability for general computer tasks. To this end, we introduce OS-Copilot, a framework to build generalist agents capable of interfacing with comprehensive elements in an operating system (OS), including the web, code terminals, files, multimedia, and various third-party applications. We use OS-Copilot to create FRIDAY, a self-improving embodied agent for automating general computer tasks. On GAIA, a general AI assistants benchmark, FRIDAY outperforms previous methods by 35%, showcasing strong generalization to unseen applications via accumulated skills from previous tasks. We also present numerical and quantitative evidence that FRIDAY learns to control and self-improve on Excel and Powerpoint with minimal supervision. Our OS-Copilot framework and empirical findings provide infrastructure and insights for future research toward more capable and general-purpose computer agents.