WorkArena: How Capable Are Web Agents at Solving Common Knowledge Work Tasks?
作者: Alexandre Drouin, Maxime Gasse, Massimo Caccia, Issam H. Laradji, Manuel Del Verme, Tom Marty, Léo Boisvert, Megh Thakkar, Quentin Cappart, David Vazquez, Nicolas Chapados, Alexandre Lacoste
分类: cs.LG, cs.AI
发布日期: 2024-03-12 (更新: 2024-07-23)
备注: 21 pages, 11 figures, preprint
💡 一句话要点
提出WorkArena以评估网络智能体在知识工作任务中的能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 知识工作 大型语言模型 任务自动化 智能体评估 多模态观察
📋 核心要点
- 核心问题：现有的智能体在执行知识工作任务时，自动化能力不足，无法满足实际应用需求。
- 方法要点：提出WorkArena基准和BrowserGym环境，以评估智能体在真实工作场景中的表现。
- 实验或效果：实证结果显示，当前智能体在WorkArena上表现良好，但与完全自动化目标仍有较大差距。
📝 摘要（中文）
本研究探讨了基于大型语言模型的智能体如何通过网络浏览器与软件进行交互。与以往研究不同，我们专注于衡量智能体在执行典型知识工作者日常任务中的能力，提出了WorkArena，这是一个基于广泛使用的ServiceNow平台的33个任务的远程基准。此外，我们还引入了BrowserGym，一个用于设计和评估此类智能体的环境，提供丰富的动作集和多模态观察。我们的实证评估表明，尽管当前智能体在WorkArena上表现出一定的潜力，但在实现完全任务自动化方面仍存在显著差距。值得注意的是，我们的分析揭示了开源和闭源大型语言模型之间的显著性能差异，突显了该领域未来探索和发展的关键方向。
🔬 方法详解
问题定义：本论文旨在解决现有智能体在执行知识工作任务时的能力不足问题。现有方法在实际应用中面临自动化程度低、任务执行效率不高等挑战。
核心思路：论文提出WorkArena基准和BrowserGym环境，通过设计特定任务和提供多模态观察，来评估智能体的实际工作能力。这种设计旨在模拟真实的工作场景，提升智能体的实用性。
技术框架：整体架构包括两个主要模块：WorkArena基准，包含33个任务，和BrowserGym环境，提供丰富的交互动作和观察数据。智能体通过这些模块进行训练和评估。
关键创新：最重要的创新在于引入了针对知识工作任务的专门基准和评估环境，填补了现有研究中缺乏真实工作场景评估的空白。与传统方法相比，WorkArena提供了更具针对性的任务设计。
关键设计：在设计过程中，关键参数包括任务复杂度、智能体的交互方式以及多模态观察的整合。损失函数和网络结构的选择也经过精心调整，以确保智能体能够有效学习并执行任务。
🖼️ 关键图片
📊 实验亮点
实验结果显示，当前智能体在WorkArena基准上表现出一定的能力，但仍未达到完全自动化的水平。特别是，开源和闭源大型语言模型之间存在显著的性能差异，为未来的研究提供了重要的方向。
🎯 应用场景
该研究的潜在应用领域包括企业软件系统的自动化、智能办公助手的开发以及人机协作的优化。通过提升智能体在知识工作中的表现，可以显著提高工作效率，降低人力成本，推动智能化办公环境的发展。
📄 摘要（原文）
We study the use of large language model-based agents for interacting with software via web browsers. Unlike prior work, we focus on measuring the agents' ability to perform tasks that span the typical daily work of knowledge workers utilizing enterprise software systems. To this end, we propose WorkArena, a remote-hosted benchmark of 33 tasks based on the widely-used ServiceNow platform. We also introduce BrowserGym, an environment for the design and evaluation of such agents, offering a rich set of actions as well as multimodal observations. Our empirical evaluation reveals that while current agents show promise on WorkArena, there remains a considerable gap towards achieving full task automation. Notably, our analysis uncovers a significant performance disparity between open and closed-source LLMs, highlighting a critical area for future exploration and development in the field.