WebVoyager: Building an End-to-End Web Agent with Large Multimodal Models

📄 arXiv: 2401.13919v4 📥 PDF

作者: Hongliang He, Wenlin Yao, Kaixin Ma, Wenhao Yu, Yong Dai, Hongming Zhang, Zhenzhong Lan, Dong Yu

分类: cs.CL, cs.AI

发布日期: 2024-01-25 (更新: 2024-06-06)

备注: Accepted to ACL 2024 (main). Code and data is released at https://github.com/MinorJerry/WebVoyager

💡 一句话要点

提出WebVoyager以解决单模态网页代理的局限性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态模型 网页代理 自动化应用 任务成功率 评估协议

📋 核心要点

  1. 现有网页代理通常仅支持单一输入模态，且在简化环境中评估，限制了其在复杂现实场景中的应用。
  2. WebVoyager通过结合多模态大模型，能够与真实网站交互，完成用户的复杂指令，提供端到端的解决方案。
  3. 在新建立的基准测试中，WebVoyager的任务成功率达到59.1%，显著优于现有的文本仅代理和其他工具，验证了其有效性。

📝 摘要（中文）

随着大型语言模型（LLMs）的快速发展，自动化应用在现实场景中的创新不断涌现，推动了先进网页代理的创建。现有网页代理通常仅处理单一输入模态，并且仅在简化的网页模拟器或静态网页快照中进行评估，这大大限制了其在现实场景中的适用性。为了解决这一问题，本文提出了WebVoyager，一个创新的多模态大模型（LMM）驱动的网页代理，能够通过与真实网站的交互完成用户指令的端到端执行。此外，我们建立了一个新的基准，通过汇编15个流行网站的真实任务，并引入了一种自动评估协议，利用GPT-4V的多模态理解能力来评估开放式网页代理。实验结果显示，WebVoyager在我们的基准上达到了59.1%的任务成功率，显著超越了GPT-4（所有工具）和WebVoyager（仅文本）设置，突显了其卓越能力。所提出的自动评估指标与人类判断的达成率为85.3%，表明其在提供可靠和准确的网页代理评估方面的有效性。

🔬 方法详解

问题定义：本文旨在解决现有网页代理在处理多模态输入和真实环境交互中的局限性，现有方法多在简化环境中评估，缺乏实际应用能力。

核心思路：WebVoyager的核心思路是利用大型多模态模型，支持与真实网页的交互，从而实现复杂用户指令的自动化执行，提升网页代理的实用性。

技术框架：WebVoyager的整体架构包括多个模块：输入处理模块、网页交互模块、任务执行模块和评估模块。输入处理模块负责解析用户指令，网页交互模块与真实网站进行交互，任务执行模块完成具体操作，评估模块则对结果进行自动评估。

关键创新：WebVoyager的主要创新在于其多模态能力的整合，能够处理文本、图像等多种输入形式，并在真实环境中进行评估，这与传统的单模态代理形成鲜明对比。

关键设计：在设计中，WebVoyager采用了先进的GPT-4V模型作为基础，结合特定的损失函数和优化策略，以确保在多模态输入下的高效学习和准确执行。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

WebVoyager在新建立的基准测试中达到了59.1%的任务成功率，显著超越了GPT-4（所有工具）和WebVoyager（文本仅）设置，展示了其卓越的多模态处理能力。此外，自动评估指标与人类判断的达成率高达85.3%，表明其评估的可靠性和准确性。

🎯 应用场景

WebVoyager的研究成果在多个领域具有广泛的应用潜力，包括智能客服、在线教育、电子商务等。通过实现与真实网站的交互，WebVoyager能够为用户提供更为智能和个性化的服务，提升用户体验。未来，该技术还可能推动更多自动化应用的发展，改变人们与网络的交互方式。

📄 摘要（原文）

The rapid advancement of large language models (LLMs) has led to a new era marked by the development of autonomous applications in real-world scenarios, which drives innovation in creating advanced web agents. Existing web agents typically only handle one input modality and are evaluated only in simplified web simulators or static web snapshots, greatly limiting their applicability in real-world scenarios. To bridge this gap, we introduce WebVoyager, an innovative Large Multimodal Model (LMM) powered web agent that can complete user instructions end-to-end by interacting with real-world websites. Moreover, we establish a new benchmark by compiling real-world tasks from 15 popular websites and introduce an automatic evaluation protocol leveraging multimodal understanding abilities of GPT-4V to evaluate open-ended web agents. We show that WebVoyager achieves a 59.1% task success rate on our benchmark, significantly surpassing the performance of both GPT-4 (All Tools) and the WebVoyager (text-only) setups, underscoring the exceptional capability of WebVoyager. The proposed automatic evaluation metric achieves 85.3% agreement with human judgment, indicating its effectiveness in providing reliable and accurate assessments of web agents.