WebLINX: Real-World Website Navigation with Multi-Turn Dialogue
作者: Xing Han Lù, Zdeněk Kasner, Siva Reddy
分类: cs.CL, cs.CV, cs.LG
发布日期: 2024-02-08 (更新: 2024-09-10)
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出WebLINX以解决多轮对话下的网页导航问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 对话式导航 多轮对话 网页处理 大型语言模型 多模态学习 检索启发式模型 人机交互
📋 核心要点
- 核心问题：现有方法在处理复杂网页导航任务时，无法有效利用大量信息，导致性能不足。
- 方法要点：论文提出了一种检索启发式模型，通过排名相关HTML元素来高效处理网页内容。
- 实验或效果：实验表明，经过微调的小型模型在特定任务上表现优于大型零-shot模型，但在新网站上泛化能力不足。
📝 摘要（中文）
我们提出了对话式网页导航的问题，其中数字代理控制网页浏览器并按照用户指令在多轮对话中解决现实任务。为支持该问题，我们引入了WEBLINX——一个涵盖2300个专家演示的10万次交互的大规模基准，覆盖150多个真实网站的广泛模式，可用于在多样场景中训练和评估代理。由于信息量巨大，现有的大型语言模型（LLMs）无法实时处理整个网页。为解决这一瓶颈，我们设计了一种检索启发式模型，通过对HTML页面进行相关元素的排名来高效修剪网页。我们使用所选元素、截图和操作历史来评估多种模型在网页导航中复制人类行为的能力。实验结果显示，经过微调的小型解码器超越了最佳的零-shot LLM（包括GPT-4V），但所有微调模型在未见网站上普遍难以泛化。我们的发现强调了需要能够在新环境中泛化的大型多模态模型。
🔬 方法详解
问题定义：论文要解决的具体问题是如何在多轮对话中实现有效的网页导航。现有方法在处理复杂网页时面临信息量大、实时处理能力不足等痛点，导致导航效率低下。
核心思路：论文的核心解决思路是设计一种检索启发式模型，通过对HTML页面进行相关元素的排名，来高效提取和处理网页信息。这种设计旨在减少模型处理的冗余信息，提高导航的准确性和效率。
技术框架：整体架构包括多个模块：首先是网页内容的获取与解析模块，然后是相关元素的排名与选择模块，最后是基于选择元素的对话管理与决策模块。该框架支持多轮对话的动态调整与反馈。
关键创新：最重要的技术创新点在于提出了检索启发式模型，该模型通过有效修剪HTML页面，显著提升了对话式网页导航的效率和准确性。这与现有方法的本质区别在于其处理信息的方式更为高效，能够针对用户需求进行动态调整。
关键设计：在关键设计方面，模型采用了特定的损失函数来优化元素选择的准确性，同时在网络结构上结合了多模态输入（如截图与操作历史），以增强模型的理解与决策能力。
🖼️ 关键图片
📊 实验亮点
实验结果显示，经过微调的小型解码器在特定任务上超越了最佳的零-shot LLM（如GPT-4V），并且在多模态模型中表现出色。然而，所有微调模型在未见网站上普遍难以泛化，强调了对大型多模态模型的需求。
🎯 应用场景
该研究的潜在应用领域包括智能客服、在线教育、电子商务等场景，能够为用户提供更为自然和高效的网页导航体验。未来，该技术有望在更广泛的对话系统中推广，提升人机交互的智能化水平。
📄 摘要（原文）
We propose the problem of conversational web navigation, where a digital agent controls a web browser and follows user instructions to solve real-world tasks in a multi-turn dialogue fashion. To support this problem, we introduce WEBLINX - a large-scale benchmark of 100K interactions across 2300 expert demonstrations of conversational web navigation. Our benchmark covers a broad range of patterns on over 150 real-world websites and can be used to train and evaluate agents in diverse scenarios. Due to the magnitude of information present, Large Language Models (LLMs) cannot process entire web pages in real-time. To solve this bottleneck, we design a retrieval-inspired model that efficiently prunes HTML pages by ranking relevant elements. We use the selected elements, along with screenshots and action history, to assess a variety of models for their ability to replicate human behavior when navigating the web. Our experiments span from small text-only to proprietary multimodal LLMs. We find that smaller finetuned decoders surpass the best zero-shot LLMs (including GPT-4V), but also larger finetuned multimodal models which were explicitly pretrained on screenshots. However, all finetuned models struggle to generalize to unseen websites. Our findings highlight the need for large multimodal models that can generalize to novel settings. Our code, data and models are available for research: https://mcgill-nlp.github.io/weblinx