VisualWebBench: How Far Have Multimodal LLMs Evolved in Web Page Understanding and Grounding?
作者: Junpeng Liu, Yifan Song, Bill Yuchen Lin, Wai Lam, Graham Neubig, Yuanzhi Li, Xiang Yue
分类: cs.CL, cs.AI
发布日期: 2024-04-09
💡 一句话要点
提出VisualWebBench以评估多模态大语言模型在网页理解中的能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态大语言模型 网页理解 基准评估 OCR 信息检索 智能助手 性能评估
📋 核心要点
- 现有的多模态大语言模型评估基准无法有效捕捉网页的独特特征，导致性能评估不准确。
- 本文提出了ench{}，一个专门设计的多模态基准，涵盖多种网页任务，旨在全面评估MLLMs的能力。
- 对14个开源MLLMs的评估显示出显著的性能差距，尤其是在文本理解和低分辨率图像处理方面的局限性。
📝 摘要（中文）
多模态大语言模型（MLLMs）在网页相关任务中展现出潜力，但由于缺乏全面的基准评估其性能仍然是一个挑战。现有基准要么针对一般多模态任务，无法捕捉网页的独特特征，要么专注于端到端的网页代理任务，无法衡量细粒度能力如OCR、理解和定位。本文提出了ench{}，一个旨在评估MLLMs在多种网页任务中的能力的多模态基准。该基准包含七个任务，涵盖来自139个真实网站的1500个人工策划实例，覆盖87个子领域。我们对14个开源MLLMs进行了评估，揭示了显著的挑战和性能差距。进一步分析突显了当前MLLMs的局限性，包括在文本丰富环境中的定位不足和低分辨率图像输入的表现不佳。我们相信ench{}将为研究社区提供有价值的资源，并有助于创建更强大和多功能的MLLMs用于网页相关应用。
🔬 方法详解
问题定义：本文旨在解决现有多模态大语言模型在网页理解和定位任务中的评估不足，现有方法无法有效捕捉网页的独特特征和细粒度能力。
核心思路：提出ench{}基准，专注于多种网页任务的评估，涵盖OCR、理解和定位等细粒度能力，以便更全面地评估MLLMs的性能。
技术框架：ench{}包含七个任务，基于来自139个真实网站的1500个实例，覆盖87个子领域，旨在提供多样化的评估场景。
关键创新：ench{}的设计使其能够捕捉网页的独特特征，填补了现有基准在细粒度能力评估上的空白，与传统的多模态任务基准有本质区别。
关键设计：在参数设置上，ench{}采用了人工策划的实例，确保了数据的多样性和代表性，同时在任务设计中强调了OCR和低分辨率图像处理的挑战。
🖼️ 关键图片
📊 实验亮点
实验结果显示，14个开源MLLMs在ench{}基准上的表现存在显著差距，尤其是在文本丰富环境中的定位能力不足和低分辨率图像输入的处理效果较差。这些发现为未来的模型改进提供了重要的方向。
🎯 应用场景
该研究的潜在应用领域包括网页内容分析、信息检索和智能助手等。通过提供一个全面的评估基准，ench{}将推动多模态大语言模型在实际应用中的发展，提升其在复杂网页环境中的理解和处理能力。
📄 摘要（原文）
Multimodal Large Language models (MLLMs) have shown promise in web-related tasks, but evaluating their performance in the web domain remains a challenge due to the lack of comprehensive benchmarks. Existing benchmarks are either designed for general multimodal tasks, failing to capture the unique characteristics of web pages, or focus on end-to-end web agent tasks, unable to measure fine-grained abilities such as OCR, understanding, and grounding. In this paper, we introduce \bench{}, a multimodal benchmark designed to assess the capabilities of MLLMs across a variety of web tasks. \bench{} consists of seven tasks, and comprises 1.5K human-curated instances from 139 real websites, covering 87 sub-domains. We evaluate 14 open-source MLLMs, Gemini Pro, Claude-3 series, and GPT-4V(ision) on \bench{}, revealing significant challenges and performance gaps. Further analysis highlights the limitations of current MLLMs, including inadequate grounding in text-rich environments and subpar performance with low-resolution image inputs. We believe \bench{} will serve as a valuable resource for the research community and contribute to the creation of more powerful and versatile MLLMs for web-related applications.