Multimodal ArXiv: A Dataset for Improving Scientific Comprehension of Large Vision-Language Models

📄 arXiv: 2403.00231v3 📥 PDF

作者: Lei Li, Yuqi Wang, Runxin Xu, Peiyi Wang, Xiachong Feng, Lingpeng Kong, Qi Liu

分类: cs.CV, cs.CL

发布日期: 2024-03-01 (更新: 2024-06-02)

备注: Project page: https://mm-arxiv.github.io, Camera Ready Version of ACL 2024

💡 一句话要点

提出Multimodal ArXiv以提升科学理解能力的多模态数据集

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态数据集 视觉语言模型 科学理解 数学推理 图形问答 数据增强 深度学习

📋 核心要点

  1. 现有的大型视觉语言模型在处理科学领域的抽象图形时表现不佳，缺乏相应的训练数据集。
  2. 本文提出Multimodal ArXiv数据集，包括ArXivCap和ArXivQA，以增强LVLMs在科学理解方面的能力。
  3. 实验结果显示，使用ArXivQA后，LVLMs在数学推理基准上提升了10.4%的准确率，表明该方法的有效性。

📝 摘要（中文）

大型视觉语言模型（LVLMs）在处理自然场景中的具体图像任务时表现优异，但在解释抽象图形（如几何形状和科学图表）方面能力有限，主要由于缺乏科学领域的训练数据集。为此，本文提出了Multimodal ArXiv数据集，包括ArXivCap和ArXivQA，以增强LVLMs的科学理解能力。ArXivCap是一个包含640万张图像和390万条标题的图形-标题数据集，来源于572K篇涵盖多个科学领域的ArXiv论文。基于ArXivCap，我们引入了ArXivQA，这是一个通过GPT-4V生成的科学图形问答数据集，显著提升了开源LVLMs的数学推理能力，在多模态数学推理基准上实现了10.4%的绝对准确率提升。

🔬 方法详解

问题定义：本文旨在解决大型视觉语言模型在科学领域抽象图形理解能力不足的问题。现有方法在处理学术图形时常出现误解和错误识别，导致生成的描述过于简化。

核心思路：通过构建Multimodal ArXiv数据集，提供丰富的图形与文本配对数据，增强模型对科学图形的理解和推理能力。该设计旨在填补科学领域数据集的空白，提升模型的表现。

技术框架：整体架构包括两个主要模块：ArXivCap数据集用于图形-标题配对，ArXivQA数据集用于基于图形的问答生成。模型通过这两个模块进行训练和评估。

关键创新：最重要的创新在于引入了大规模的科学图形数据集，并通过GPT-4V生成问答数据，显著提升了模型的数学推理能力。这与现有方法的主要区别在于数据的多样性和针对性。

关键设计：在数据集构建中，采用了高质量的图像和标题配对，确保数据的准确性和多样性。同时，针对模型训练，设计了特定的损失函数和评估指标，以优化模型在科学图形理解上的表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用ArXivQA数据集后，开源LVLMs在多模态数学推理基准上实现了10.4%的绝对准确率提升，显示出显著的性能改进。这一结果强调了针对性训练数据在提升模型能力方面的重要性。

🎯 应用场景

该研究的潜在应用领域包括科学教育、科研辅助工具以及数据可视化等。通过提升LVLMs对科学图形的理解能力，可以帮助研究人员更高效地从图形中提取信息，促进科学研究的进展。未来，该数据集和方法有望推动更多领域的多模态学习研究。

📄 摘要（原文）

Large vision-language models (LVLMs) excel across diverse tasks involving concrete images from natural scenes. However, their ability to interpret abstract figures, such as geometry shapes and scientific plots, remains limited due to a scarcity of training datasets in scientific domains. To fill this gap, we introduce Multimodal ArXiv, consisting of ArXivCap and ArXivQA, for enhancing LVLMs scientific comprehension. ArXivCap is a figure-caption dataset comprising 6.4M images and 3.9M captions, sourced from 572K ArXiv papers spanning various scientific domains. Drawing from ArXivCap, we introduce ArXivQA, a question-answering dataset generated by prompting GPT-4V based on scientific figures. ArXivQA greatly enhances open-sourced LVLMs' mathematical reasoning capabilities, achieving a 10.4\% absolute accuracy gain on a multimodal mathematical reasoning benchmark. Furthermore, employing ArXivCap, we devise four vision-to-text tasks for benchmarking LVLMs. Evaluation results with state-of-the-art LVLMs underscore their struggle with the nuanced semantics of academic figures, while domain-specific training yields substantial performance gains. Our error analysis uncovers misinterpretations of visual context, recognition errors, and the production of overly simplified captions by current LVLMs, shedding light on future improvements.