VinQA: Visual Elements Interleaved Long-form Answer Generation for Real-World Multimodal Document QA

📄 arXiv: 2606.16092v1 📥 PDF

作者: Young Rok Jang, Hyesoo Kong, Kyunghwan An, Jae Sub Huh, Gyeonghun Kim, Stanley Jungkyu Choi

分类: cs.CV, cs.AI

发布日期: 2026-06-15

备注: Accepted to CVPR 2026. Main paper: 5 figures, 4 tables; includes supplementary material

💡 一句话要点

提出VinQA以解决多模态文档问答中的视觉元素利用不足问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态问答 长文本生成 视觉元素引用 数据集构建 模型微调 评估框架 文档理解

📋 核心要点

  1. 现有多模态文档问答方法主要生成文本响应，未能充分利用文档中的视觉元素，导致信息利用不足。
  2. 提出VinQA数据集，通过将视觉元素与支持文本交织，探索两种编码方法以增强多模态问答能力。
  3. 实验结果显示，经过VinQA训练的模型在视觉引用准确性和答案质量上显著提升，尤其是复杂文档的处理能力。

📝 摘要（中文）

现实世界的文档结合了文本、表格、图表、照片和图示，布局多样。然而，现有的多模态大型语言模型（MLLM）在文档问答中主要生成文本响应，未能充分利用这些视觉元素。我们提出了VinQA，一个用于长文本答案生成的数据集，其中引用的视觉元素与支持文本明确交织，并基于相关文档页面进行定位。为支持这一任务，我们研究了两种编码方法：页面编码和模态编码，并提出了M-GroSE评估框架来评估答案的完整性、相关性、可信度和不可回答性。实验结果表明，尽管现有的前沿模型在VinQA测试集上表现最佳，但对开放的Qwen2.5-VL模型进行微调显著提高了其性能。

🔬 方法详解

问题定义：本论文旨在解决现有多模态文档问答中对视觉元素利用不足的问题。现有方法主要生成文本响应，未能有效整合文档中的视觉信息，导致答案的完整性和准确性受到影响。

核心思路：论文提出VinQA数据集，强调视觉元素与文本的交织，通过两种编码方法（页面编码和模态编码）来增强多模态问答的能力。页面编码直接处理完整页面图像，而模态编码则将文本和视觉元素分开处理，以提高引用的准确性。

技术框架：整体架构包括数据集构建、编码方法选择和多模态评估框架。数据集中的视觉元素与文本相结合，编码方法负责将文档图像转化为可供模型处理的格式，评估框架则用于衡量生成答案的质量。

关键创新：最重要的创新在于提出了VinQA数据集及其编码方法，尤其是模态编码在处理复杂文档时的优势，使得模型能够更好地理解和引用视觉信息。

关键设计：在模型训练中，采用了M-GroSE评估框架，评估答案的完整性、相关性、可信度和不可回答性。此外，Visual Source F1用于直接测量视觉引用的准确性，确保生成的答案在语义上与视觉元素一致。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，经过VinQA训练的Qwen2.5-VL模型在视觉引用准确性和答案质量上显著提升，尤其在复杂文档处理上表现优异。尽管前沿模型在测试集上得分最高，但微调后的模型在多个评估维度上缩小了差距，展示了VinQA的有效性。

🎯 应用场景

该研究的潜在应用领域包括教育、法律文档分析、医疗记录解读等，能够帮助用户更好地理解和提取文档中的关键信息。通过提高多模态问答系统的性能，未来可能推动智能助手和信息检索系统的发展，提升用户体验。

📄 摘要（原文）

Real-world documents combine text with tables, charts, photographs, and diagrams arranged in diverse layouts, yet existing research on multimodal large language models (MLLMs) for document QA predominantly produces text-only responses, underutilizing these visual elements. We introduce VinQA, a dataset for long-form answer generation where cited visual elements are explicitly interleaved with their supporting text and grounded in relevant document pages. To support this task, we study two encoding methods for feeding raw document page images into an MLLM, along with their visual-element citation mechanisms: (1) Page Encoding, which directly encodes full-page images with bounding boxes of visual elements and treats these boxed regions as citable units; and (2) Modality Encoding, which parses each page to extract text and crop visual elements, encodes them separately, and uses these cropped elements as citable units. In our experiments, we propose M-GroSE, a multimodal evaluation framework extending GroUSE to assess answers along four dimensions: completeness, answer relevancy, faithfulness, and unanswerability. We additionally report Visual Source F1 to directly measure visual citation accuracy. Although proprietary frontier models still achieve the best overall scores on the VinQA test split, fine-tuning open Qwen2.5-VL models on the training split substantially improves their performance and narrows this gap. Modality Encoding is initially more robust for complex documents with long text, many visual elements, and diverse citation requirements. After training on VinQA, however, Page Encoding reaches a comparable level, competing effectively even without the explicit parsing used in Modality Encoding. Finally, Visual G-Eval, an MLLM-based judge, confirms that fine-tuned models insert visual elements at semantically appropriate positions with faithful supporting text.