mPLUG-DocOwl 1.5: Unified Structure Learning for OCR-free Document Understanding

📄 arXiv: 2403.12895v1 📥 PDF

作者: Anwen Hu, Haiyang Xu, Jiabo Ye, Ming Yan, Liang Zhang, Bo Zhang, Chen Li, Ji Zhang, Qin Jin, Fei Huang, Jingren Zhou

分类: cs.CV

发布日期: 2024-03-19

备注: 21 pages, 15 figures

🔗 代码/项目: GITHUB

💡 一句话要点

提出统一结构学习以提升无OCR文档理解能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 结构学习 视觉文档理解 多模态大语言模型 文本定位 数据集构建 推理能力 图像处理

📋 核心要点

  1. 现有的多模态大语言模型在文本丰富的文档图像的结构理解能力不足，影响了其在视觉文档理解任务中的表现。
  2. 本文提出统一结构学习，通过结构感知解析和多粒度文本定位任务来增强模型对结构信息的理解能力。
  3. DocOwl 1.5在10个基准测试中表现优异，相较于7B LLM的最先进性能提升超过10个点，显示出显著的效果提升。

📝 摘要（中文）

结构信息对于理解文本丰富的图像（如文档、表格和图表）至关重要。现有的多模态大语言模型（MLLMs）虽然具备文本识别能力，但在文本丰富的文档图像的结构理解上存在不足。本文强调结构信息的重要性，提出统一结构学习（Unified Structure Learning）以提升MLLMs的性能。该方法包括结构感知解析任务和多粒度文本定位任务，涵盖文档、网页、表格、图表和自然图像五个领域。此外，设计了H-Reducer模块以有效编码结构信息，并构建了DocStruct4M训练集和DocReason25K推理调优数据集。最终，DocOwl 1.5在10个视觉文档理解基准上实现了最先进的性能，显著提升了MLLMs的表现。

🔬 方法详解

问题定义：本文旨在解决现有多模态大语言模型在文本丰富文档图像的结构理解能力不足的问题。现有方法虽然具备文本识别功能，但缺乏对结构信息的全面理解，限制了其在复杂文档场景中的应用。

核心思路：提出统一结构学习（Unified Structure Learning），强调结构信息在视觉文档理解中的重要性。通过设计结构感知解析任务和多粒度文本定位任务，增强模型对不同类型文档的理解能力。

技术框架：整体架构包括H-Reducer模块，该模块通过卷积合并水平相邻的特征块，保持布局信息并减少视觉特征的长度，从而提高大语言模型对高分辨率图像的理解效率。

关键创新：最重要的创新在于构建了DocStruct4M训练集和DocReason25K推理调优数据集，支持结构学习和推理能力的提升。这些数据集为模型提供了丰富的结构信息和文本序列，促进了模型的全面学习。

关键设计：H-Reducer模块的设计使得模型能够有效编码结构信息，关键参数设置和损失函数的选择也经过精心调整，以确保模型在不同任务中的表现最优化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

DocOwl 1.5在10个视觉文档理解基准上实现了最先进的性能，相较于7B LLM的基线模型，提升超过10个点，显示出其在结构理解和文本解析方面的显著优势。

🎯 应用场景

该研究的潜在应用领域包括文档自动化处理、信息提取、数据分析等。通过提升模型对文档结构的理解能力，可以在法律、金融、教育等行业中实现更高效的信息处理和决策支持，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Structure information is critical for understanding the semantics of text-rich images, such as documents, tables, and charts. Existing Multimodal Large Language Models (MLLMs) for Visual Document Understanding are equipped with text recognition ability but lack general structure understanding abilities for text-rich document images. In this work, we emphasize the importance of structure information in Visual Document Understanding and propose the Unified Structure Learning to boost the performance of MLLMs. Our Unified Structure Learning comprises structure-aware parsing tasks and multi-grained text localization tasks across 5 domains: document, webpage, table, chart, and natural image. To better encode structure information, we design a simple and effective vision-to-text module H-Reducer, which can not only maintain the layout information but also reduce the length of visual features by merging horizontal adjacent patches through convolution, enabling the LLM to understand high-resolution images more efficiently. Furthermore, by constructing structure-aware text sequences and multi-grained pairs of texts and bounding boxes for publicly available text-rich images, we build a comprehensive training set DocStruct4M to support structure learning. Finally, we construct a small but high-quality reasoning tuning dataset DocReason25K to trigger the detailed explanation ability in the document domain. Our model DocOwl 1.5 achieves state-of-the-art performance on 10 visual document understanding benchmarks, improving the SOTA performance of MLLMs with a 7B LLM by more than 10 points in 5/10 benchmarks. Our codes, models, and datasets are publicly available at https://github.com/X-PLUG/mPLUG-DocOwl/tree/main/DocOwl1.5.