DocLLM: A layout-aware generative language model for multimodal document understanding

📄 arXiv: 2401.00908v1 📥 PDF

作者: Dongsheng Wang, Natraj Raman, Mathieu Sibue, Zhiqiang Ma, Petr Babkin, Simerjot Kaur, Yulong Pei, Armineh Nourbakhsh, Xiaomo Liu

分类: cs.CL

发布日期: 2023-12-31

备注: 16 pages, 4 figures

💡 一句话要点

提出DocLLM以解决多模态文档理解中的布局问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态文档理解 生成语言模型 空间布局 文本填充 解耦注意力机制 企业文档处理 智能应用

📋 核心要点

  1. 现有多模态语言模型在处理复杂布局的视觉文档时，往往依赖昂贵的图像编码器，导致效率低下。
  2. DocLLM通过仅使用边界框信息，结合文本语义和空间布局，提供了一种轻量级的解决方案，避免了图像编码的复杂性。
  3. 实验结果表明，DocLLM在16个数据集的14个任务上超越了现有的最先进模型，并在未见过的数据集上也表现出良好的泛化能力。

📝 摘要（中文）

企业文档如表单、发票、收据、报告和合同等，通常在文本和空间模态的交汇处承载丰富的语义。复杂布局提供的视觉线索在有效理解这些文档中起着关键作用。本文提出DocLLM，这是对传统大型语言模型（LLMs）的轻量级扩展，旨在处理视觉文档，考虑文本语义和空间布局。与现有的多模态LLMs不同，DocLLM避免使用昂贵的图像编码器，专注于边界框信息以融入空间布局结构。通过将经典变换器中的注意力机制分解为一组解耦矩阵，捕捉文本与空间模态之间的交叉对齐。此外，我们设计了一种预训练目标，学习填充文本片段，从而应对视觉文档中常见的不规则布局和异构内容。经过大规模指令数据集的微调，我们的解决方案在16个数据集中的14个任务上超越了现有的最先进LLMs，并在5个未见过的数据集中表现良好。

🔬 方法详解

问题定义：本文旨在解决多模态文档理解中，现有方法在处理复杂布局时的效率低下和准确性不足的问题。传统模型依赖昂贵的图像编码器，难以有效捕捉文本和空间信息的交互。

核心思路：DocLLM的核心思想是通过仅利用边界框信息，结合文本语义和空间布局，构建一个轻量级的生成语言模型。这种设计使得模型能够高效地处理视觉文档，而无需复杂的图像处理步骤。

技术框架：DocLLM的整体架构包括文本输入、边界框信息处理和解耦注意力机制。模型首先接收文本和相应的空间布局信息，然后通过解耦的注意力机制捕捉文本与空间模态之间的关系，最后进行文本填充的预训练。

关键创新：DocLLM的主要创新在于其解耦的注意力机制，通过将注意力分解为多个矩阵，能够更好地捕捉文本与空间信息的交互。这一方法与现有多模态模型的设计有本质区别，后者通常依赖于复杂的图像编码。

关键设计：在模型设计中，DocLLM采用了一种新的预训练目标，专注于学习填充文本片段。此外，模型的损失函数和网络结构经过精心设计，以确保在处理不规则布局和异构内容时的鲁棒性。

📊 实验亮点

在实验中，DocLLM在16个不同的数据集上完成了14个任务的性能超越，显示出其在多模态文档理解中的卓越能力。此外，模型在5个未见过的数据集上也展现了良好的泛化性能，证明了其广泛适用性。

🎯 应用场景

DocLLM在企业文档处理、自动化数据录入和智能合同分析等领域具有广泛的应用潜力。其轻量级设计使得在资源受限的环境中也能高效运行，未来可能推动更多基于文档理解的智能应用的发展。

📄 摘要（原文）

Enterprise documents such as forms, invoices, receipts, reports, contracts, and other similar records, often carry rich semantics at the intersection of textual and spatial modalities. The visual cues offered by their complex layouts play a crucial role in comprehending these documents effectively. In this paper, we present DocLLM, a lightweight extension to traditional large language models (LLMs) for reasoning over visual documents, taking into account both textual semantics and spatial layout. Our model differs from existing multimodal LLMs by avoiding expensive image encoders and focuses exclusively on bounding box information to incorporate the spatial layout structure. Specifically, the cross-alignment between text and spatial modalities is captured by decomposing the attention mechanism in classical transformers to a set of disentangled matrices. Furthermore, we devise a pre-training objective that learns to infill text segments. This approach allows us to address irregular layouts and heterogeneous content frequently encountered in visual documents. The pre-trained model is fine-tuned using a large-scale instruction dataset, covering four core document intelligence tasks. We demonstrate that our solution outperforms SotA LLMs on 14 out of 16 datasets across all tasks, and generalizes well to 4 out of 5 previously unseen datasets.