TextMonkey: An OCR-Free Large Multimodal Model for Understanding Document

📄 arXiv: 2403.04473v2 📥 PDF

作者: Yuliang Liu, Biao Yang, Qiang Liu, Zhang Li, Zhiyin Ma, Shuo Zhang, Xiang Bai

分类: cs.CV, cs.AI

发布日期: 2024-03-07 (更新: 2024-03-15)

🔗 代码/项目: GITHUB

💡 一句话要点

提出TextMonkey以解决文档理解中的OCR依赖问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态模型 文档理解 OCR技术 信息提取 文本定位

📋 核心要点

  1. 现有文档理解方法依赖OCR技术，导致在处理复杂文档时效率低下且准确性不足。
  2. TextMonkey通过引入Shifted Window Attention和冗余标记过滤，优化了模型的训练和性能，减少了对OCR的依赖。
  3. 在多个基准测试中，TextMonkey在场景文本、文档导向和关键信息提取任务上均实现了显著的性能提升。

📝 摘要（中文）

我们提出了TextMonkey，一个针对文本中心任务的大型多模态模型（LMM）。该方法在多个维度上进行了增强：通过采用零初始化的Shifted Window Attention，我们在更高输入分辨率下实现了跨窗口连接并稳定了早期训练；我们假设图像可能包含冗余标记，通过使用相似性过滤重要标记，不仅简化了标记长度，还提升了模型性能。此外，通过扩展模型的能力以涵盖文本定位和基础信息，并将位置信息纳入响应中，增强了解释性。模型在12个基准测试上的评估显示出显著改进：在场景文本中心任务上提升5.2%，在文档导向任务上提升6.9%，在关键信息提取任务上提升2.8%。在场景文本定位中表现优异，提升10.9%，并在OCRBench上设立新标准，得分561，超越了以往开源的大型多模态模型。

🔬 方法详解

问题定义：本论文旨在解决文档理解中对OCR技术的依赖问题，现有方法在处理复杂文档时常常面临效率低下和准确性不足的挑战。

核心思路：我们提出的TextMonkey模型通过引入Shifted Window Attention和冗余标记过滤，优化了模型的训练过程，提升了性能，减少了对OCR的依赖。

技术框架：TextMonkey的整体架构包括多个模块，首先通过Shifted Window Attention实现高分辨率输入的跨窗口连接，然后通过相似性过滤重要标记，最后整合文本定位和基础信息以增强模型的解释性。

关键创新：最重要的技术创新在于采用了零初始化的Shifted Window Attention和冗余标记过滤策略，这与现有方法的设计理念有本质区别，后者通常未考虑标记的冗余性。

关键设计：在模型设计中，我们设置了特定的参数以优化训练过程，采用了适应性损失函数来提高模型的学习效率，并在网络结构中引入了新的模块以增强信息的整合能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

TextMonkey在12个基准测试中表现优异，场景文本中心任务提升5.2%，文档导向任务提升6.9%，关键信息提取任务提升2.8%。在场景文本定位中提升10.9%，并在OCRBench上得分561，超越了以往的开源大型多模态模型，设立了新的标准。

🎯 应用场景

TextMonkey的研究成果具有广泛的应用潜力，尤其在文档自动化处理、信息提取和智能问答系统等领域。其高效的文档理解能力能够显著提升企业和机构在信息管理和数据分析方面的效率，未来可能推动相关技术的进一步发展与应用。

📄 摘要（原文）

We present TextMonkey, a large multimodal model (LMM) tailored for text-centric tasks. Our approach introduces enhancement across several dimensions: By adopting Shifted Window Attention with zero-initialization, we achieve cross-window connectivity at higher input resolutions and stabilize early training; We hypothesize that images may contain redundant tokens, and by using similarity to filter out significant tokens, we can not only streamline the token length but also enhance the model's performance. Moreover, by expanding our model's capabilities to encompass text spotting and grounding, and incorporating positional information into responses, we enhance interpretability. It also learns to perform screenshot tasks through finetuning. Evaluation on 12 benchmarks shows notable improvements: 5.2% in Scene Text-Centric tasks (including STVQA, TextVQA, and OCRVQA), 6.9% in Document-Oriented tasks (such as DocVQA, InfoVQA, ChartVQA, DeepForm, Kleister Charity, and WikiTableQuestions), and 2.8% in Key Information Extraction tasks (comprising FUNSD, SROIE, and POIE). It outperforms in scene text spotting with a 10.9\% increase and sets a new standard on OCRBench, a comprehensive benchmark consisting of 29 OCR-related assessments, with a score of 561, surpassing previous open-sourced large multimodal models for document understanding. Code will be released at https://github.com/Yuliang-Liu/Monkey.