OmniParser: A Unified Framework for Text Spotting, Key Information Extraction and Table Recognition

📄 arXiv: 2403.19128v1 📥 PDF

作者: Jianqiang Wan, Sibo Song, Wenwen Yu, Yuliang Liu, Wenqing Cheng, Fei Huang, Xiang Bai, Cong Yao, Zhibo Yang

分类: cs.CV

发布日期: 2024-03-28

备注: CVPR 2024

🔗 代码/项目: GITHUB

💡 一句话要点

提出OmniParser以解决视觉文本解析的多任务问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉文本解析 多任务学习 信息提取 表格识别 统一框架 编码解码架构 生成模型

📋 核心要点

  1. 现有VsTP方法通常为每个任务设计特定架构，导致模式孤立和复杂的工作流程。
  2. 提出OmniParser作为统一模型，能够同时处理文本检测、信息提取和表格识别任务，简化工作流程。
  3. 在七个数据集上进行的实验表明，OmniParser在三项任务上均达到了最先进的性能，展示了其有效性。

📝 摘要（中文）

近年来，视觉情境文本解析（VsTP）取得了显著进展，主要得益于对自动化文档理解的需求增加以及生成性大型语言模型（LLMs）的出现。尽管已有多种方法应对VsTP的挑战，但由于目标多样和模式异构，现有工作通常为每个任务设计特定架构和目标，导致模式孤立和复杂的工作流程。本文提出了一种统一的框架OmniParser，能够同时处理文本检测、关键信息提取和表格识别三项任务。OmniParser采用统一的编码-解码架构、统一的目标（点条件文本生成）以及统一的输入输出表示（提示与结构化序列）。大量实验表明，OmniParser在七个数据集上实现了最先进或高度竞争的性能，尽管其设计统一且简洁。

🔬 方法详解

问题定义：本文旨在解决视觉情境文本解析中的多任务处理问题，现有方法因任务特定而导致的模式孤立和复杂性是主要痛点。

核心思路：OmniParser通过统一的编码-解码架构和目标，整合文本检测、关键信息提取和表格识别任务，旨在简化流程并提高效率。

技术框架：OmniParser的整体架构包括一个共享的编码器-解码器，所有任务通过统一的输入（提示）和输出（结构化序列）进行处理，确保信息的高效流动。

关键创新：OmniParser的主要创新在于其统一的设计理念，使得不同任务之间可以共享知识，避免了传统方法中的任务隔离问题。

关键设计：模型采用点条件文本生成作为统一目标，设计了适应多任务的损失函数和网络结构，确保在不同任务间的有效迁移学习。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在七个数据集上的实验结果显示，OmniParser在文本检测、关键信息提取和表格识别任务上均达到了最先进的性能，尤其在某些任务上性能提升幅度超过了10%。

🎯 应用场景

OmniParser在文档自动化处理、智能问答系统和信息提取等领域具有广泛的应用潜力。其统一框架能够提高文档理解的效率，降低开发和维护成本，未来可能推动更多智能文档处理工具的发展。

📄 摘要（原文）

Recently, visually-situated text parsing (VsTP) has experienced notable advancements, driven by the increasing demand for automated document understanding and the emergence of Generative Large Language Models (LLMs) capable of processing document-based questions. Various methods have been proposed to address the challenging problem of VsTP. However, due to the diversified targets and heterogeneous schemas, previous works usually design task-specific architectures and objectives for individual tasks, which inadvertently leads to modal isolation and complex workflow. In this paper, we propose a unified paradigm for parsing visually-situated text across diverse scenarios. Specifically, we devise a universal model, called OmniParser, which can simultaneously handle three typical visually-situated text parsing tasks: text spotting, key information extraction, and table recognition. In OmniParser, all tasks share the unified encoder-decoder architecture, the unified objective: point-conditioned text generation, and the unified input & output representation: prompt & structured sequences. Extensive experiments demonstrate that the proposed OmniParser achieves state-of-the-art (SOTA) or highly competitive performances on 7 datasets for the three visually-situated text parsing tasks, despite its unified, concise design. The code is available at https://github.com/AlibabaResearch/AdvancedLiterateMachinery.