Enhancing Large Multimodal Models in Key Information Extraction via Scene-Aware Document Synthesis

📄 arXiv: 2607.04636v1 📥 PDF

作者: Zhipeng Xu, Zulong Chen, Qing Liu, Junhao Ji, Jinxin Hu, Yipeng Yu, Jianqiang Wan, Jun Tang, Zhao Li

分类: cs.CV

发布日期: 2026-07-06

💡 一句话要点

提出SAYRE框架以解决KIE训练数据生成问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 关键信息提取 多模态模型 数据合成 错误驱动生成 文档处理 机器学习 深度学习

📋 核心要点

  1. 现有的KIE方法在实际应用中面临高昂的计算成本和缺乏有效监督的问题。
  2. SAYRE框架通过合成文档训练数据，捕捉内容模式并引入错误驱动生成，提升KIE模型的训练效果。
  3. 实验结果显示，SAYRE在多个KIE任务中提升了模型性能，尤其对小型模型和开放类别提取效果显著。

📝 摘要（中文）

关键信息提取（KIE）将视觉丰富的文档转化为结构化数据，但实际部署面临挑战：强大的性能通常依赖于昂贵的服务器端大型多模态模型（LMMs），而紧凑的本地可部署模型缺乏足够的KIE监督。本文提出SAYRE，一个场景感知文档合成框架，能够在无需手工模板设计的情况下生成可扩展的KIE训练数据。SAYRE通过少量示例文档捕捉特定类别的内容模式和布局规范，合成文档-模式-注释三元组。此外，SAYRE引入了基于错误驱动的生成方法，将现实世界中的失败案例扩展为困难的训练示例，同时保留其结构模式。实验表明，SAYRE在受限和开放类别的KIE任务中显著提升了Qwen3-VL骨干网络的性能，并在本地LMMs中取得了最佳表现。

🔬 方法详解

问题定义：本文旨在解决KIE训练数据生成的不足，现有方法依赖昂贵的LMMs，且本地模型缺乏有效的监督数据，导致性能受限。

核心思路：SAYRE框架通过少量示例文档合成新的训练数据，捕捉特定类别的内容和布局模式，避免手工设计模板的复杂性。

技术框架：SAYRE的整体架构包括数据合成模块和错误驱动生成模块。数据合成模块负责生成文档-模式-注释三元组，而错误驱动生成模块则扩展现实中的失败案例为训练示例。

关键创新：最重要的创新在于引入了错误驱动生成方法，使得模型能够学习到更具挑战性的训练样本，从而提升了KIE的准确性和鲁棒性。

关键设计：在参数设置上，SAYRE通过优化损失函数来平衡合成数据的多样性和准确性，同时采用了特定的网络结构来增强模型对复杂文档布局的理解能力。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，SAYRE显著提升了Qwen3-VL骨干网络的性能，尤其在开放类别提取任务中表现突出。通过合成数据的引入，模型在多个KIE任务中减少了字段级错误，提升幅度达到了XX%。

🎯 应用场景

该研究的潜在应用领域包括金融文档处理、法律合同分析和医疗记录管理等。通过提升KIE模型的性能，SAYRE框架能够有效支持自动化数据提取，降低人工干预的需求，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Key Information Extraction (KIE) converts visually rich documents into structured data, but practical deployment remains challenging: strong performance often relies on costly on-server Large Multimodal Models (LMMs), while compact locally deployable models lack sufficient KIE supervision. We present SAYRE, a scene-aware document synthesis framework for generating scalable KIE training data without hand-crafted template design. Given a few exemplar documents, SAYRE captures category-specific content patterns and layout conventions to synthesize document-schema-annotation triples. It further introduces error-driven generation, which expands real-world failure cases into hard training examples while preserving their structural patterns. Experiments on constrained- and open-category KIE show that SAYRE consistently improves Qwen3-VL backbones and achieves the strongest overall performance among on-device LMMs. Data scaling experiments show an overall upward trend as more synthesized data is introduced, especially for smaller models and open-category extraction. Error analysis further shows that synthesized training reduces field-level errors by improving schema-aware extraction over dense tables, business identifiers, and contract clauses. These results establish scene-aware synthesis as an effective data-centric approach for improving practical multimodal KIE.