Joint Training Is Not Enough: Conditioned Cross-Granularity Training for Multimodal Document Understanding
作者: Chengguang Gan, Yunhao Liang, Hanjun Wei, Qinghao Zhang, Shiwen Ni
分类: cs.CL
发布日期: 2026-09-01
💡 一句话要点
提出条件交叉粒度训练以提升多模态文档理解效果
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态文档理解 条件训练 相互强化效应 模型性能提升 数据集实验
📋 核心要点
- 现有的多模态文档理解方法在细粒度和粗粒度任务之间的相互促进效果尚不明确，导致性能提升有限。
- 论文提出条件交叉粒度训练，通过在训练过程中将一种粒度的金标准输出嵌入另一种粒度的提示中，以增强模型的学习效果。
- 实验结果表明，条件训练在CORD和表单数据集上分别提升了0.5点和7.2点，显示出其在多模态文档理解中的有效性。
📝 摘要（中文）
本文探讨了细粒度（跨度级）和粗粒度（文档级）任务在多模态文档理解中的相互强化效应（MRE）。通过对三种数据集的实验，比较了单任务、联合训练和条件训练的效果。研究发现，条件训练在两个数据集上显著提升了性能，而混合训练在主要规模上未能超越单任务模型。本文构建了Doc-MRE注释层，验证了条件训练的有效性，并揭示了不同训练方式对模型性能的影响。
🔬 方法详解
问题定义：本文旨在解决多模态文档理解中细粒度和粗粒度任务之间的相互促进不足的问题。现有的混合训练方法在主要规模上未能超越单任务模型，导致性能提升有限。
核心思路：论文提出的条件交叉粒度训练方法，通过在训练过程中将一种粒度的金标准输出嵌入另一种粒度的提示中，旨在增强模型的学习效果，从而实现更好的任务性能。
技术框架：整体架构包括三个主要阶段：数据准备、模型训练和性能评估。在数据准备阶段，构建Doc-MRE注释层以配对金标准字段提取与文档级特征。在模型训练阶段，采用条件训练策略，评估不同训练方式的效果。在性能评估阶段，通过对比实验验证模型的提升。
关键创新：最重要的技术创新点在于条件训练策略的引入，它通过将细粒度和粗粒度任务的输出相结合，显著提升了模型在多模态文档理解中的表现。这与传统的混合训练方法形成鲜明对比，后者未能在主要规模上实现性能提升。
关键设计：在训练过程中，采用了特定的提示结构来分离内容与格式，确保模型能够有效学习。此外，设计了多种控制实验以验证条件训练的有效性，包括中性内容控制和打乱条件控制，以评估不同训练策略对模型性能的影响。
🖼️ 关键图片
📊 实验亮点
实验结果显示，条件训练在CORD数据集上提升了0.5点，在表单数据集上提升了7.2点，表明该方法在多模态文档理解中具有显著的性能优势。相比之下，混合训练在主要规模上未能超越任何单任务模型，验证了条件训练的有效性。
🎯 应用场景
该研究的潜在应用领域包括智能文档处理、自动化信息提取和商业数据分析等。通过提升多模态文档理解的效果，能够帮助企业更高效地处理和分析文档信息，从而提高决策效率和业务流程的自动化水平。未来，该方法有望在更多实际场景中推广应用，推动相关技术的发展。
📄 摘要（原文）
The Mutual Reinforcement Effect (MRE) asks whether a fine, span-level and a coarse, document-level task help each other when one model handles both. We test it in multimodal document understanding on three corpora, two of receipts and one of scanned business forms, comparing single-task, joint and conditioned training, which puts one granularity's gold output in the other's prompt during training only. We build Doc-MRE, an annotation layer pairing gold field extraction (point) with four document-level facets (line), from a three-judge LLM committee under a pre-registration, validated by blind re-annotation. One predicate, fixed in advance: at a shared recipe, a regime reinforces if it beats the matched single-task model on both granularities. Mixed joint training, the arrangement prior MRE work assumes, reinforces on no corpus at the main scale: it is below both single-task models on CORD and trades one granularity for the other on the two others, as single-task tuning does. Conditioned training reinforces on two of the three, CORD (+0.5 point, +4.8 line) and the forms corpus (+7.2 point, +11.0 line), resolvably on the coarse side and directionally on the fine one, and trades on WildReceipt; at that recipe no alternative measurably beats it on either side anywhere. Two byte-identical-prompt controls separate content from format: shuffled conditioning destroys the coarse-side skill but costs the fine side far less, and a neutral-content control reproduces the whole fine-side gain on WildReceipt, which is therefore prompt structure but buys nothing resolvable on the other two. On the forms corpus conditioning buys collapse avoidance: mixed training and the neutral control both assign the majority semantic label to all 50 test documents; only conditioning recovers the gold distribution. Probes find the information decodable under every regime with no resolvable increase under conditioning.