Multi-Modal Vision vs. Text-Based Parsing: Benchmarking LLM Strategies for Invoice Processing

📄 arXiv: 2509.04469v1 📥 PDF

作者: David Berghaus, Armin Berger, Lars Hillebrand, Kostadin Cvejoski, Rafet Sifa

分类: cs.CL, cs.AI

发布日期: 2025-08-29

💡 一句话要点

基于多模态视觉的发票处理策略比较研究

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态处理 发票解析 大型语言模型 图像处理 结构化解析

📋 核心要点

  1. 现有的发票处理方法在处理多模态数据时面临性能不均和效率低下的问题。
  2. 论文提出了一种基于多模态能力的直接图像处理方法，旨在提高发票解析的准确性和效率。
  3. 实验结果表明，原生图像处理在大多数情况下优于结构化解析，且不同模型的表现差异明显。

📝 摘要（中文）

本文对三种家族的八种多模态大型语言模型（GPT-5、Gemini 2.5 和开源的 Gemma 3）在三种不同的公开发票文档数据集上进行了基准测试，采用零-shot 提示。我们比较了两种处理策略：直接使用多模态能力进行图像处理和先将文档转换为 Markdown 的结构化解析方法。结果显示，原生图像处理通常优于结构化方法，且性能因模型类型和文档特征而异。本基准为选择适当的模型和处理策略提供了见解，代码已在线发布。

🔬 方法详解

问题定义：本文旨在解决现有发票处理方法在多模态数据解析中的性能不足，尤其是在图像处理与结构化解析之间的选择困境。现有方法往往依赖于将文档转换为结构化格式，导致信息损失和处理效率低下。

核心思路：论文的核心思路是利用多模态大型语言模型的图像处理能力，直接解析发票图像，而不是先进行格式转换。这样的设计旨在保留更多的原始信息，提高解析的准确性和效率。

技术框架：整体架构包括数据集选择、模型训练与评估、以及性能比较三个主要阶段。首先，选择三种不同的公开发票数据集进行测试；其次，使用不同的多模态模型进行解析；最后，比较直接图像处理与结构化解析的效果。

关键创新：最重要的技术创新在于直接使用多模态模型进行图像解析，而不是依赖传统的结构化方法。这一方法在性能上展现出显著优势，尤其是在处理复杂文档时。

关键设计：在模型选择上，本文使用了GPT-5、Gemini 2.5和Gemma 3等多种模型，并通过零-shot提示进行测试。关键参数设置包括图像输入的预处理方式和模型的超参数调整，以优化解析效果。具体的损失函数和网络结构细节在代码中提供。

📊 实验亮点

实验结果显示，原生图像处理方法在大多数情况下优于结构化解析，尤其在复杂文档上表现更为突出。不同模型的性能差异明显，提供了选择合适模型的依据。具体性能数据未提供，需参考在线代码获取。

🎯 应用场景

该研究的潜在应用领域包括自动化文档处理、财务审计和企业资源管理等。通过提高发票解析的准确性和效率，能够显著降低人工成本，提升企业运营效率。未来，该方法还可扩展到其他类型的文档解析任务中，具有广泛的实际价值。

📄 摘要（原文）

This paper benchmarks eight multi-modal large language models from three families (GPT-5, Gemini 2.5, and open-source Gemma 3) on three diverse openly available invoice document datasets using zero-shot prompting. We compare two processing strategies: direct image processing using multi-modal capabilities and a structured parsing approach converting documents to markdown first. Results show native image processing generally outperforms structured approaches, with performance varying across model types and document characteristics. This benchmark provides insights for selecting appropriate models and processing strategies for automated document systems. Our code is available online.