Efficient End-to-End Visual Document Understanding with Rationale Distillation

📄 arXiv: 2311.09612v2 📥 PDF

作者: Wang Zhu, Alekh Agarwal, Mandar Joshi, Robin Jia, Jesse Thomason, Kristina Toutanova

分类: cs.CV, cs.CL

发布日期: 2023-11-16 (更新: 2024-04-02)

备注: Accepted by NAACL 2024

💡 一句话要点

提出Rationale Distillation以解决视觉文档理解问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉文档理解 推理蒸馏 小型模型 多模态学习 OCR技术

📋 核心要点

  1. 现有的视觉文档理解方法依赖于复杂的OCR和大型语言模型，导致计算和工程复杂性高。
  2. 本文提出Rationale Distillation（RD），通过利用OCR和LLMs的输出作为中间推理，训练小型模型进行理解。
  3. 在三个视觉文档理解基准上，RD微调的Pix2Struct模型在准确率上提升4-5%，计算成本仅增加1%。

📝 摘要（中文）

理解视觉语言需要解析复杂的文本和视觉元素布局。现有方法依赖于光学字符识别（OCR）和大型语言模型（LLMs），但其计算和工程复杂性较高。本文提出Rationale Distillation（RD），通过将OCR工具、LLMs和更大多模态模型的输出作为中间“推理”，训练一个小型学生模型以预测推理和答案。在三个视觉文档理解基准上，经过RD微调的Pix2Struct（282M参数）学生模型在准确率上超越基础模型4-5%，且仅增加1%的计算成本。

🔬 方法详解

问题定义：本文旨在解决视觉文档理解中的高计算和工程复杂性问题。现有方法依赖于OCR和大型语言模型，导致效率低下和资源消耗大。

核心思路：提出Rationale Distillation（RD）方法，通过将OCR工具、LLMs和大型多模态模型的输出作为中间推理，训练一个小型学生模型，使其能够有效理解视觉文档。

技术框架：整体架构包括三个主要模块：OCR工具用于文本识别，LLMs用于推理，最后通过RD训练小型Pix2Struct模型进行最终理解。

关键创新：RD的核心创新在于利用中间推理输出作为训练信号，使得小型模型能够在较低计算成本下实现高效的视觉文档理解，区别于传统方法的直接依赖大型模型。

关键设计：在模型设计中，采用了特定的损失函数来平衡推理输出与实际答案的预测，同时优化了网络结构以适应小型模型的训练需求。该设计确保了模型在保持高准确率的同时，计算成本得以控制。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，经过Rationale Distillation微调的Pix2Struct模型在三个视觉文档理解基准上，准确率提升了4-5%，而计算成本仅增加了1%。这一显著提升展示了小型模型在视觉理解任务中的潜力。

🎯 应用场景

该研究的潜在应用领域包括文档自动化处理、信息提取和智能搜索等。通过提高视觉文档理解的效率，能够在教育、法律、医疗等多个行业中实现更高效的信息管理和决策支持，未来可能推动相关领域的智能化进程。

📄 摘要（原文）

Understanding visually situated language requires interpreting complex layouts of textual and visual elements. Pre-processing tools, such as optical character recognition (OCR), can map document image inputs to textual tokens, then large language models (LLMs) can reason over text. However, such methods have high computational and engineering complexity. Can small pretrained image-to-text models accurately understand visual documents through similar recognition and reasoning steps instead? We propose Rationale Distillation (RD), which incorporates the outputs of OCR tools, LLMs, and larger multimodal models as intermediate "rationales", and trains a small student model to predict both rationales and answers. On three visual document understanding benchmarks representing infographics, scanned documents, and figures, our Pix2Struct (282M parameters) student model finetuned with RD outperforms the base model by 4-5% absolute accuracy with only 1% higher computational cost.