Text Role Classification in Scientific Charts Using Multimodal Transformers

📄 arXiv: 2402.14579v1 📥 PDF

作者: Hye Jin Kim, Nicolas Lell, Ansgar Scherp

分类: cs.CV, cs.CL, cs.LG

发布日期: 2024-02-08

🔗 代码/项目: GITHUB

💡 一句话要点

提出多模态变换器以解决科学图表中的文本角色分类问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 文本角色分类 多模态变换器 科学图表 数据增强 模型微调 布局分析 信息提取

📋 核心要点

  1. 现有方法在科学图表中对文本角色的分类准确性不足，尤其是在数据稀缺的情况下。
  2. 论文提出通过微调LayoutLMv3和UDOP模型，结合文本、图像和布局信息来提升文本角色分类的效果。
  3. 实验结果显示，LayoutLMv3在多个数据集上表现优异，尤其在ICPR22测试集上取得了82.87的F1-macro分数，超越了其他基线模型。

📝 摘要（中文）

文本角色分类涉及对科学图表中文本元素的语义角色进行分类。为此，我们提出对两个预训练的多模态文档布局分析模型LayoutLMv3和UDOP进行微调，利用文本、图像和布局三种模态作为输入。我们进一步探讨数据增强和平衡方法对模型性能的帮助。模型在多个图表数据集上进行评估，结果表明LayoutLMv3在所有实验中均优于UDOP，并在ICPR22测试数据集上获得82.87的最高F1-macro分数，超越了ICPR22 CHART-Infographics挑战赛中的最佳模型。此外，模型在合成噪声数据集ICPR22-N上的鲁棒性也得到了测试。最后，我们在三个图表数据集CHIME-R、DeGruyter和EconBiz上评估了模型的泛化能力，并为文本角色添加了标签。研究发现，即使在训练数据有限的情况下，借助数据增强和平衡方法，变换器仍可有效使用。

🔬 方法详解

问题定义：本研究旨在解决科学图表中文本角色分类的挑战，现有方法在处理复杂图表布局时表现不佳，尤其是在数据量有限的情况下。

核心思路：通过微调两个预训练的多模态变换器模型LayoutLMv3和UDOP，利用文本、图像和布局信息的结合，提升分类的准确性和鲁棒性。

技术框架：整体架构包括数据预处理、模型微调、性能评估等阶段。首先，对图表数据进行标注和增强，然后将其输入到变换器模型中进行训练，最后在多个数据集上进行评估。

关键创新：最重要的创新在于结合了多模态信息（文本、图像、布局）进行文本角色分类，显著提高了模型在复杂图表中的表现，与传统单模态方法相比具有本质区别。

关键设计：在模型微调过程中，采用了特定的损失函数和参数设置，以优化模型在不同数据集上的表现，同时引入数据增强和平衡策略以应对数据稀缺问题。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，LayoutLMv3在ICPR22测试数据集上取得了82.87的F1-macro分数，超越了ICPR22 CHART-Infographics挑战赛中的最佳模型。此外，模型在合成噪声数据集上的鲁棒性测试也表明其在复杂环境下的有效性，展示了数据增强和平衡方法的积极效果。

🎯 应用场景

该研究的潜在应用领域包括科学出版、数据可视化和信息提取等。通过提高科学图表中信息的可读性和可解析性，可以帮助研究人员更有效地获取和理解数据，从而推动科学研究的进展。未来，该方法也可能扩展到其他类型的文档分析任务中。

📄 摘要（原文）

Text role classification involves classifying the semantic role of textual elements within scientific charts. For this task, we propose to finetune two pretrained multimodal document layout analysis models, LayoutLMv3 and UDOP, on chart datasets. The transformers utilize the three modalities of text, image, and layout as input. We further investigate whether data augmentation and balancing methods help the performance of the models. The models are evaluated on various chart datasets, and results show that LayoutLMv3 outperforms UDOP in all experiments. LayoutLMv3 achieves the highest F1-macro score of 82.87 on the ICPR22 test dataset, beating the best-performing model from the ICPR22 CHART-Infographics challenge. Moreover, the robustness of the models is tested on a synthetic noisy dataset ICPR22-N. Finally, the generalizability of the models is evaluated on three chart datasets, CHIME-R, DeGruyter, and EconBiz, for which we added labels for the text roles. Findings indicate that even in cases where there is limited training data, transformers can be used with the help of data augmentation and balancing methods. The source code and datasets are available on GitHub under https://github.com/hjkimk/text-role-classification