ETDPC: A Multimodality Framework for Classifying Pages in Electronic Theses and Dissertations

📄 arXiv: 2311.04262v1 📥 PDF

作者: Muntabir Hasan Choudhury, Lamia Salsabil, William A. Ingram, Edward A. Fox, Jian Wu

分类: cs.CV, cs.AI, cs.DL, cs.LG

发布日期: 2023-11-07

备注: 10 pages, 3 figures, accepted to Innovative Applications of Artificial Intelligence (IAAI-24)

🔗 代码/项目: GITHUB

💡 一句话要点

提出ETDPC框架以解决电子论文页面分类问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 电子论文 学位论文 页面分类 多模态模型 交叉注意力 数据增强 分层分类器

📋 核心要点

  1. 现有文档页面分类方法主要针对一般文档，无法有效处理电子论文和学位论文（ETDs），导致分类性能不足。
  2. 本文提出ETDPC框架，采用双流多模态模型和交叉注意力网络，能够将ETD页面分类为13个类别，并通过数据增强和分层分类器解决样本不平衡问题。
  3. ETDPC在所有类别上均优于现有模型，9个类别的F1值达到0.84至0.96，展示了其数据效率和分类性能的显著提升。

📝 摘要（中文）

电子论文和学位论文（ETDs）已被提出和生成超过25年，尽管它们由商业或机构数字图书馆存储，但仍然是一个未被充分研究的学术大数据类型。由于ETDs通常比会议论文和期刊文章更长，因此对其进行分段将有助于研究人员研究各部分内容。现有的文档页面分类框架主要针对一般文档，无法有效处理ETDs。本文提出了ETDPC，一个基于双流多模态模型和交叉注意力网络的框架，能够将ETD页面分类为13个类别。为了解决标记样本不平衡的问题，我们对少数类别进行了数据增强，并采用了分层分类器。ETDPC在所有类别上均优于现有最先进模型，9个类别的F1值达到了0.84至0.96。

🔬 方法详解

问题定义：本文旨在解决电子论文和学位论文（ETDs）页面分类的挑战。现有方法在处理ETDs时表现不佳，主要由于其长度和内容复杂性导致的样本不平衡问题。

核心思路：ETDPC框架通过引入双流多模态模型和交叉注意力机制，结合视觉和文本信息，提升了对ETD页面的分类能力。该设计旨在充分利用不同模态的信息，增强模型的理解能力。

技术框架：ETDPC的整体架构包括两个主要模块：一个用于处理文本信息的流和一个用于处理视觉信息的流。通过交叉注意力网络，这两个流能够有效地融合信息，从而实现更准确的分类。

关键创新：ETDPC的核心创新在于其双流多模态设计和交叉注意力机制，这与现有方法的单一模态处理方式形成了鲜明对比，显著提升了分类性能。

关键设计：在模型设计中，采用了数据增强技术来平衡样本类别，并使用分层分类器来进一步提高分类精度。模型的损失函数经过精心设计，以适应多模态输入的特点。具体的网络结构和参数设置在论文中有详细说明。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ETDPC在所有13个类别的分类任务中均优于现有最先进模型，特别是在9个类别中，F1值达到了0.84至0.96，显示出其在处理电子论文页面分类中的卓越性能和数据效率。

🎯 应用场景

该研究的潜在应用领域包括学术研究、数字图书馆管理和信息检索等。通过有效分类ETD页面，研究人员可以更方便地访问和分析长文档中的特定内容，从而提高研究效率。此外，该框架的设计理念也可推广至其他类型的长文档处理，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Electronic theses and dissertations (ETDs) have been proposed, advocated, and generated for more than 25 years. Although ETDs are hosted by commercial or institutional digital library repositories, they are still an understudied type of scholarly big data, partially because they are usually longer than conference proceedings and journals. Segmenting ETDs will allow researchers to study sectional content. Readers can navigate to particular pages of interest, discover, and explore the content buried in these long documents. Most existing frameworks on document page classification are designed for classifying general documents and perform poorly on ETDs. In this paper, we propose ETDPC. Its backbone is a two-stream multimodal model with a cross-attention network to classify ETD pages into 13 categories. To overcome the challenge of imbalanced labeled samples, we augmented data for minority categories and employed a hierarchical classifier. ETDPC outperforms the state-of-the-art models in all categories, achieving an F1 of 0.84 -- 0.96 for 9 out of 13 categories. We also demonstrated its data efficiency. The code and data can be found on GitHub (https://github.com/lamps-lab/ETDMiner/tree/master/etd_segmentation).