Building a Multimodal Dataset of Academic Paper for Keyword Extraction
作者: Jingyu Zhang, Xinyi Yan, Yi Xiang, Yingyi Zhang, Chengzhi Zhang
分类: cs.CL, cs.DL, cs.HC, cs.IR
发布日期: 2026-06-30
期刊: ASIST, 2024
DOI: 10.1002/pra2.1040
💡 一句话要点
构建多模态学术论文数据集以提升关键词提取性能
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态数据集 关键词提取 信息融合 学术论文 深度学习
📋 核心要点
- 现有的关键词提取方法主要依赖文本数据，忽略了图像和音频模态的特征，导致信息不足和模型性能受限。
- 本研究提出构建一个包含文本、图像、音频和关键词的多模态数据集，以丰富信息源并提升关键词提取效果。
- 实验结果显示，结合不同模态的文本信息能够显著提高关键词提取的性能，验证了多模态融合的有效性。
📝 摘要（中文）
目前的关键词提取任务通常仅依赖文本数据，忽视了图像和音频模态中的视觉细节和音频特征，导致信息丰富度不足，限制了模型学习数据表示的能力及预测准确性。此外，现有的多模态关键词提取数据集稀缺，进一步阻碍了相关研究的进展。因此，本研究构建了一个包含1000个样本的多模态学术论文数据集，每个样本包含论文文本、图像、音频和关键词。通过无监督和监督的关键词提取方法，实验探讨了不同模态信息对关键词提取任务性能的影响及多模态信息的融合效果。实验结果表明，不同模态的文本在模型中表现出不同特征，论文文本、图像文本和音频文本的拼接能够有效提升学术论文的关键词提取性能。
🔬 方法详解
问题定义：本研究旨在解决现有关键词提取方法仅依赖文本数据的问题，指出忽视图像和音频模态导致的信息不足和模型性能限制。
核心思路：通过构建一个包含多模态信息（文本、图像、音频）的数据集，探索不同模态对关键词提取的影响，旨在提升模型的表现。
技术框架：整体架构包括数据集构建、特征提取和关键词提取三个主要模块。首先，收集并整合学术论文的文本、图像和音频信息；其次，利用无监督和监督方法进行关键词提取；最后，评估不同模态信息的融合效果。
关键创新：本研究的创新点在于首次构建了一个多模态学术论文数据集，并系统性地分析了不同模态对关键词提取的影响，填补了该领域的研究空白。
关键设计：在模型设计中，采用了拼接不同模态文本的方式，并通过实验验证了这种设计在提升关键词提取性能方面的有效性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，结合论文文本、图像文本和音频文本的关键词提取模型，相较于仅使用文本数据的基线模型，性能提升显著，具体提升幅度未知，验证了多模态信息融合的有效性。
🎯 应用场景
该研究的潜在应用领域包括学术搜索引擎、文献管理系统和智能推荐系统等。通过提升关键词提取的准确性，可以帮助研究人员更高效地获取相关文献，促进学术交流与合作，未来可能对学术研究和信息检索领域产生深远影响。
📄 摘要（原文）
Up to this point, keyword extraction task typically relies solely on textual data. Neglecting visual details and audio features from image and audio modalities leads to deficiencies in information richness and overlooks potential correlations, thereby constraining the model's ability to learn representations of the data and the accuracy of model predictions. Furthermore, the currently available multimodal datasets for keyword extraction task are particularly scarce, further hindering the progress of research on multimodal keyword extraction task. Therefore, this study constructs a multimodal dataset of academic paper consisting of 1000 samples, with each sample containing paper text, images, audios and keywords. Based on unsupervised and supervised methods of keyword extraction, experiments are conducted using textual data from papers, as well as text extracted from images and audio. The aim is to investigate the differences in performance in keyword extraction task with respect to different modal information and the fusion of multimodal information. The experimental results indicate that text from different modalities exhibits distinct characteristics in the model. The concatenation of paper text, image text and audio text can effectively enhance the keyword extraction performance of academic papers.