Zero-Shot Topic Classification of Column Headers: Leveraging LLMs for Metadata Enrichment

📄 arXiv: 2403.00884v3 📥 PDF

作者: Margherita Martorana, Tobias Kuhn, Lise Stork, Jacco van Ossenbruggen

分类: cs.DB, cs.AI, cs.IR

发布日期: 2024-03-01 (更新: 2024-09-06)

💡 一句话要点

提出基于LLMs的零样本主题分类方法以支持元数据丰富

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 元数据丰富 主题分类 大型语言模型 零样本学习 语义网 数据检索 自动化注释

📋 核心要点

  1. 现有的数据集检索系统依赖于元数据索引，人工注释的劳动强度大且难以自动化。
  2. 本研究提出了一种利用LLMs生成主题注释的方法，直接将受控词汇集成到输入提示中以进行零样本分类。
  3. 实验结果显示，ChatGPT和GoogleGemini在内部一致性和与人类分类的一致性上表现优于GoogleBard。

📝 摘要（中文）

传统的数据集检索系统依赖于元数据进行索引，而非底层数据值。然而，高质量元数据的创建和丰富通常需要人工注释，这一过程劳动密集且难以自动化。本研究提出了一种利用三种大型语言模型（LLMs）生成主题注释以支持元数据丰富的方法。我们的方法在零样本设置下运行，直接将受控主题词汇集成到输入提示中，旨在改善主题分类任务的结果。实验结果表明，ChatGPT和GoogleGemini在内部一致性和与人类分类的协议方面优于GoogleBard，且上下文信息对LLM性能没有显著影响。

🔬 方法详解

问题定义：本论文旨在解决传统元数据创建和丰富过程中人工注释的高劳动强度和自动化难题。现有方法依赖于人工标注，效率低下且难以扩展。

核心思路：论文提出通过三种大型语言模型（ChatGPT-3.5、GoogleBard和GoogleGemini）生成主题注释，利用受控词汇进行零样本主题分类，从而减少人工干预。

技术框架：整体方法包括三个主要模块：1) 输入提示构建，集成受控词汇；2) LLMs主题分类；3) 结果评估，包括内部一致性和与人类分类的比较。

关键创新：本研究的创新点在于将受控词汇直接集成到输入提示中，形成大上下文窗口的方式，提升了主题分类的准确性和一致性。

关键设计：在实验中，使用了不同的LLMs进行比较，评估了上下文信息对分类结果的影响，发现上下文对LLM性能没有显著影响。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，ChatGPT和GoogleGemini在内部一致性和与人类分类的一致性上均优于GoogleBard，且未发现上下文信息对LLM性能的显著影响。这一发现为LLMs在元数据丰富中的应用提供了新的视角。

🎯 应用场景

该研究的潜在应用领域包括数据集检索系统和语义网，能够通过自动化元数据丰富提高研究数据的可发现性、可访问性、互操作性和可重用性（FAIR原则）。未来，该方法可能在各类数据管理和信息检索系统中得到广泛应用。

📄 摘要（原文）

Traditional dataset retrieval systems rely on metadata for indexing, rather than on the underlying data values. However, high-quality metadata creation and enrichment often require manual annotations, which is a labour-intensive and challenging process to automate. In this study, we propose a method to support metadata enrichment using topic annotations generated by three Large Language Models (LLMs): ChatGPT-3.5, GoogleBard, and GoogleGemini. Our analysis focuses on classifying column headers based on domain-specific topics from the Consortium of European Social Science Data Archives (CESSDA), a Linked Data controlled vocabulary. Our approach operates in a zero-shot setting, integrating the controlled topic vocabulary directly within the input prompt. This integration serves as a Large Context Windows approach, with the aim of improving the results of the topic classification task. We evaluated the performance of the LLMs in terms of internal consistency, inter-machine alignment, and agreement with human classification. Additionally, we investigate the impact of contextual information (i.e., dataset description) on the classification outcomes. Our findings suggest that ChatGPT and GoogleGemini outperform GoogleBard in terms of internal consistency as well as LLM-human-agreement. Interestingly, we found that contextual information had no significant impact on LLM performance. This work proposes a novel approach that leverages LLMs for topic classification of column headers using a controlled vocabulary, presenting a practical application of LLMs and Large Context Windows within the Semantic Web domain. This approach has the potential to facilitate automated metadata enrichment, thereby enhancing dataset retrieval and the Findability, Accessibility, Interoperability, and Reusability (FAIR) of research data on the Web.