TELEClass: Taxonomy Enrichment and LLM-Enhanced Hierarchical Text Classification with Minimal Supervision

📄 arXiv: 2403.00165v3 📥 PDF

作者: Yunyi Zhang, Ruozhen Yang, Xueqiang Xu, Rui Li, Jinfeng Xiao, Jiaming Shen, Jiawei Han

分类: cs.CL, cs.LG

发布日期: 2024-02-29 (更新: 2025-02-05)

备注: Accepted to WWW 2025 Research Track

💡 一句话要点

提出TELEClass以解决层次文本分类中的监督不足问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 层次文本分类 弱监督学习 大型语言模型 分类法丰富 文本挖掘

📋 核心要点

  1. 现有方法在层次文本分类中依赖大量人工标注数据，获取成本高且耗时，限制了其应用。
  2. TELEClass通过仅使用类名作为监督，结合LLM和未标注语料中的特征，自动丰富分类法以提升分类效果。
  3. 实验结果显示TELEClass在多个基准上显著优于传统方法，并在推理成本上实现了显著降低。

📝 摘要（中文）

层次文本分类旨在将文档归类到标签分类法中的一组类别，这是一个基本的网络文本挖掘任务，广泛应用于网络内容分析和语义索引。以往的研究多集中于全监督或半监督方法，需大量人工标注数据，成本高且耗时。为减轻人力负担，本文提出TELEClass，利用每个节点的类名作为唯一监督，结合大型语言模型（LLM）和从未标注语料中挖掘的任务特征，自动丰富原始分类法。实验表明，TELEClass在显著超越先前基线的同时，推理成本大幅降低，性能与LLM的零-shot提示相当。

🔬 方法详解

问题定义：本文解决的是层次文本分类中对大量人工标注数据的依赖问题。现有方法往往忽视了未标注语料中的潜在信息，导致分类效果受限。

核心思路：TELEClass的核心思路是利用每个节点的类名作为唯一监督，结合LLM的知识和未标注文本中的特征，自动丰富分类法，从而提升分类性能。

技术框架：TELEClass的整体架构包括三个主要模块：1) 分类法丰富模块，自动从未标注语料中提取类指示特征；2) LLM数据注释模块，生成层次结构下的标注；3) 分类模型训练模块，基于丰富的分类法进行训练。

关键创新：TELEClass的主要创新在于将LLM与未标注语料结合，自动丰富分类法，克服了传统方法对人工标注的依赖，提升了层次文本分类的效果。

关键设计：在模型设计中，TELEClass采用了特定的损失函数以适应层次结构，利用LLM生成的特征进行训练，同时优化了推理过程以降低计算成本。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，TELEClass在多个基准数据集上显著超越了传统的弱监督方法，分类准确率提升幅度达到XX%，并且在推理成本上降低了YY%，显示出其在实际应用中的高效性和可行性。

🎯 应用场景

TELEClass的研究成果在多个领域具有广泛的应用潜力，包括网络内容分析、信息检索、社交媒体监测等。通过减少对人工标注的依赖，该方法可以加速文本分类任务的实施，提升信息处理的效率，具有重要的实际价值和未来影响。

📄 摘要（原文）

Hierarchical text classification aims to categorize each document into a set of classes in a label taxonomy, which is a fundamental web text mining task with broad applications such as web content analysis and semantic indexing. Most earlier works focus on fully or semi-supervised methods that require a large amount of human annotated data which is costly and time-consuming to acquire. To alleviate human efforts, in this paper, we work on hierarchical text classification with a minimal amount of supervision: using the sole class name of each node as the only supervision. Recently, large language models (LLM) have shown competitive performance on various tasks through zero-shot prompting, but this method performs poorly in the hierarchical setting because it is ineffective to include the large and structured label space in a prompt. On the other hand, previous weakly-supervised hierarchical text classification methods only utilize the raw taxonomy skeleton and ignore the rich information hidden in the text corpus that can serve as additional class-indicative features. To tackle the above challenges, we propose TELEClass, Taxonomy Enrichment and LLM-Enhanced weakly-supervised hierarchical text Classification, which combines the general knowledge of LLMs and task-specific features mined from an unlabeled corpus. TELEClass automatically enriches the raw taxonomy with class-indicative features for better label space understanding and utilizes novel LLM-based data annotation and generation methods specifically tailored for the hierarchical setting. Experiments show that TELEClass can significantly outperform previous baselines while achieving comparable performance to zero-shot prompting of LLMs with drastically less inference cost.