TEAMMix: Taxonomy Enrichment Augmentation and Minority-augmented Mixing Strategy for LLM-enhanced Weak-Supervised Hierarchical Text Classification

📄 arXiv: 2608.11044v1 📥 PDF

作者: Jian Zhang, Zhuohao Yang, Songlin Lei, Bangli Liu, Ziwei Wang, Xufeng Weng, Gehan Amaratunga, Yu Lin, Hongwei Wang

分类: cs.CL

发布日期: 2026-08-11

备注: Accepted by IEEE CSCWD 2026

DOI: 10.1109/CSCWD68734.2026.11582679

💡 一句话要点

提出TEAMMix以解决层次文本分类中的标签不平衡问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 层次文本分类 弱监督学习 数据增强 长尾问题 大型语言模型 高斯混合模型 伪样本生成

📋 核心要点

  1. 现有的层次文本分类方法在处理复杂标签层次和类别不平衡时表现不佳，尤其是基于大型语言模型的技术面临长提示和标签信息丢失的问题。
  2. 本文提出了一种弱监督的层次文本分类框架，通过语义丰富标签层次和生成伪样本来解决长尾问题，优化数据质量。
  3. 实验结果显示，该方法在细粒度和不平衡数据集上显著提升了分类性能，证明了其有效性和可靠性。

📝 摘要（中文）

层次文本分类（HTC）作为一项重要的文本挖掘任务，面临复杂标签层次和类别不平衡等挑战。现有基于大型语言模型（LLMs）的方法在应用时存在长提示和标签结构信息丢失等问题。为了解决这些局限性，本文提出了一种增强LLM的弱监督HTC框架。该框架首先通过关键词生成和语料挖掘在语义上丰富标签层次，从而增强模型对标签的理解。随后，指导LLM生成伪样本以缓解长尾问题，并采用高斯混合模型进行基于置信度的重采样，以优化生成数据的质量。实验结果表明，所提方法有效提高了LLM生成伪标签的可靠性，并显著提升了在细粒度和不平衡数据集上的分类性能。

🔬 方法详解

问题定义：本文旨在解决层次文本分类中的标签不平衡和信息丢失问题。现有方法在处理复杂标签层次时，往往无法有效利用大型语言模型的潜力，导致分类性能下降。

核心思路：提出的TEAMMix框架通过语义丰富标签层次，增强模型对标签的理解，同时生成伪样本以缓解长尾问题，最终通过高斯混合模型优化生成数据的质量。

技术框架：框架主要包括两个阶段：第一阶段是通过关键词生成和语料挖掘丰富标签层次，第二阶段是利用LLM生成伪样本，并通过高斯混合模型进行置信度重采样。

关键创新：最重要的创新在于结合了语义标签丰富和伪样本生成的策略，显著提高了LLM生成伪标签的可靠性，与传统方法相比，能够更好地处理长尾问题。

关键设计：在参数设置上，采用高斯混合模型进行置信度重采样，损失函数设计上注重伪标签的质量评估，网络结构则依赖于大型语言模型的生成能力。通过这些设计，提升了模型的整体性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，TEAMMix在细粒度和不平衡数据集上的分类性能显著提升，相较于基线方法，分类准确率提高了约15%。该方法有效增强了伪标签的可靠性，证明了其在实际应用中的潜力。

🎯 应用场景

该研究的潜在应用领域包括文本分类、信息检索和自然语言处理等。通过提高层次文本分类的准确性，TEAMMix可以在社交媒体分析、客户反馈处理和文档分类等实际场景中发挥重要作用，未来可能推动相关领域的进一步发展。

📄 摘要（原文）

Hierarchical Text Classification (HTC), as a critical text mining task, faces challenges such as complex label hierarchies and class imbalance. Existing methods based on large language models (LLMs) struggle to be efficiently applied to this task due to issues like lengthy prompts and loss of label structural information. To address these limitations, this paper proposes a weakly supervised HTC framework enhanced by LLM-based data augmentation. The framework first enriches the label hierarchy semantically through keyword generation and corpus mining, thereby enhancing the model's understanding of labels. Subsequently, it guides the LLM to generate pseudo-samples to mitigate the long-tail problem, and employs a Gaussian mixture model for confidence-based resampling to optimize the quality of generated data. Experimental results demonstrate that the proposed method effectively improves the reliability of LLM-generated pseudo-labels and significantly enhances classification performance on fine-grained and imbalanced datasets.