Learning Label Hierarchy with Supervised Contrastive Learning

📄 arXiv: 2402.00232v1 📥 PDF

作者: Ruixue Lian, William A. Sethares, Junjie Hu

分类: cs.LG, cs.AI

发布日期: 2024-01-31

💡 一句话要点

提出标签感知对比学习方法以解决标签层次问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 监督对比学习 标签层次 特征表示 文本分类 多标签学习

📋 核心要点

  1. 现有的监督对比学习方法将所有类别视为独立，未能考虑标签层次结构，导致特征表示不够有效。
  2. 本文提出的LASCL方法通过引入标签层次信息，调整实例间距离，增强了特征空间的结构性和可区分性。
  3. 在三个数据集上的实验结果显示，LASCL在多标签文本分类任务中表现优异，超越了传统的监督学习方法。

📝 摘要（中文）

监督对比学习(SCL)框架将每个类别视为独立，忽视了标签层次的常见场景。本文提出了一系列标签感知的SCL方法(LASCL)，通过利用类别之间的相似性，将层次信息融入SCL，从而创建更结构化和可区分的特征空间。该方法通过调整实例间的距离和引入实例中心对比，提升了类内聚合度和类间分离度。实验表明，LASCL在多标签文本分类任务中优于基线监督方法。代码已公开。

🔬 方法详解

问题定义：本文旨在解决现有监督对比学习方法在处理具有层次结构的标签时的不足，尤其是未能有效利用类别间相似性的问题。

核心思路：LASCL通过引入标签层次信息，调整实例间的距离，并通过实例中心对比方法提升类内样本的聚合度，从而优化特征表示。

技术框架：该方法包括两个主要模块：首先是基于类别相似性调整的实例间对比，其次是实例中心对比，通过这两个模块共同作用，提升特征空间的结构性。

关键创新：LASCL的核心创新在于引入了标签参数作为中心，允许直接用于最近邻分类器，避免了额外的微调步骤，这与传统方法形成了鲜明对比。

关键设计：在损失函数设计上，LASCL结合了实例间对比和实例中心对比，确保了类内样本的紧凑性和类间样本的分离性，同时使用可学习的标签参数来表示类别中心。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LASCL在三个数据集上的表现显著优于基线监督方法，尤其在多标签文本分类任务中，提升幅度达到XX%，展示了其在处理标签层次结构方面的有效性。

🎯 应用场景

该研究在多标签文本分类、图像分类等领域具有广泛的应用潜力。通过更好地利用标签层次信息，LASCL能够提高分类模型的准确性和效率，未来可扩展到更复杂的多模态学习任务中。

📄 摘要（原文）

Supervised contrastive learning (SCL) frameworks treat each class as independent and thus consider all classes to be equally important. This neglects the common scenario in which label hierarchy exists, where fine-grained classes under the same category show more similarity than very different ones. This paper introduces a family of Label-Aware SCL methods (LASCL) that incorporates hierarchical information to SCL by leveraging similarities between classes, resulting in creating a more well-structured and discriminative feature space. This is achieved by first adjusting the distance between instances based on measures of the proximity of their classes with the scaled instance-instance-wise contrastive. An additional instance-center-wise contrastive is introduced to move within-class examples closer to their centers, which are represented by a set of learnable label parameters. The learned label parameters can be directly used as a nearest neighbor classifier without further finetuning. In this way, a better feature representation is generated with improvements of intra-cluster compactness and inter-cluster separation. Experiments on three datasets show that the proposed LASCL works well on text classification of distinguishing a single label among multi-labels, outperforming the baseline supervised approaches. Our code is publicly available.