STENCIL: Submodular Mutual Information Based Weak Supervision for Cold-Start Active Learning

📄 arXiv: 2402.13468v2 📥 PDF

作者: Nathan Beck, Adithya Iyer, Rishabh Iyer

分类: cs.LG, cs.CL

发布日期: 2024-02-21 (更新: 2024-07-12)

备注: 10 pages, 1 figure

💡 一句话要点

提出STENCIL以解决冷启动主动学习中的类不平衡问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 主动学习 类不平衡 弱监督 文本分类 自然语言处理 子模互信息 稀有类别

📋 核心要点

  1. 现有主动学习方法通常忽视类不平衡问题，且依赖初始标注数据或多轮选择，导致稀有类别性能提升缓慢。
  2. STENCIL通过利用文本示例和子模互信息，选择弱标记的稀有类别实例，进而进行强标记，从而优化标注过程。
  3. 在多个文本分类数据集上，STENCIL显著提高了整体准确率和稀有类别的F-1分数，验证了其有效性。

📝 摘要（中文）

随着在自然语言处理应用中对预训练模型的监督微调日益普及，尤其是大型语言模型参数数量的增加，所需的标注数据集也在不断扩大。主动学习作为一种快速挖掘和标注未标记实例以提升模型性能的常用方法，通常忽视类不平衡问题，并假设有初始标注数据或需要多轮选择才能改善稀有类别。本文提出STENCIL，利用一组文本示例和新近提出的子模互信息，选择一组弱标记的稀有类别实例，随后由标注者进行强标记。实验结果表明，STENCIL在多个文本分类数据集上，相较于常见的主动学习方法，整体准确率提高了10%-18%，稀有类别F-1分数提升了17%-40%。

🔬 方法详解

问题定义：本文旨在解决在冷启动主动学习中，类不平衡导致稀有类别标注不足的问题。现有方法往往依赖于初始标注数据，且在选择过程中未能有效提升稀有类别的性能。

核心思路：STENCIL的核心思路是利用一组文本示例和子模互信息，选择弱标记的稀有类别实例，随后通过人工标注进行强标记。这种方法旨在最大化稀有类别的标注效率。

技术框架：STENCIL的整体架构包括数据选择模块和标注模块。首先，通过子模互信息评估文本示例的价值，选择最具代表性的弱标记实例；然后，进行强标记以提升模型的学习效果。

关键创新：STENCIL的主要创新在于引入了子模互信息作为选择标准，能够有效应对类不平衡问题，与传统方法相比，显著提升了稀有类别的标注效率和模型性能。

关键设计：在参数设置上，STENCIL通过优化选择策略，确保选择的实例最大化信息增益。同时，损失函数设计考虑了类不平衡，确保稀有类别的损失权重得到适当提升。

🖼️ 关键图片

fig_0

📊 实验亮点

STENCIL在多个文本分类数据集上的实验结果显示，整体准确率提高了10%-18%，稀有类别F-1分数提升了17%-40%。这些结果相较于传统主动学习方法，展现了显著的性能提升，验证了其在类不平衡冷启动场景中的有效性。

🎯 应用场景

STENCIL的研究成果在文本分类、情感分析等自然语言处理任务中具有广泛的应用潜力，尤其是在数据标注成本高昂的场景下。通过优化稀有类别的标注过程，STENCIL能够帮助提升模型在实际应用中的表现，促进更公平的分类结果。未来，该方法还可以扩展到其他领域，如图像分类和语音识别等，进一步推动主动学习技术的发展。

📄 摘要（原文）

As supervised fine-tuning of pre-trained models within NLP applications increases in popularity, larger corpora of annotated data are required, especially with increasing parameter counts in large language models. Active learning, which attempts to mine and annotate unlabeled instances to improve model performance maximally fast, is a common choice for reducing the annotation cost; however, most methods typically ignore class imbalance and either assume access to initial annotated data or require multiple rounds of active learning selection before improving rare classes. We present STENCIL, which utilizes a set of text exemplars and the recently proposed submodular mutual information to select a set of weakly labeled rare-class instances that are then strongly labeled by an annotator. We show that STENCIL improves overall accuracy by $10\%-18\%$ and rare-class F-1 score by $17\%-40\%$ on multiple text classification datasets over common active learning methods within the class-imbalanced cold-start setting.