Active Learning for NLP with Large Language Models

📄 arXiv: 2401.07367v1 📥 PDF

作者: Xuesong Wang

分类: cs.CL

发布日期: 2024-01-14

备注: init report

💡 一句话要点

提出混合标注策略以降低NLP任务的人力标注成本

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 主动学习 大型语言模型 自然语言处理 混合标注 样本效率 文本分类 成本降低

📋 核心要点

  1. 现有的NLP任务中，人类标注样本的成本高且效率低，限制了模型的训练和应用。
  2. 本文提出了一种混合标注策略，结合LLMs与人类标注，以提高样本标注的效率和准确性。
  3. 实验结果显示，混合标注策略在多个数据集上实现了与传统人类标注相当或更优的性能，验证了其有效性。

📝 摘要（中文）

人类对训练样本的标注成本高、劳动强度大且具有挑战性，尤其是在自然语言处理（NLP）任务中。为降低标注成本并提高样本效率，本文采用主动学习（AL）技术，利用大型语言模型（LLMs）如GPT-3.5和GPT-4进行样本标注。研究提出了一种基于一致性的策略，选择潜在错误标注的样本进行人类标注，称为混合标注策略。实验结果表明，使用混合标注策略的模型在AG's News和Rotten Tomatoes数据集上表现出与仅使用人类标注相似或更好的效果，显示出LLMs在主动学习中的准确性和成本效率的巨大潜力。

🔬 方法详解

问题定义：本文旨在解决NLP任务中人类标注样本的高成本和低效率问题。现有方法依赖于大量人类标注，导致资源浪费和时间延误。

核心思路：提出混合标注策略，利用大型语言模型（LLMs）进行初步标注，并通过一致性策略选择潜在错误样本进行人类标注，从而减少所需的人力资源。

技术框架：整体流程包括使用LLMs对样本进行初步标注，接着应用一致性策略识别可能错误的标注样本，最后由人类进行确认和修正。

关键创新：最重要的创新在于结合LLMs与人类标注的混合策略，显著降低了标注成本，同时保持了模型的准确性。这一方法与传统的完全依赖人类标注的方式有本质区别。

关键设计：在实验中，采用了三种主动学习查询策略，并在AG's News、TREC-6和Rotten Tomatoes数据集上进行了评估。模型的训练过程中，设置了适当的超参数，以优化混合标注策略的效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，在AG's News和Rotten Tomatoes数据集上，使用混合标注策略的模型与仅使用人类标注的模型相比，达到了相似或更好的性能，验证了该方法在准确性和成本效率上的优势。

🎯 应用场景

该研究的潜在应用领域包括文本分类、情感分析和信息提取等NLP任务。通过降低人力标注成本，研究成果能够加速模型的训练过程，提高NLP技术的普及率和应用效果，未来可能在教育、商业和社交媒体等多个领域产生深远影响。

📄 摘要（原文）

Human annotation of training samples is expensive, laborious, and sometimes challenging, especially for Natural Language Processing (NLP) tasks. To reduce the labeling cost and enhance the sample efficiency, Active Learning (AL) technique can be used to label as few samples as possible to reach a reasonable or similar results. To reduce even more costs and with the significant advances of Large Language Models (LLMs), LLMs can be a good candidate to annotate samples. This work investigates the accuracy and cost of using LLMs (GPT-3.5 and GPT-4) to label samples on 3 different datasets. A consistency-based strategy is proposed to select samples that are potentially incorrectly labeled so that human annotations can be used for those samples in AL settings, and we call it mixed annotation strategy. Then we test performance of AL under two different settings: (1) using human annotations only; (2) using the proposed mixed annotation strategy. The accuracy of AL models under 3 AL query strategies are reported on 3 text classification datasets, i.e., AG's News, TREC-6, and Rotten Tomatoes. On AG's News and Rotten Tomatoes, the models trained with the mixed annotation strategy achieves similar or better results compared to that with human annotations. The method reveals great potentials of LLMs as annotators in terms of accuracy and cost efficiency in active learning settings.