Human Still Wins over LLM: An Empirical Study of Active Learning on Domain-Specific Annotation Tasks

📄 arXiv: 2311.09825v1 📥 PDF

作者: Yuxuan Lu, Bingsheng Yao, Shao Zhang, Yun Wang, Peng Zhang, Tun Lu, Toby Jia-Jun Li, Dakuo Wang

分类: cs.CL

发布日期: 2023-11-16

💡 一句话要点

通过主动学习提升领域特定任务的注释效率

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 主动学习 领域特定任务 小型模型 专家注释 大型语言模型

📋 核心要点

  1. 现有的LLMs在某些任务上声称超越人类，但在需要领域知识的实际任务中表现不佳。
  2. 本文提出通过主动学习（AL）结合小型模型与专家注释，来提升领域特定任务的注释效率。
  3. 实验结果显示，小型模型在数百个标注数据下超越GPT-3.5，并与GPT-4的表现相当，展示了其有效性。

📝 摘要（中文）

大型语言模型（LLMs）在多个领域取得了显著进展，然而在实际任务中，领域知识的需求仍然存在。本文通过实证研究，比较了SOTA LLMs与基于专家注释的小型模型在四个不同领域的数据集上的表现。研究发现，经过主动学习的小型模型在仅有数百个标注数据的情况下，能够超越GPT-3.5，并在性能上与GPT-4相当，尽管其规模小得多。这表明在领域特定任务中，人工专家的注释仍然不可或缺，同时LLM的预测可以作为一种预热方法在实际应用中使用。

🔬 方法详解

问题定义：本文旨在解决在领域特定任务中，LLMs是否能够超越经过专家注释的小型模型的问题。现有方法在需要领域知识的任务中表现不佳，且对专家注释的依赖性较高。

核心思路：通过主动学习（AL）方法，结合小型模型与专家注释，提升模型在领域特定任务中的表现。该设计旨在减少对大量标注数据的需求，同时保持模型的高效性。

技术框架：整体架构包括数据收集、主动学习循环、模型训练与评估等主要模块。首先收集领域特定数据，然后通过主动学习选择最具信息量的样本进行标注，最后训练小型模型并进行性能评估。

关键创新：最重要的技术创新在于通过主动学习有效利用少量标注数据，使小型模型在领域特定任务中表现优于大型LLMs。这一方法与传统依赖大量标注数据的训练方式本质上不同。

关键设计：在模型训练中，采用了特定的损失函数和网络结构，优化了主动学习的选择策略，以确保选择的样本能够最大化提升模型性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，经过主动学习的小型模型在仅有数百个标注数据的情况下，能够超越GPT-3.5，并在性能上与GPT-4相当。这一发现强调了小型模型在领域特定任务中的潜力，尽管其规模小得多，仍能实现高效的学习和应用。

🎯 应用场景

该研究的潜在应用领域包括医疗、法律和金融等需要领域知识的任务。在这些领域中，专家注释的成本高昂，通过主动学习结合小型模型的方式，可以有效降低注释成本，提高模型的实用性和效率。未来，该方法可能会推动更多领域特定任务的自动化和智能化进程。

📄 摘要（原文）

Large Language Models (LLMs) have demonstrated considerable advances, and several claims have been made about their exceeding human performance. However, in real-world tasks, domain knowledge is often required. Low-resource learning methods like Active Learning (AL) have been proposed to tackle the cost of domain expert annotation, raising this question: Can LLMs surpass compact models trained with expert annotations in domain-specific tasks? In this work, we conduct an empirical experiment on four datasets from three different domains comparing SOTA LLMs with small models trained on expert annotations with AL. We found that small models can outperform GPT-3.5 with a few hundreds of labeled data, and they achieve higher or similar performance with GPT-4 despite that they are hundreds time smaller. Based on these findings, we posit that LLM predictions can be used as a warmup method in real-world applications and human experts remain indispensable in tasks involving data annotation driven by domain-specific knowledge.