"You are an expert annotator": Automatic Best-Worst-Scaling Annotations for Emotion Intensity Modeling

📄 arXiv: 2403.17612v2 📥 PDF

作者: Christopher Bagdon, Prathamesh Karmalker, Harsha Gurulingappa, Roman Klinger

分类: cs.CL

发布日期: 2024-03-26 (更新: 2024-04-22)

备注: accepted for publication in NAACL 2024

💡 一句话要点

提出基于最佳-最差标注的情感强度自动标注方法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 情感分析 自动标注 最佳-最差标注 情感强度预测 机器学习

📋 核心要点

  1. 现有的情感强度标注方法主要集中在分类任务，缺乏对连续标签的自动化处理，导致标注效率低下。
  2. 本文提出了一种基于最佳-最差标注的自动化情感强度预测方法，旨在提高标注的可靠性和准确性。
  3. 实验结果显示，最佳-最差标注方法在情感强度预测中表现出更高的可靠性，微调后的变换器回归模型性能接近人工标注模型。

📝 摘要（中文）

标注语料库是创建新任务或领域模型的瓶颈。尽管大型语言模型在自动标注方法上有所帮助，但情感强度预测等任务需要连续标签的回归标注，现有研究对此尚未涉及。人类在选择评分尺度值时表现不佳，因此比较标注方法（如最佳-最差标注）被提出。本文自动化情感强度预测，并比较直接评分、成对比较和最佳-最差标注，结果表明最佳-最差标注的可靠性最高。经过微调的变换器回归模型在这些数据上的表现几乎与基于人工标注的模型相当。

🔬 方法详解

问题定义：本文旨在解决情感强度预测中的自动标注问题，现有方法在处理连续标签时效率低下，且人类在评分任务中表现不佳。

核心思路：通过引入最佳-最差标注方法，论文希望提高情感强度的标注可靠性，利用大型语言模型进行自动化标注。

技术框架：研究首先自动化情感强度预测，然后比较三种标注方法：直接评分、成对比较和最佳-最差标注，最后评估各方法的可靠性。

关键创新：论文的创新在于首次将最佳-最差标注应用于情感强度的自动化标注中，展示了其在连续标签任务中的优势。

关键设计：研究中使用的变换器回归模型经过微调，采用适当的损失函数和参数设置，以确保模型在情感强度预测中的高效性和准确性。

📊 实验亮点

实验结果表明，最佳-最差标注方法在情感强度预测中表现出最高的可靠性，微调后的变换器回归模型在性能上几乎与基于人工标注的模型持平，显示出显著的提升。

🎯 应用场景

该研究的潜在应用领域包括情感分析、社交媒体监测和人机交互等，能够显著提高情感强度标注的效率和准确性，推动相关领域的研究与应用发展。

📄 摘要（原文）

Labeling corpora constitutes a bottleneck to create models for new tasks or domains. Large language models mitigate the issue with automatic corpus labeling methods, particularly for categorical annotations. Some NLP tasks such as emotion intensity prediction, however, require text regression, but there is no work on automating annotations for continuous label assignments. Regression is considered more challenging than classification: The fact that humans perform worse when tasked to choose values from a rating scale lead to comparative annotation methods, including best-worst scaling. This raises the question if large language model-based annotation methods show similar patterns, namely that they perform worse on rating scale annotation tasks than on comparative annotation tasks. To study this, we automate emotion intensity predictions and compare direct rating scale predictions, pairwise comparisons and best-worst scaling. We find that the latter shows the highest reliability. A transformer regressor fine-tuned on these data performs nearly on par with a model trained on the original manual annotations.