Are Large Language Models Reliable Argument Quality Annotators?

📄 arXiv: 2404.09696v1 📥 PDF

作者: Nailia Mirzakhmedova, Marcel Gohsen, Chia Hao Chang, Benno Stein

分类: cs.CL, cs.AI, cs.ET

发布日期: 2024-04-15

备注: 18 pages, 5 figures, 5 tables

💡 一句话要点

利用大型语言模型提升论证质量评估的可靠性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 论证质量评估 大型语言模型 自动化评估 注释一致性 机器学习

📋 核心要点

  1. 论证质量评估面临的主要挑战是获取一致且可靠的注释，尤其是需要领域专家的参与。
  2. 本文提出利用大型语言模型作为论证质量的注释者，通过分析其与人类注释者的协议来验证其有效性。
  3. 研究结果表明，LLMs能够提供一致的注释，并且在大多数质量维度上与人类专家的协议度较高，显著提升了注释一致性。

📝 摘要（中文）

评估论证质量是论证挖掘系统中的关键环节，但获取可靠且一致的注释通常需要领域专家的专业知识。即使是专家，论证质量的评估也常因任务的主观性而不一致。本文研究了使用先进的大型语言模型（LLMs）作为论证质量注释者的潜力。通过分析模型与人类专家及新手注释者之间的协议，发现LLMs在大多数质量维度上与人类专家的注释一致性较高，且作为额外注释者时，能显著提高注释者之间的协议。这表明LLMs可以作为自动化论证质量评估的有价值工具，从而加速大规模论证数据集的评估。

🔬 方法详解

问题定义：本文解决的问题是如何在论证质量评估中获取一致且可靠的注释，现有方法依赖于领域专家，导致注释的主观性和不一致性。

核心思路：论文的核心思路是利用大型语言模型（LLMs）作为论证质量的注释者，通过分析其与人类专家和新手之间的协议来评估其能力。这样的设计旨在减少对领域专家的依赖，同时提高注释的一致性和效率。

技术框架：整体架构包括三个主要模块：首先，使用LLMs生成论证质量的注释；其次，与人类专家和新手的注释进行比较；最后，基于既定的论证质量维度进行一致性分析。

关键创新：最重要的技术创新点在于将LLMs引入论证质量评估领域，展示了其在提供一致性注释方面的潜力，与传统依赖人类专家的评估方法形成鲜明对比。

关键设计：在实验中，设置了多个论证质量维度，并使用标准化的注释协议来评估LLMs的表现，确保注释的一致性和可靠性。

📊 实验亮点

实验结果显示，LLMs在大多数论证质量维度上与人类专家的注释一致性达到了中等偏高的水平，且作为额外注释者时，显著提高了注释者之间的协议度，表明其在自动化论证质量评估中的有效性。

🎯 应用场景

该研究的潜在应用领域包括法律、教育和公共政策等需要论证质量评估的场景。通过引入LLMs，能够有效减少人工注释的工作量，提高评估的效率和一致性，未来可能推动相关领域的自动化进程。

📄 摘要（原文）

Evaluating the quality of arguments is a crucial aspect of any system leveraging argument mining. However, it is a challenge to obtain reliable and consistent annotations regarding argument quality, as this usually requires domain-specific expertise of the annotators. Even among experts, the assessment of argument quality is often inconsistent due to the inherent subjectivity of this task. In this paper, we study the potential of using state-of-the-art large language models (LLMs) as proxies for argument quality annotators. To assess the capability of LLMs in this regard, we analyze the agreement between model, human expert, and human novice annotators based on an established taxonomy of argument quality dimensions. Our findings highlight that LLMs can produce consistent annotations, with a moderately high agreement with human experts across most of the quality dimensions. Moreover, we show that using LLMs as additional annotators can significantly improve the agreement between annotators. These results suggest that LLMs can serve as a valuable tool for automated argument quality assessment, thus streamlining and accelerating the evaluation of large argument datasets.