AFaCTA: Assisting the Annotation of Factual Claim Detection with Reliable LLM Annotators

📄 arXiv: 2402.11073v3 📥 PDF

作者: Jingwei Ni, Minjing Shi, Dominik Stammbach, Mrinmaya Sachan, Elliott Ash, Markus Leippold

分类: cs.CL, cs.AI

发布日期: 2024-02-16 (更新: 2024-06-02)

备注: ACL2024 Main Conference

💡 一句话要点

提出AFaCTA以解决事实声明检测中的标注成本和一致性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 事实声明检测 自动化标注 大型语言模型 信息验证 虚假信息对抗

📋 核心要点

  1. 现有的事实声明检测方法在任务定义和声明概念上存在不一致性，导致可扩展性和普适性受限。
  2. 本文提出AFaCTA框架，利用大型语言模型辅助事实声明的标注，降低人工标注成本并提高一致性。
  3. 实验结果显示，AFaCTA能有效帮助专家进行标注，并在有无监督的情况下均能训练出高质量的分类器。

📝 摘要（中文）

随着生成性人工智能的兴起，自动化事实核查方法在对抗虚假信息方面变得愈发重要。然而，事实声明检测作为事实核查流程的第一步，面临两个主要问题：任务定义和声明概念的不一致性，以及人工标注成本高昂。为了解决第一个问题，本文回顾了相关工作的定义，并提出了一个以可验证性为核心的统一定义。为了解决第二个问题，本文引入了AFaCTA（自动事实声明检测标注器），这是一个利用大型语言模型（LLMs）辅助事实声明标注的新框架。AFaCTA通过三条预定义的推理路径来校准其标注信心。广泛的评估和实验表明，AFaCTA能够有效地辅助专家进行事实声明标注和高质量分类器的训练，并且可以在有或没有专家监督的情况下工作。我们的分析还导致了PoliClaim，一个涵盖多样政治主题的综合声明检测数据集。

🔬 方法详解

问题定义：本文旨在解决事实声明检测中的两个主要问题：任务定义和声明概念的不一致性，以及人工标注的高成本。这些问题限制了现有方法的可扩展性和普适性。

核心思路：AFaCTA框架通过利用大型语言模型（LLMs）来辅助事实声明的标注，旨在提高标注的一致性和效率。该框架通过三条预定义的推理路径来校准标注信心，从而确保标注质量。

技术框架：AFaCTA的整体架构包括数据输入模块、LLM标注模块和结果输出模块。数据输入模块负责接收待标注的文本，LLM标注模块利用预训练的语言模型进行事实声明的识别和标注，结果输出模块则将标注结果呈现给用户。

关键创新：AFaCTA的主要创新在于其结合了大型语言模型的强大能力与系统化的标注流程，显著提高了标注的一致性和效率。这一方法与传统的人工标注方式相比，能够在更短的时间内完成高质量的标注。

关键设计：AFaCTA在设计上采用了三条预定义的推理路径来校准标注信心，并通过设置特定的参数和损失函数来优化模型性能。具体的网络结构和参数设置尚未详细披露，属于未知领域。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，AFaCTA在政治演讲领域的标注效率显著提高，能够在有监督和无监督的情况下均实现高质量的分类器训练。具体性能数据和对比基线的提升幅度尚未详细披露，属于未知领域。

🎯 应用场景

AFaCTA框架在政治演讲、新闻报道等领域具有广泛的应用潜力，能够有效辅助事实核查工作，提升信息的真实性和可靠性。未来，该方法还可能扩展到其他类型的文本分析和信息验证任务中，具有重要的社会价值。

📄 摘要（原文）

With the rise of generative AI, automated fact-checking methods to combat misinformation are becoming more and more important. However, factual claim detection, the first step in a fact-checking pipeline, suffers from two key issues that limit its scalability and generalizability: (1) inconsistency in definitions of the task and what a claim is, and (2) the high cost of manual annotation. To address (1), we review the definitions in related work and propose a unifying definition of factual claims that focuses on verifiability. To address (2), we introduce AFaCTA (Automatic Factual Claim deTection Annotator), a novel framework that assists in the annotation of factual claims with the help of large language models (LLMs). AFaCTA calibrates its annotation confidence with consistency along three predefined reasoning paths. Extensive evaluation and experiments in the domain of political speech reveal that AFaCTA can efficiently assist experts in annotating factual claims and training high-quality classifiers, and can work with or without expert supervision. Our analyses also result in PoliClaim, a comprehensive claim detection dataset spanning diverse political topics.