FACT-GPT: Fact-Checking Augmentation via Claim Matching with LLMs
作者: Eun Cheol Choi, Emilio Ferrara
分类: cs.CL, cs.CY, cs.HC, cs.SI
发布日期: 2024-02-08
💡 一句话要点
提出FACT-GPT以解决虚假信息的自动化核查问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 虚假信息 事实核查 大型语言模型 自动化系统 社交媒体 声明匹配 机器学习
📋 核心要点
- 当前的虚假信息泛滥，现有的人工核查方法效率低下，难以应对海量信息的挑战。
- 论文提出了FACT-GPT，通过大型语言模型自动化声明匹配过程，提高核查效率和准确性。
- 实验结果表明，FACT-GPT在相关声明识别的准确性上与更大模型相当，且接近人类判断水平。
📝 摘要（中文）
我们的社会正面临着严重的虚假信息问题，损害了公众健康和信任。为应对这一社会挑战，我们提出了FACT-GPT，一个利用大型语言模型（LLMs）自动化核查阶段的系统。FACT-GPT在合成数据集上训练，能够识别与已被驳斥的声明相关、矛盾或无关的社交媒体内容。我们的评估表明，专门化的LLMs在识别相关声明的准确性上可以与更大模型相匹配，且与人类判断非常接近。这项研究为高效的声明匹配提供了自动化解决方案，展示了LLMs在支持事实核查中的潜力，并为该领域的进一步研究提供了宝贵资源。
🔬 方法详解
问题定义：本论文旨在解决虚假信息核查过程中的声明匹配问题。现有方法依赖人工核查，效率低且易受主观因素影响。
核心思路：论文提出的FACT-GPT系统利用大型语言模型自动化识别社交媒体内容与已驳斥声明之间的关系，旨在提高核查效率和准确性。
技术框架：FACT-GPT的整体架构包括数据预处理、模型训练和声明匹配三个主要模块。首先，系统从社交媒体中提取相关内容，然后通过训练的LLM进行匹配，最后输出匹配结果。
关键创新：最重要的技术创新在于使用专门化的LLMs进行声明匹配，这种方法在准确性上与更大模型相当，且能有效处理大量信息。
关键设计：在模型训练中，使用了合成数据集，并设计了特定的损失函数以优化匹配效果。此外，网络结构经过调整以提高对社交媒体内容的理解能力。
🖼️ 关键图片
📊 实验亮点
实验结果显示，FACT-GPT在相关声明识别的准确性上与更大模型相当，且在多个测试集上表现出色，准确率接近人类判断，展示了其在自动化核查中的巨大潜力。
🎯 应用场景
该研究的潜在应用领域包括社交媒体平台、新闻机构和公共健康组织等，能够帮助快速识别和处理虚假信息，提升公众对信息的信任度。未来，FACT-GPT有望与其他信息验证工具结合，形成更全面的虚假信息防控体系。
📄 摘要（原文）
Our society is facing rampant misinformation harming public health and trust. To address the societal challenge, we introduce FACT-GPT, a system leveraging Large Language Models (LLMs) to automate the claim matching stage of fact-checking. FACT-GPT, trained on a synthetic dataset, identifies social media content that aligns with, contradicts, or is irrelevant to previously debunked claims. Our evaluation shows that our specialized LLMs can match the accuracy of larger models in identifying related claims, closely mirroring human judgment. This research provides an automated solution for efficient claim matching, demonstrates the potential of LLMs in supporting fact-checkers, and offers valuable resources for further research in the field.