DELL: Generating Reactions and Explanations for LLM-Based Misinformation Detection

📄 arXiv: 2402.10426v2 📥 PDF

作者: Herun Wan, Shangbin Feng, Zhaoxuan Tan, Heng Wang, Yulia Tsvetkov, Minnan Luo

分类: cs.CL

发布日期: 2024-02-16 (更新: 2024-07-05)

💡 一句话要点

提出DELL以解决大语言模型在虚假信息检测中的局限性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 虚假信息检测 大语言模型 新闻反应生成 解释生成 专家合并 机器学习 自然语言处理

📋 核心要点

  1. 现有方法在虚假信息检测中面临大语言模型的事实准确性和幻觉等挑战，限制了其直接应用。
  2. DELL通过三个阶段引入大语言模型：生成新闻反应、生成解释和合并任务特定专家，以提升虚假信息检测的效果。
  3. 在七个数据集上进行的实验表明，DELL在宏观F1分数上超越了现有基线，提升幅度达到16.8%。

📝 摘要（中文）

大语言模型在直接判断新闻文章的真实性时面临事实准确性和幻觉等挑战。本文提出DELL，识别虚假信息检测中的三个关键阶段，利用大语言模型生成新闻反应以代表多样化视角，生成解释以丰富新闻上下文，并合并任务特定专家以提供整体预测。通过在七个数据集上进行广泛实验，DELL在宏观F1分数上超越了最先进的基线，提升幅度达到16.8%。进一步分析表明，生成的反应和解释对虚假信息检测极为有益，而LLM引导的专家合并有助于产生更好的校准预测。

🔬 方法详解

问题定义：本文旨在解决大语言模型在虚假信息检测中的局限性，尤其是其在事实准确性和幻觉方面的挑战。现有方法无法有效利用这些模型的潜力。

核心思路：DELL的核心思路是将大语言模型整合到虚假信息检测的三个关键阶段中，通过生成多样化的新闻反应和解释，增强对新闻内容的理解，并通过专家合并提高预测的准确性。

技术框架：DELL的整体架构包括三个主要模块：1) 生成新闻反应以模拟用户与新闻的互动；2) 生成解释以丰富新闻上下文；3) 合并不同任务专家的预测，提供最终的整体预测。

关键创新：DELL的创新之处在于其将大语言模型应用于虚假信息检测的多个阶段，尤其是生成反应和解释的能力，这与现有方法的单一预测模式有本质区别。

关键设计：在设计上，DELL使用了多种大语言模型，并通过特定的损失函数和参数设置来优化生成的反应和解释，以确保其在虚假信息检测中的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，DELL在宏观F1分数上超越了最先进的基线，提升幅度达到16.8%。这一显著提升表明，生成的新闻反应和解释在虚假信息检测中发挥了重要作用，同时LLM引导的专家合并技术也显著改善了预测的校准性。

🎯 应用场景

该研究的潜在应用领域包括新闻媒体、社交网络和信息验证平台。通过提高虚假信息检测的准确性，DELL能够帮助用户更好地识别和应对虚假新闻，从而增强公众对信息的信任。未来，DELL的框架可扩展到其他领域，如在线评论分析和舆情监测。

📄 摘要（原文）

Large language models are limited by challenges in factuality and hallucinations to be directly employed off-the-shelf for judging the veracity of news articles, where factual accuracy is paramount. In this work, we propose DELL that identifies three key stages in misinformation detection where LLMs could be incorporated as part of the pipeline: 1) LLMs could \emph{generate news reactions} to represent diverse perspectives and simulate user-news interaction networks; 2) LLMs could \emph{generate explanations} for proxy tasks (e.g., sentiment, stance) to enrich the contexts of news articles and produce experts specializing in various aspects of news understanding; 3) LLMs could \emph{merge task-specific experts} and provide an overall prediction by incorporating the predictions and confidence scores of varying experts. Extensive experiments on seven datasets with three LLMs demonstrate that DELL outperforms state-of-the-art baselines by up to 16.8\% in macro f1-score. Further analysis reveals that the generated reactions and explanations are greatly helpful in misinformation detection, while our proposed LLM-guided expert merging helps produce better-calibrated predictions.