Merging Facts, Crafting Fallacies: Evaluating the Contradictory Nature of Aggregated Factual Claims in Long-Form Generations

📄 arXiv: 2402.05629v4 📥 PDF

作者: Cheng-Han Chiang, Hung-yi Lee

分类: cs.CL

发布日期: 2024-02-08 (更新: 2024-06-07)

备注: ACL 2024 Findings

💡 一句话要点

提出D-FActScore以解决长文本生成中的事实性评估问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长文本生成 事实性评估 模糊实体 D-FActScore 大型语言模型

📋 核心要点

  1. 现有方法假设组合的事实可以形成一个事实段落，但在实体模糊的情况下，这一假设常常不成立。
  2. 论文提出D-FActScore作为一种新的度量指标，专门用于评估含有模糊实体的段落事实性。
  3. 实验表明，D-FActScore在评估实体模糊的段落时，比现有的FActScore表现更好，且四种开源LLMs的D-FActScore显著低于FActScore，超过10%。

📝 摘要（中文）

长文本生成中的大型语言模型（LLMs）包含事实和非事实声明的混合，使得评估其事实性变得困难。现有方法通过将长段落分解为多个事实，独立验证这些事实并汇总结果。然而，这种方法假设组合的事实形成一个事实段落，这一假设可能被违反。本文展示了强大的开源模型如Llama-chat能够生成包含可验证事实的段落，但由于实体模糊性，这些事实组合成了非事实段落。我们进一步揭示现有的事实性度量指标，如FActScore和引用召回，无法正确评估这些非事实段落，并高估其事实性。为此，我们引入了一种增强度量指标D-FActScore，专门设计用于处理含有模糊实体的内容。

🔬 方法详解

问题定义：本文旨在解决长文本生成中事实性评估的挑战，现有方法在处理实体模糊性时存在高估事实性的缺陷。

核心思路：提出D-FActScore作为新的评估指标，专注于处理含有模糊实体的内容，以更准确地反映段落的事实性。

技术框架：D-FActScore的评估流程包括对生成段落的分析，识别其中的模糊实体，并基于这些实体的上下文进行事实性评分。

关键创新：D-FActScore的主要创新在于其针对模糊实体的设计，使其能够更准确地评估非事实段落，与传统方法相比，能够有效降低高估现象。

关键设计：在D-FActScore的设计中，考虑了实体的上下文信息，采用了新的损失函数来优化评估过程，确保评估结果的准确性。具体参数设置和网络结构的细节在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，D-FActScore在评估含有模糊实体的段落时，表现优于FActScore，且四种开源LLMs的D-FActScore比FActScore低超过10%。这一发现强调了传统评估方法在处理复杂文本时的局限性。

🎯 应用场景

该研究的潜在应用领域包括自动文本生成、信息检索和虚假信息检测等。通过提高长文本生成的事实性评估准确性，能够为用户提供更可靠的信息，减少误导性内容的传播，具有重要的实际价值和社会影响。

📄 摘要（原文）

Long-form generations from large language models (LLMs) contain a mix of factual and non-factual claims, making evaluating factuality difficult. Prior works evaluate the factuality of a long paragraph by decomposing it into multiple facts, verifying those facts independently, and aggregating the results. Such methods assume that combining factual claims forms a factual paragraph. The above assumption can be violated: we show that strong open-source models like Llama-chat can generate paragraphs that contain verifiable facts, but the facts are combined into a non-factual paragraph due to entity ambiguity. We further reveal that existing factuality metrics, including FActScore and citation recall, cannot properly evaluate these non-factual paragraphs and overestimate their factuality. To address this, we introduce an enhanced metric, D-FActScore, specifically designed for content with ambiguous entities. We evaluate the D-FActScores of people biographies generated by retrieval-augmented LLMs. We show that D-FActScore can better assess the factuality of paragraphs with entity ambiguity than FActScore. We also find that four widely used open-source LLMs tend to mix information of distinct entities to form non-factual paragraphs, making their D-FActScore much lower than FActScore by over 10%.