Factual consistency evaluation of summarization in the Era of large language models
作者: Zheheng Luo, Qianqian Xie, Sophia Ananiadou
分类: cs.CL
发布日期: 2024-02-21 (更新: 2025-02-27)
备注: published on ESWA
💡 一句话要点
提出TreatFact数据集以解决自动生成摘要的事实一致性评估问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 事实一致性 大型语言模型 临床文本 自动摘要 数据集构建 模型评估 信息检索
📋 核心要点
- 现有的事实一致性评估方法在性能和效率上存在不足，且主要集中于新闻领域，缺乏对临床文本的评估。
- 本文提出TreatFact数据集，专注于LLM生成的临床摘要，并进行事实一致性标注，以填补现有研究的空白。
- 实验结果显示，尽管专有模型表现优越，开源LLM在事实一致性评估中仍有提升空间，尤其是在模型规模和数据质量方面。
📝 摘要（中文）
自动生成摘要与源文档之间的事实不一致可能导致错误信息或风险。现有的事实一致性（FC）评估指标在性能、效率和可解释性方面存在局限。尽管大型语言模型（LLMs）在文本评估中展现出潜力，但其在摘要FC评估中的有效性尚未得到充分探索。本文首先通过引入TreatFact数据集填补这一空白，该数据集包含临床文本的LLM生成摘要，并由领域专家进行FC标注。此外，我们对11种LLM在新闻和临床领域的FC评估进行了基准测试，并分析了模型规模、提示、预训练和微调数据的影响。研究发现，尽管专有模型在任务中表现优越，但开源LLM仍有待提升。通过增加模型规模、扩展预训练数据和开发精心策划的微调数据，有望提高开源LLM的性能。
🔬 方法详解
问题定义：本文旨在解决自动生成摘要与源文档之间的事实一致性评估问题。现有方法在评估性能和适用范围上存在不足，尤其是缺乏对临床文本的关注。
核心思路：论文提出了TreatFact数据集，包含由LLM生成的临床文本摘要，并由领域专家进行事实一致性标注，以提供更全面的评估基础。
技术框架：整体架构包括数据集构建、模型基准测试和影响因素分析三个主要模块。数据集构建阶段专注于临床文本的LLM生成，基准测试阶段则评估不同LLM的FC能力。
关键创新：最重要的创新在于引入了专门针对临床文本的LLM生成摘要数据集TreatFact，并系统性地评估了多种LLM在不同领域的表现。与现有方法相比，TreatFact提供了更广泛的应用场景和数据来源。
关键设计：在实验中，模型规模、预训练数据量和微调数据的质量被作为关键参数进行调整，以探讨其对FC评估性能的影响。
🖼️ 关键图片
📊 实验亮点
实验结果表明，尽管专有模型在事实一致性评估中表现优越，开源LLM的性能仍有提升空间。通过增加模型规模和优化数据集，开源LLM的FC评估能力有望得到显著改善。
🎯 应用场景
该研究的潜在应用领域包括医疗文本摘要生成、信息检索和自动化内容审核等。通过提高自动生成摘要的事实一致性评估能力，可以有效减少错误信息的传播，提升信息的可靠性和用户信任度。
📄 摘要（原文）
Factual inconsistency with source documents in automatically generated summaries can lead to misinformation or pose risks. Existing factual consistency (FC) metrics are constrained by their performance, efficiency, and explainability. Recent advances in Large language models (LLMs) have demonstrated remarkable potential in text evaluation but their effectiveness in assessing FC in summarization remains underexplored. Prior research has mostly focused on proprietary LLMs, leaving essential factors that affect their assessment capabilities unexplored. Additionally, current FC evaluation benchmarks are restricted to news articles, casting doubt on the generality of the FC methods tested on them. In this paper, we first address the gap by introducing TreatFact a dataset of LLM-generated summaries of clinical texts, annotated for FC by domain experts. Moreover, we benchmark 11 LLMs for FC evaluation across news and clinical domains and analyse the impact of model size, prompts, pre-training and fine-tuning data. Our findings reveal that despite proprietary models prevailing on the task, open-source LLMs lag behind. Nevertheless, there is potential for enhancing the performance of open-source LLMs through increasing model size, expanding pre-training data, and developing well-curated fine-tuning data. Experiments on TreatFact suggest that both previous methods and LLM-based evaluators are unable to capture factual inconsistencies in clinical summaries, posing a new challenge for FC evaluation.