Less is More for Improving Automatic Evaluation of Factual Consistency

📄 arXiv: 2404.06579v1 📥 PDF

作者: Tong Wang, Ninad Kulkarni, Yanjun Qi

分类: cs.CL, cs.AI, cs.LG

发布日期: 2024-04-09

备注: Accepted in NAACL24 Industry; 7 pages

💡 一句话要点

提出LIM-RA以提升自动评估事实一致性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 事实一致性 自动文本生成 自然语言处理 模型评估 数据增强 鲁棒性

📋 核心要点

  1. 现有方法在评估自动生成文本的事实一致性时，常常受到数据噪声和样本量的影响，导致性能不稳定。
  2. 论文提出的LIM-RA模型通过减少训练数据量并增强样本质量，优化了事实一致性评估的效果。
  3. 实验结果显示，LIM-RA在33个测试数据集中的24个上取得最高得分，整体性能显著优于AlignScore和ChatGPT等基线。

📝 摘要（中文）

评估自动生成文本与源上下文的事实一致性对可靠的自然语言生成应用至关重要。近期文献提出的AlignScore使用统一的对齐模型评估事实一致性，并在多个基准任务中显著优于以往方法。本文深入分析AlignScore使用的数据集，发现使用更少的数据点反而能提升性能。我们对原AlignScore训练数据集进行处理，去除噪声，增强样本的鲁棒性，并利用10 ext{%}的数据子集训练改进的事实一致性评估模型LIM-RA。LIM-RA在四个基准测试中持续超越AlignScore及其他强基线，如ChatGPT，展现出卓越的性能，24个测试数据集中的得分最高，确立了新的最先进基准。

🔬 方法详解

问题定义：本文旨在解决自动生成文本的事实一致性评估中，现有方法因数据噪声和样本量过大而导致的性能不稳定问题。

核心思路：LIM-RA模型通过减少训练数据量至10 ext{%}并增强样本的鲁棒性，旨在提升事实一致性评估的准确性和可靠性。

技术框架：整体架构包括数据预处理、噪声去除、样本增强和模型训练四个主要阶段。首先对原始数据集进行清洗，然后通过增强技术生成鲁棒样本，最后使用精简的数据集进行模型训练。

关键创新：LIM-RA的核心创新在于通过减少数据量而非增加，反而提升了模型的评估性能，这与传统方法形成鲜明对比。

关键设计：在模型设计中，采用了特定的损失函数以优化事实一致性评估，并在网络结构上进行了调整，以适应更小的数据集训练。具体参数设置和网络结构细节在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

LIM-RA在24个测试数据集上取得最高得分，整体性能超越AlignScore和ChatGPT等强基线，确立了新的最先进基准。具体而言，LIM-RA在多个基准测试中表现出显著的提升，展示了其在事实一致性评估中的有效性。

🎯 应用场景

该研究的潜在应用领域包括自动文本生成、智能问答系统和内容审核等。通过提高事实一致性评估的准确性，LIM-RA能够为自然语言生成应用提供更可靠的支持，进而提升用户体验和信息质量。未来，该方法可能推动更多基于事实一致性的评估工具的发展。

📄 摘要（原文）

Assessing the factual consistency of automatically generated texts in relation to source context is crucial for developing reliable natural language generation applications. Recent literature proposes AlignScore which uses a unified alignment model to evaluate factual consistency and substantially outperforms previous methods across many benchmark tasks. In this paper, we take a closer look of datasets used in AlignScore and uncover an unexpected finding: utilizing a smaller number of data points can actually improve performance. We process the original AlignScore training dataset to remove noise, augment with robustness-enhanced samples, and utilize a subset comprising 10\% of the data to train an improved factual consistency evaluation model, we call LIM-RA (Less Is More for Robust AlignScore). LIM-RA demonstrates superior performance, consistently outperforming AlignScore and other strong baselines like ChatGPT across four benchmarks (two utilizing traditional natural language generation datasets and two focused on large language model outputs). Our experiments show that LIM-RA achieves the highest score on 24 of the 33 test datasets, while staying competitive on the rest, establishing the new state-of-the-art benchmarks.