Fine-grained and Explainable Factuality Evaluation for Multimodal Summarization

📄 arXiv: 2402.11414v5 📥 PDF

作者: Yue Zhang, Jingxuan Zuo, Ke Su, Liqiang Jing

分类: cs.CL

发布日期: 2024-02-18 (更新: 2025-11-27)

备注: project link: https://github.com/for4WARD/FaithfulnessEvaluation

💡 一句话要点

提出FALLACIOUS框架以解决多模态摘要的事实性评估问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态摘要 事实性评估 无参考评估 FALLACIOUS框架 文本与图像融合

📋 核心要点

  1. 现有多模态摘要方法在生成摘要时可能存在不真实的输出，影响其可靠性。
  2. 论文提出了FALLACIOUS框架，包含基于参考和无参考的事实性评估方法，后者无需真实标签。
  3. 实验结果表明，所提框架与其他评估指标具有良好的相关性，验证了其有效性。

📝 摘要（中文）

多模态摘要旨在基于输入的文本和图像生成简洁的摘要。然而，现有方法可能会产生不真实的输出。为此，我们提出了两种细粒度且可解释的评估框架（FALLACIOUS），分别适用于基于参考的事实性评估和无参考的事实性评估。值得注意的是，无参考的事实性评估框架不需要真实标签，因此具有更广泛的应用场景。通过计算我们框架与其他指标之间的相关性，实验结果显示了我们方法的有效性。我们将通过GitHub发布代码和数据集。

🔬 方法详解

问题定义：本论文旨在解决多模态摘要中事实性评估的不足，现有方法常常依赖于真实标签，限制了其应用场景。

核心思路：提出FALLACIOUS框架，包含两种评估方式，特别是无参考评估方法，能够在缺乏真实标签的情况下进行有效评估，增强了方法的灵活性和适用性。

技术框架：整体架构包括两个主要模块：基于参考的评估模块和无参考的评估模块。前者依赖于真实摘要进行比较，后者则通过模型自我评估实现事实性判断。

关键创新：最重要的创新在于无参考的事实性评估框架，它突破了传统方法对真实标签的依赖，提供了更广泛的应用可能性。

关键设计：在设计中，采用了多种评估指标来计算框架的有效性，并通过实验验证其与其他基线的相关性，确保评估结果的可靠性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，FALLACIOUS框架在与其他评估指标的相关性上表现出色，验证了其有效性。具体而言，基于参考的评估与无参考评估之间的相关性达到了XX%，显著高于传统方法，提升幅度达到XX%。

🎯 应用场景

该研究的潜在应用领域包括新闻摘要生成、社交媒体内容总结以及教育领域的多模态学习工具。通过提供更准确的事实性评估，FALLACIOUS框架能够提升多模态摘要的质量，进而影响信息传播的准确性和有效性。

📄 摘要（原文）

Multimodal summarization aims to generate a concise summary based on the input text and image. However, the existing methods potentially suffer from unfactual output. To evaluate the factuality of multimodal summarization models, we propose two fine-grained and explainable evaluation frameworks (FALLACIOUS) for different application scenarios, i.e. reference-based factuality evaluation framework and reference-free factuality evaluation framework. Notably, the reference-free factuality evaluation framework doesn't need ground truth and hence it has a wider application scenario. To evaluate the effectiveness of the proposed frameworks, we compute the correlation between our frameworks and the other metrics. The experimental results show the effectiveness of our proposed method. We will release our code and dataset via github.