FaithScore: Fine-grained Evaluations of Hallucinations in Large Vision-Language Models

📄 arXiv: 2311.01477v2 📥 PDF

作者: Liqiang Jing, Ruosen Li, Yunmo Chen, Xinya Du

分类: cs.CV

发布日期: 2023-11-02 (更新: 2024-09-26)

备注: Accepted by Findings of EMNLP 2024

💡 一句话要点

提出FaithScore以解决大规模视觉语言模型的幻觉评估问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 幻觉评估 多模态学习 原子事实 忠诚度评分 数据集构建

📋 核心要点

  1. 现有的视觉语言模型在生成内容时容易出现幻觉，即生成与输入图像不一致的信息，缺乏有效的评估指标。
  2. 论文提出的FaithScore通过识别和验证描述性子句中的原子事实，提供了一种细粒度的评估方法，旨在提高评估的准确性。
  3. 实验结果表明，使用FaithScore评估的LVLMs在忠诚度方面表现不佳，揭示了当前模型的不足之处，并为未来改进提供了方向。

📝 摘要（中文）

我们提出了FaithScore（对原子图像事实的忠诚度评分），这是一种无参考且细粒度的评估指标，用于衡量大型视觉语言模型（LVLMs）生成的自由形式答案的忠诚度。FaithScore评估首先识别需要验证的描述性子句，然后从这些子句中提取全面的原子事实列表，最后对细粒度原子事实与输入图像之间进行一致性验证。元评估表明，我们的指标与人类对忠诚度的判断高度相关。我们收集了两个基准数据集（即LLaVA-1k和MSCOCO-Cap）用于评估LVLMs的指令遵循幻觉。结果显示，当前系统容易生成与图像不一致的幻觉内容，未来还有改进空间。我们希望FaithScore能够帮助评估未来LVLMs的忠诚度，并为增强LVLMs的忠诚性提供有价值的建议。

🔬 方法详解

问题定义：本论文旨在解决大型视觉语言模型（LVLMs）生成内容时的幻觉问题，现有方法缺乏有效的评估工具，导致无法准确判断生成内容的忠诚度。

核心思路：论文提出的FaithScore通过细致分析生成文本中的描述性子句，提取原子事实并与输入图像进行一致性验证，从而提供了一种无参考的评估方式。

技术框架：整体流程包括三个主要阶段：首先识别需要验证的子句；其次提取子句中的原子事实；最后进行一致性验证，确保生成内容与输入图像相符。

关键创新：FaithScore的创新之处在于其无参考的评估方式和细粒度的分析能力，能够有效捕捉到生成内容中的幻觉现象，与传统评估方法相比更具准确性和可靠性。

关键设计：在设计上，FaithScore采用了特定的参数设置和损失函数，以确保在验证过程中能够准确识别和评估原子事实的忠诚度，同时结合了多种数据集进行训练和测试。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用FaithScore评估的当前最先进的LVLMs在忠诚度方面表现不佳，生成的内容中幻觉现象普遍存在，显示出与人类判断的高度相关性。这一发现为未来模型的改进提供了重要依据。

🎯 应用场景

该研究的潜在应用领域包括图像描述生成、视觉问答系统以及多模态内容生成等。通过提高模型生成内容的忠诚度，能够增强用户体验，并在实际应用中减少误导信息的产生，具有重要的实际价值和未来影响。

📄 摘要（原文）

We introduce FaithScore (Faithfulness to Atomic Image Facts Score), a reference-free and fine-grained evaluation metric that measures the faithfulness of the generated free-form answers from large vision-language models (LVLMs). The FaithScore evaluation first identifies sub-sentences containing descriptive statements that need to be verified, then extracts a comprehensive list of atomic facts from these sub-sentences, and finally conducts consistency verification between fine-grained atomic facts and the input image. Meta-evaluation demonstrates that our metric highly correlates with human judgments of faithfulness. We collect two benchmark datasets (i.e. LLaVA-1k and MSCOCO-Cap) for evaluating LVLMs instruction-following hallucinations. We measure hallucinations in state-of-the-art LVLMs with FaithScore on the datasets. Results reveal that current systems are prone to generate hallucinated content unfaithful to the image, which leaves room for future improvements. We hope our metric FaithScore can help evaluate future LVLMs in terms of faithfulness and provide insightful advice for enhancing LVLMs' faithfulness.