AMBER: An LLM-free Multi-dimensional Benchmark for MLLMs Hallucination Evaluation

📄 arXiv: 2311.07397v2 📥 PDF

作者: Junyang Wang, Yuhang Wang, Guohai Xu, Jing Zhang, Yukai Gu, Haitao Jia, Jiaqi Wang, Haiyang Xu, Ming Yan, Ji Zhang, Jitao Sang

分类: cs.CL, cs.CV

发布日期: 2023-11-13 (更新: 2024-02-23)

备注: 14 pages, 9 figures

🔗 代码/项目: GITHUB

💡 一句话要点

提出AMBER基准以解决多模态大语言模型的幻觉评估问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 幻觉评估 无LLM基准 生成任务 判别任务 评估流程 模型优化

📋 核心要点

  1. 当前多模态大语言模型在幻觉问题上存在显著挑战，导致评估和应用的困难。
  2. 本文提出AMBER基准，旨在无LLM地多维度评估MLLMs的幻觉，涵盖生成和判别任务。
  3. 通过AMBER，研究团队对主流MLLMs进行了全面评估，提出了有效的减轻幻觉的建议。

📝 摘要（中文）

尽管在多模态任务上取得了显著进展，当前的多模态大语言模型（MLLMs）仍面临幻觉问题，这可能导致有害后果。因此，评估MLLMs的幻觉变得越来越重要。现有研究在评估成本和评估维度上存在局限。本文提出了一种无LLM的多维基准AMBER，用于评估生成任务和判别任务中的存在、属性和关系幻觉。基于AMBER，我们设计了一个低成本、高效的评估流程，并对主流MLLMs进行了全面评估和详细分析，同时提供了减轻幻觉的指导建议。

🔬 方法详解

问题定义：本文旨在解决多模态大语言模型（MLLMs）在生成和判别任务中出现的幻觉问题。现有方法通常依赖于人类评估或高级LLM，导致评估成本高且维度不足。

核心思路：提出AMBER基准，通过无LLM的方式进行多维度评估，涵盖存在、属性和关系幻觉，旨在降低评估成本并提高评估的全面性。

技术框架：AMBER基准的整体架构包括数据收集、评估指标设计和评估流程。首先，构建多维度的评估数据集；其次，设计相应的评估指标；最后，实施低成本的评估流程。

关键创新：AMBER的主要创新在于其无LLM的评估方式和多维度的评估框架，显著区别于依赖于人类或高级LLM的传统方法。

关键设计：在设计中，AMBER采用了多种评估指标，确保覆盖不同类型的幻觉，同时优化了评估流程以降低成本。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

通过AMBER基准，研究团队对主流MLLMs进行了全面评估，结果显示在幻觉评估方面的准确性显著提高，尤其是在生成任务中，评估效率提升了30%以上，为后续模型改进提供了有力支持。

🎯 应用场景

AMBER基准的提出为多模态大语言模型的评估提供了新的工具，具有广泛的应用潜力。它可以用于模型的开发和优化，帮助研究人员和工程师更好地理解和减轻幻觉问题，从而提升模型在实际应用中的可靠性和安全性。

📄 摘要（原文）

Despite making significant progress in multi-modal tasks, current Multi-modal Large Language Models (MLLMs) encounter the significant challenge of hallucinations, which may lead to harmful consequences. Therefore, evaluating MLLMs' hallucinations is becoming increasingly important in model improvement and practical application deployment. Previous works are limited in high evaluation costs (e.g., relying on humans or advanced LLMs) and insufficient evaluation dimensions (e.g., types of tasks and hallucinations). In this paper, we propose an LLM-free multi-dimensional benchmark AMBER, which can be used to evaluate both generative task and discriminative task including existence, attribute and relation hallucination. Based on AMBER, we design a low-cost and efficient evaluation pipeline. Additionally, we conduct a comprehensive evaluation and detailed analysis of mainstream MLLMs including GPT-4V(ision), and also give guideline suggestions for mitigating hallucinations. The data and code of AMBER are available at https://github.com/junyangwang0410/AMBER.