GenCeption: Evaluate Vision LLMs with Unlabeled Unimodal Data

📄 arXiv: 2402.14973v4 📥 PDF

作者: Lele Cao, Valentin Buchner, Zineb Senane, Fangkai Yang

分类: cs.CL, cs.AI, cs.LG

发布日期: 2024-02-22 (更新: 2025-03-05)

备注: Published by Computer Speech & Language (https://doi.org/10.1016/j.csl.2025.101785). Source code and Leaderboard: https://github.com/llcresearch/GenCeption

期刊: Computer Speech & Language 93 (2025) 101785

DOI: 10.1016/j.csl.2025.101785

💡 一句话要点

提出GenCeption以解决多模态大语言模型评估的高成本问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 无标注评估 语义一致性 幻觉倾向 视觉大语言模型 评估基准 GC@T指标

📋 核心要点

  1. 现有的多模态大语言模型评估方法依赖于昂贵的标注数据，导致评估过程缓慢且成本高昂。
  2. GenCeption是一种无标注的评估方法，仅使用单模态数据，通过迭代描述和生成步骤来评估模型的语义一致性。
  3. 实验结果表明，GenCeption与传统VLLM基准表现出强相关性，且VLLMs在文本密集任务上仍显著落后于人类表现。

📝 摘要（中文）

多模态大语言模型（MLLMs）的评估通常依赖于昂贵的标注多模态基准，这些基准往往无法跟上MLLM评估的快速发展需求。本文提出并验证了一种新颖的无标注评估方法GenCeption，该方法仅需单模态数据即可测量模态间的语义一致性，并反向评估MLLMs的幻觉倾向。该方法消除了对昂贵数据标注的需求，降低了训练数据污染的风险，预计将导致基准饱和速度减缓，并避免出现新能力的错觉。基于GenCeption方法，我们建立了MMECeption基准，用于评估视觉大语言模型（VLLMs），并比较了几种流行VLLMs与人类标注者的表现。实证结果验证了GenCeption的有效性，与已建立的VLLM基准表现出强相关性。

🔬 方法详解

问题定义：当前多模态大语言模型的评估方法通常依赖于昂贵的标注数据，这不仅增加了成本，还可能导致训练数据污染，影响评估的准确性。

核心思路：GenCeption通过使用单模态数据来评估模型的语义一致性，避免了昂贵的标注需求，并通过迭代生成过程来量化语义漂移，从而反向评估模型的幻觉倾向。

技术框架：GenCeption的整体流程包括从非文本样本开始，通过描述和生成的迭代步骤进行评估，最终使用GC@T指标量化语义漂移。该方法主要针对视觉大语言模型（VLLMs）进行实现和验证。

关键创新：GenCeption的主要创新在于其无标注的评估方式，显著降低了评估成本，并提供了一种新的视角来理解模型的语义一致性与幻觉现象。与现有方法相比，它不再依赖于多模态数据的标注。

关键设计：在设计上，GenCeption采用了GC@T指标来量化语义漂移，确保评估过程的客观性和准确性。该方法的迭代生成过程灵活且易于实现，适用于多种模态的评估。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，GenCeption与传统的VLLM基准之间存在强相关性，验证了其有效性。尽管VLLMs在某些任务上表现有所提升，但在文本密集型任务中仍显著落后于人类标注者，表明了当前模型的局限性。

🎯 应用场景

GenCeption的研究成果具有广泛的应用潜力，尤其在多模态大语言模型的评估领域。其无标注的特性使得模型评估变得更加高效和经济，适用于快速发展的AI应用场景，如自动内容生成、智能问答系统等。未来，该方法可能推动更高效的模型评估标准的建立，促进AI技术的进一步发展。

📄 摘要（原文）

Multimodal Large Language Models (MLLMs) are typically assessed using expensive annotated multimodal benchmarks, which often lag behind the rapidly evolving demands of MLLM evaluation. This paper outlines and validates GenCeption, a novel, annotation-free evaluation method that requires only unimodal data to measure inter-modality semantic coherence and inversely assesses MLLMs' tendency to hallucinate. This approach eliminates the need for costly data annotation, minimizes the risk of training data contamination, is expected to result in slower benchmark saturation, and avoids the illusion of emerging abilities. Inspired by the DrawCeption game, GenCeption begins with a non-textual sample and proceeds through iterative description and generation steps. The semantic drift across iterations is quantified using the GC@T metric. While GenCeption is principally applicable to MLLMs across various modalities, this paper focuses on its implementation and validation for Vision LLMs (VLLMs). Based on the GenCeption method, we establish the MMECeption benchmark for evaluating VLLMs, and compare the performance of several popular VLLMs and human annotators. Our empirical results validate GenCeption's effectiveness, demonstrating strong correlations with established VLLM benchmarks. VLLMs still significantly lag behind human performance and struggle especially with text-intensive tasks.