Large Language Models as Automated Aligners for benchmarking Vision-Language Models

📄 arXiv: 2311.14580v1 📥 PDF

作者: Yuanfeng Ji, Chongjian Ge, Weikai Kong, Enze Xie, Zhengying Liu, Zhengguo Li, Ping Luo

分类: cs.CV

发布日期: 2023-11-24

💡 一句话要点

提出Auto-Bench以解决VLM评估中的数据不足问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 视觉-语言模型 自动化评估 数据策划 人类智能对齐

📋 核心要点

  1. 现有的评估基准依赖于手工构建的数据集，无法有效评估VLM与人类智能的对齐程度。
  2. 本文提出Auto-Bench，利用LLMs自动生成问题-答案-推理三元组，以更好地评估VLM的性能。
  3. 实验结果表明，LLMs在数据策划和模型评估中表现优异，平均一致性达到85%。

📝 摘要（中文）

随着大型语言模型（LLMs）的进步，视觉-语言模型（VLMs）在复杂认知和推理任务中展现出显著能力。然而，现有评估基准主要依赖于手工构建的数据集，难以有效评估这些日益类人模型与人类智能的对齐程度。为此，本文提出了Auto-Bench，通过自动数据策划和评估，利用LLMs作为高效的对齐工具，测量VLM与人类智能和价值的对齐程度。Auto-Bench使用LLMs（如GPT-4）自动生成大量问题-答案-推理三元组，涵盖四个主要能力和十六个子能力。验证结果显示，LLMs在评估数据策划和模型评估方面表现出色，平均一致性达85%。

🔬 方法详解

问题定义：本文旨在解决现有VLM评估方法中数据不足和评估不准确的问题。传统方法依赖手工构建的数据集，难以全面反映VLM与人类智能的对齐程度。

核心思路：通过Auto-Bench，利用大型语言模型（如GPT-4）自动生成问题-答案-推理三元组，确保生成的数据更贴近人类意图，从而提升评估的准确性和全面性。

技术框架：Auto-Bench的整体架构包括数据策划和模型评估两个主要模块。首先，使用LLMs生成问题-答案-推理三元组，然后通过另一个LLM（如GPT-3.5）进行评估，实施定量和定性分析。

关键创新：最重要的创新在于将LLMs作为自动化的对齐工具，突破了传统手工数据构建的局限，实现了高效且大规模的数据生成和评估。

关键设计：在数据生成过程中，采用了多种提示策略以引导LLMs生成高质量的三元组，并通过人类验证确保数据的准确性和有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，LLMs在数据策划和模型评估中表现出色，生成的28.5K人类验证和3,504K未过滤的三元组，平均一致性达到85%。这一成果显著提升了VLM评估的准确性和效率。

🎯 应用场景

该研究的潜在应用领域包括视觉-语言模型的评估、人工智能系统的智能化发展以及人机交互的优化。Auto-Bench的灵活性和可扩展性使其能够适应不同的VLM评估需求，未来可能在教育、医疗和自动驾驶等多个领域发挥重要作用。

📄 摘要（原文）

With the advancements in Large Language Models (LLMs), Vision-Language Models (VLMs) have reached a new level of sophistication, showing notable competence in executing intricate cognition and reasoning tasks. However, existing evaluation benchmarks, primarily relying on rigid, hand-crafted datasets to measure task-specific performance, face significant limitations in assessing the alignment of these increasingly anthropomorphic models with human intelligence. In this work, we address the limitations via Auto-Bench, which delves into exploring LLMs as proficient aligners, measuring the alignment between VLMs and human intelligence and value through automatic data curation and assessment. Specifically, for data curation, Auto-Bench utilizes LLMs (e.g., GPT-4) to automatically generate a vast set of question-answer-reasoning triplets via prompting on visual symbolic representations (e.g., captions, object locations, instance relationships, and etc.). The curated data closely matches human intent, owing to the extensive world knowledge embedded in LLMs. Through this pipeline, a total of 28.5K human-verified and 3,504K unfiltered question-answer-reasoning triplets have been curated, covering 4 primary abilities and 16 sub-abilities. We subsequently engage LLMs like GPT-3.5 to serve as judges, implementing the quantitative and qualitative automated assessments to facilitate a comprehensive evaluation of VLMs. Our validation results reveal that LLMs are proficient in both evaluation data curation and model assessment, achieving an average agreement rate of 85%. We envision Auto-Bench as a flexible, scalable, and comprehensive benchmark for evaluating the evolving sophisticated VLMs.