MMBench-Live: A Continuously Evolving Benchmark for Multimodal Models
作者: Yuanzhi Liu, Shousheng Zhao, Bo Zhou, Kongming Liang, Zhanyu Ma
分类: cs.CV, cs.AI
发布日期: 2026-07-05
💡 一句话要点
提出MMBench-Live以解决多模态基准评估的静态问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态基准 视觉语言模型 动态更新 数据集构建 自动化评估
📋 核心要点
- 现有的多模态基准大多是静态的，容易受到时间滞后和数据污染的影响，维护成本高。
- MMBench-Live通过多代理驱动的自动化流程，持续演变基准，集成了实时数据获取和问答生成。
- 实验结果显示，MMBench-Live在保持模型排名稳定的同时，具有较高的答案正确率和较低的污染记忆信号。
📝 摘要（中文）
评估基准对于视觉语言模型（VLMs）的评估至关重要，但大多数多模态基准是静态的，容易受到时间滞后、数据污染和维护成本高等问题的影响。本文提出了MMBench-Live，这是一个通过多代理驱动的自动化流程构建的持续演变的多模态基准。该框架将基准演变视为任务引导的数据集构建，集成了结构化基准规范、反馈控制的实时数据获取和可验证的问答生成。为了保持跨版本的可比性，本文引入了一种分布一致的更新策略，从原始基准中提取与任务相关的视觉模式，以指导数据收集和过滤。MMBench-Live从MMBench实例化，包含5900个新生成的评估实例，具有较高的答案正确率，每次更新成本约为30美元，耗时1-2小时。广泛的评估表明，MMBench-Live保持了稳定的模型排名，与原始基准保持语义一致，并表现出较弱的污染相关记忆信号，表明这是一个可持续的多模态基准演变的实用和可扩展范式。
🔬 方法详解
问题定义：现有的多模态基准评估方法存在静态性问题，导致时间滞后、数据污染和维护成本高等挑战。
核心思路：MMBench-Live通过多代理驱动的自动化流程，将基准演变视为任务引导的数据集构建，旨在实现动态更新和高效评估。
技术框架：整体架构包括结构化基准规范、反馈控制的实时数据获取和可验证的问答生成模块，形成一个闭环的评估系统。
关键创新：引入分布一致的更新策略，从原始基准中提取任务相关的视觉模式，以指导数据收集和过滤，确保跨版本的可比性。
关键设计：在数据更新过程中，设置了成本控制（每次更新约30美元）和时间效率（1-2小时内完成），并确保生成的评估实例具有高答案正确率。
🖼️ 关键图片
📊 实验亮点
实验结果表明，MMBench-Live在保持模型排名稳定的同时，生成的5900个新评估实例具有高达90%的答案正确率，且每次更新仅需30美元和1-2小时，显示出其高效性和可持续性。
🎯 应用场景
该研究的潜在应用领域包括视觉语言模型的评估、智能问答系统的优化以及多模态数据集的构建。通过提供一个动态更新的基准，MMBench-Live能够有效支持多模态模型的持续改进，提升其在实际应用中的表现和可靠性。
📄 摘要（原文）
Evaluation benchmarks are essential for assessing vision-language models (VLMs), but most multimodal benchmarks are static, making them vulnerable to temporal staleness, data contamination, and costly maintenance. We present MMBench-Live, a continuously evolving multimodal benchmark built by a multi-agent-driven automated pipeline. Our framework treats benchmark evolution as task-guided dataset construction, integrating structured benchmark specification, feedback-controlled real-time data acquisition, and verifiable QA generation with executable reasoning. To maintain cross-version comparability, we introduce a distribution-consistent update strategy that extracts task-related visual patterns from the original benchmark to guide data collection and filtering. Instantiated from MMBench, MMBench-Live contains 5.9K newly generated evaluation instances with a high answer correctness rate, while each update costs about USD 30 and takes 1-2 hours. Extensive evaluations show that MMBench-Live preserves stable model rankings, maintains semantic alignment with the original benchmark, and exhibits weaker contamination-related memorization signals, suggesting a practical and scalable paradigm for sustainable multimodal benchmark evolution. The project is available atthis https URL.