MMBench-Live: A Continuously Evolving Benchmark for Multimodal Models
作者: Yuanzhi Liu, Shousheng Zhao, Bo Zhou, Kongming Liang, Zhanyu Ma
分类: cs.CV, cs.AI
发布日期: 2026-07-02
🔗 代码/项目: GITHUB
💡 一句话要点
提出MMBench-Live以解决多模态基准评估的静态性问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态基准 自动化管道 数据更新 模型评估 视觉语言模型
📋 核心要点
- 现有的多模态基准大多是静态的，容易受到时间滞后和数据污染的影响，维护成本高。
- 提出MMBench-Live，通过多代理自动化管道实现基准的持续演变，集成实时数据获取和问答生成。
- 实验结果表明，MMBench-Live在模型排名和语义一致性上表现稳定，且更新成本低，效率高。
📝 摘要（中文）
评估基准对于评估视觉语言模型（VLMs）至关重要，但大多数多模态基准是静态的，容易受到时间滞后、数据污染和维护成本高等问题的影响。本文提出了MMBench-Live，这是一个通过多代理驱动的自动化管道构建的持续演变的多模态基准。该框架将基准演变视为任务引导的数据集构建，集成了结构化基准规范、反馈控制的实时数据获取和可验证的问答生成。为了保持跨版本的可比性，本文引入了一种分布一致的更新策略，从原始基准中提取任务相关的视觉模式以指导数据收集和过滤。MMBench-Live从MMBench实例化，包含5900个新生成的评估实例，具有较高的答案正确率，每次更新成本约为30美元，耗时1-2小时。广泛的评估表明，MMBench-Live保持了稳定的模型排名，与原始基准保持语义一致，并表现出较弱的污染相关记忆信号，表明这是一个可持续的多模态基准演变的实用和可扩展范式。
🔬 方法详解
问题定义：本文旨在解决现有多模态基准的静态性问题，导致评估结果的时效性和准确性下降。现有方法在数据更新和维护上存在高成本和低效率的痛点。
核心思路：论文提出MMBench-Live，通过多代理驱动的自动化管道实现基准的持续演变，确保数据的实时更新和高质量生成。该方法通过任务引导的数据集构建，增强了基准的适应性和可持续性。
技术框架：整体架构包括结构化基准规范、反馈控制的实时数据获取和可验证的问答生成模块。数据收集和过滤过程由任务相关的视觉模式指导，以确保数据的相关性和质量。
关键创新：最重要的创新点在于引入了分布一致的更新策略，使得新生成的数据与原始基准保持一致性，从而提高了跨版本的可比性。与传统静态基准相比，MMBench-Live能够动态适应新的任务需求。
关键设计：在参数设置上，更新过程的成本控制在30美元左右，耗时1-2小时。损失函数和网络结构的具体细节未在摘要中详细说明，需参考完整论文以获取更多信息。
📊 实验亮点
实验结果显示，MMBench-Live在模型排名的稳定性上表现优异，保持了与原始基准的语义一致性，并且在污染相关的记忆信号上表现较弱，表明其在基准演变中的有效性。更新过程的成本仅为30美元，耗时1-2小时，显示出其高效性。
🎯 应用场景
该研究的潜在应用领域包括多模态学习、自然语言处理和计算机视觉等。MMBench-Live的持续演变特性使其能够适应快速变化的应用需求，提升模型评估的准确性和时效性，具有重要的实际价值和未来影响。
📄 摘要（原文）
Evaluation benchmarks are essential for assessing vision-language models (VLMs), but most multimodal benchmarks are static, making them vulnerable to temporal staleness, data contamination, and costly maintenance. We present MMBench-Live, a continuously evolving multimodal benchmark built by a multi-agent-driven automated pipeline. Our framework treats benchmark evolution as task-guided dataset construction, integrating structured benchmark specification, feedback-controlled real-time data acquisition, and verifiable QA generation with executable reasoning. To maintain cross-version comparability, we introduce a distribution-consistent update strategy that extracts task-related visual patterns from the original benchmark to guide data collection and filtering. Instantiated from MMBench, MMBench-Live contains 5.9K newly generated evaluation instances with a high answer correctness rate, while each update costs about USD 30 and takes 1-2 hours. Extensive evaluations show that MMBench-Live preserves stable model rankings, maintains semantic alignment with the original benchmark, and exhibits weaker contamination-related memorization signals, suggesting a practical and scalable paradigm for sustainable multimodal benchmark evolution. The project is available at https://github.com/PRIS-CV/MMBench-Live.