MORSE-500: A Programmatically Controllable Video Benchmark to Stress-Test Multimodal Reasoning

📄 arXiv: 2506.05523v1 📥 PDF

作者: Zikui Cai, Andrew Wang, Anirudh Satheesh, Ankit Nakhawa, Hyunwoo Jae, Keenan Powell, Minghui Liu, Neel Jay, Sungbin Oh, Xiyao Wang, Yongyuan Liang, Tom Goldstein, Furong Huang

分类: cs.CV, cs.AI, cs.CL, cs.LG

发布日期: 2025-06-05

💡 一句话要点

提出MORSE-500以解决多模态推理基准不足问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态推理 视频基准 程序化生成 视觉-语言模型 动态难度调整 抽象推理 规划能力

📋 核心要点

  1. 现有多模态推理基准主要依赖静态图像，无法有效捕捉时间动态和复杂推理能力。
  2. MORSE-500通过程序化生成500个视频片段，涵盖多种推理类别，支持动态难度调整。
  3. 初步实验显示，当前最先进的模型在抽象和规划任务上存在显著性能差距，MORSE-500为未来研究提供了新的基准。

📝 摘要（中文）

尽管视觉-语言模型（VLMs）迅速发展，但现有的多模态推理基准在三个关键维度上存在不足。首先，它们过于依赖静态图像，未能捕捉现实环境的时间复杂性。其次，它们主要集中在数学问题解决上，忽视了抽象、物理、规划、空间和时间等更广泛的推理能力。最后，许多基准很快饱和，缺乏诊断失败模式或衡量持续进展的空间。为此，本文提出了MORSE-500，一个由500个完全脚本化的短片组成的视频基准，涵盖六个互补的推理类别。每个实例通过确定性的Python脚本生成，支持对视觉复杂性、干扰密度和时间动态的精细控制，使得随着模型的改进，难度可以系统性地调整。

🔬 方法详解

问题定义：本文旨在解决现有多模态推理基准在时间复杂性、推理能力广度和饱和度方面的不足。现有方法主要依赖静态图像，无法全面评估模型的推理能力。

核心思路：MORSE-500通过程序化生成视频片段，涵盖六种推理类别，允许对难度进行精细控制，以适应模型的进步。这样的设计使得基准能够随着技术的发展而演变。

技术框架：MORSE-500的生成流程包括使用Python脚本（通过Manim、Matplotlib、MoviePy）生成视频，结合生成视频模型和策划的真实视频素材。整体架构支持对视觉复杂性和时间动态的系统性调整。

关键创新：MORSE-500的最大创新在于其程序化生成的特性，使得基准能够动态演变，避免了静态基准的饱和问题。这一设计使得研究人员能够持续测试和评估模型的推理能力。

关键设计：在生成过程中，关键参数包括视觉复杂性、干扰物体的密度和时间动态的设置。通过这些参数的调整，研究人员可以创建具有不同挑战性的实例，以适应不同模型的能力。

📊 实验亮点

初步实验表明，当前最先进的模型在MORSE-500基准上表现出显著的性能差距，尤其是在抽象和规划任务上，显示出较大的改进空间。这一发现强调了MORSE-500在推动多模态推理研究中的重要性。

🎯 应用场景

MORSE-500可广泛应用于多模态推理研究，尤其是在视觉-语言模型的评估和改进方面。其动态生成特性使得研究人员能够持续探索和测试新算法，推动多模态智能的发展。未来，该基准可能成为评估新一代模型的标准工具，促进相关领域的技术进步。

📄 摘要（原文）

Despite rapid advances in vision-language models (VLMs), current benchmarks for multimodal reasoning fall short in three key dimensions. First, they overwhelmingly rely on static images, failing to capture the temporal complexity of real-world environments. Second, they narrowly focus on mathematical problem-solving, neglecting the broader spectrum of reasoning skills -- including abstract, physical, planning, spatial, and temporal capabilities -- required for robust multimodal intelligence. Third, many benchmarks quickly saturate, offering limited headroom for diagnosing failure modes or measuring continued progress. We introduce MORSE-500 (Multimodal Reasoning Stress-test Environment), a video benchmark composed of 500 fully scripted clips with embedded questions spanning six complementary reasoning categories. Each instance is programmatically generated using deterministic Python scripts (via Manim, Matplotlib, MoviePy), generative video models, and curated real footage. This script-driven design allows fine-grained control over visual complexity, distractor density, and temporal dynamics -- enabling difficulty to be scaled systematically as models improve. Unlike static benchmarks that become obsolete once saturated, MORSE-500 is built to evolve: its controllable generation pipeline supports the creation of arbitrarily challenging new instances, making it ideally suited for stress-testing next-generation models. Initial experiments with state-of-the-art systems -- including various Gemini 2.5 Pro and OpenAI o3 which represent the strongest available at the time, alongside strong open-source models -- reveal substantial performance gaps across all categories, with particularly large deficits in abstract and planning tasks. We release the full dataset, generation scripts, and evaluation harness to support transparent, reproducible, and forward-looking multimodal reasoning research.