MMR-V: What's Left Unsaid? A Benchmark for Multimodal Deep Reasoning in Videos

📄 arXiv: 2506.04141v1 📥 PDF

作者: Kejian Zhu, Zhuoran Jin, Hongbang Yuan, Jiachun Li, Shangqing Tu, Pengfei Cao, Yubo Chen, Kang Liu, Jun Zhao

分类: cs.CV, cs.CL

发布日期: 2025-06-04

备注: Project Page: https://mmr-v.github.io

💡 一句话要点

提出MMR-V以解决多模态视频推理的挑战

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态推理 视频理解 长距离推理 深度学习 基准测试

📋 核心要点

  1. 现有视频基准主要关注理解任务，无法有效支持多帧证据的推理，限制了模型的推理能力。
  2. MMR-V基准要求模型进行长距离的多帧推理，并超越简单的感知，需对隐藏信息进行推理。
  3. 实验结果显示，当前模型在多模态推理上表现不佳，最佳模型的准确率仅为52.5%，推理增强策略效果有限。

📝 摘要（中文）

视频的顺序结构对多模态大语言模型（MLLMs）在定位多帧证据和进行多模态推理的能力提出了挑战。然而，现有的视频基准主要集中在理解任务上，仅要求模型匹配问题中提到的帧（称为“问题帧”）并感知少量相邻帧。为填补这一空白，我们提出了MMR-V：一个用于视频多模态深度推理的基准。该基准的特点包括：长距离多帧推理、超越感知的推理需求、手动注释的可靠性以及减少模型捷径的混淆性设计。MMR-V包含317个视频和1,257个任务。实验表明，当前模型在多模态推理上仍面临困难，最佳模型o4-mini的准确率仅为52.5%。

🔬 方法详解

问题定义：论文要解决的问题是现有视频基准无法有效支持多模态推理，尤其是在长距离多帧证据的定位和分析方面。现有方法主要集中于简单的理解任务，未能考虑复杂的推理需求。

核心思路：论文的核心思路是设计一个新的基准MMR-V，要求模型在长距离、多帧的情况下进行推理，并且需要超越简单的感知，深入分析隐藏信息。这样的设计旨在推动多模态推理能力的提升。

技术框架：MMR-V的整体架构包括317个视频和1,257个任务，任务设计上强调长距离推理和复杂的推理需求。每个任务都经过手动注释，以确保与真实用户理解的一致性。

关键创新：最重要的技术创新点在于引入了长距离多帧推理的需求，并设计了混淆性注释策略，以减少模型的捷径行为。这与现有方法的本质区别在于，现有方法往往只关注短期的感知匹配。

关键设计：在关键设计上，论文采用了手动注释的方式来确保任务的可靠性，并设计了多种干扰项以增强模型的推理能力。此外，任务的复杂性和多样性也为模型的训练提供了丰富的场景。

📊 实验亮点

实验结果显示，当前模型在多模态推理上表现不佳，最佳模型o4-mini的准确率仅为52.5%。此外，现有的推理增强策略（如Chain-of-Thought和测试时计算扩展）对性能提升的贡献有限，表明多模态推理的复杂性超出了文本推理的范畴。

🎯 应用场景

该研究的潜在应用领域包括视频理解、智能监控、自动驾驶等场景，能够帮助模型更好地进行复杂的多模态推理。通过提升模型的推理能力，未来可以在更广泛的实际应用中实现更高的智能化水平，推动相关技术的发展。

📄 摘要（原文）

The sequential structure of videos poses a challenge to the ability of multimodal large language models (MLLMs) to locate multi-frame evidence and conduct multimodal reasoning. However, existing video benchmarks mainly focus on understanding tasks, which only require models to match frames mentioned in the question (hereafter referred to as "question frame") and perceive a few adjacent frames. To address this gap, we propose MMR-V: A Benchmark for Multimodal Deep Reasoning in Videos. The benchmark is characterized by the following features. (1) Long-range, multi-frame reasoning: Models are required to infer and analyze evidence frames that may be far from the question frame. (2) Beyond perception: Questions cannot be answered through direct perception alone but require reasoning over hidden information. (3) Reliability: All tasks are manually annotated, referencing extensive real-world user understanding to align with common perceptions. (4) Confusability: Carefully designed distractor annotation strategies to reduce model shortcuts. MMR-V consists of 317 videos and 1,257 tasks. Our experiments reveal that current models still struggle with multi-modal reasoning; even the best-performing model, o4-mini, achieves only 52.5% accuracy. Additionally, current reasoning enhancement strategies (Chain-of-Thought and scaling test-time compute) bring limited gains. Further analysis indicates that the CoT demanded for multi-modal reasoning differs from it in textual reasoning, which partly explains the limited performance gains. We hope that MMR-V can inspire further research into enhancing multi-modal reasoning capabilities.