VideoMemBench: How Well Do MLLMs Remember in Video Conversations?
作者: Zhengdong Hu, Chao Wang, Kaituo Feng, Huanjin Yao, Mingfei Lu, Hehe Fan, Yi Yang
分类: cs.CV
发布日期: 2026-10-29
💡 一句话要点
提出VideoMemBench以评估多模态大语言模型在视频对话中的记忆能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态大语言模型 视频对话 上下文记忆 跨轮依赖 视频问答基准 信息检索 模型评估
📋 核心要点
- 现有视频问答基准未能有效评估多模态大语言模型在多轮对话中的记忆能力，导致模型无法在对话中有效利用先前的信息。
- 本文提出VideoMemBench，通过设计跨轮依赖关系，要求模型在回答问题时检索和重用早期对话中的信息，从而评估其上下文视频记忆能力。
- 在对20多种MLLMs的评估中，Claude Opus 5表现最佳，但整体得分仅为45.7%，显示出在视频对话中保持上下文记忆的困难。
📝 摘要（中文）
多模态大语言模型（MLLMs）现已能够处理长达数小时的视频，使得在单个视频上进行多轮对话成为一种自然的使用模式。维持这样的对话不仅需要独立回答每个问题，还需要模型检索和重用在对话中早期建立的信息，这种能力被称为上下文视频记忆。现有的视频问答基准未能测量这一能力。为此，本文提出了VideoMemBench，结合视频与长多轮对话，设计了跨轮依赖关系，验证了问题的必要性和非泄露性。该基准包含326个视频和2476个对话轮次，评估了20多种MLLMs，结果显示Claude Opus 5的表现最佳，但整体得分仅为45.7%，突显了上下文视频记忆的挑战。
🔬 方法详解
问题定义：本文旨在解决现有视频问答基准无法评估多模态大语言模型在多轮对话中记忆能力的问题。现有方法的问题在于问题之间相互独立，无法检验模型的记忆能力。
核心思路：论文提出VideoMemBench，通过设计带有类型的跨轮依赖关系，要求模型在回答问题时回忆先前的视觉信息和自身的回答，从而评估其上下文视频记忆能力。
技术框架：整体架构包括三个主要角色：规划者、生成器和评估者。首先，规划者设计对话结构，生成器负责生成对话内容，最后评估者对生成的对话进行审核，确保其符合必要性和非泄露性。
关键创新：最重要的创新点在于引入了跨轮依赖关系，包括情节依赖和答案依赖，前者要求模型回忆视觉信息，后者要求模型基于自身的早期回答进行推理。这与现有方法的本质区别在于强调了信息的连续性和依赖性。
关键设计：在设计过程中，确保每个问题的必要性，即问题不能在没有早期轮次的情况下回答；同时，确保非泄露性，即问题不重复早期轮次的信息。对话的生成和审核过程由人类专家进行评估，以保证数据的质量和有效性。
🖼️ 关键图片
📊 实验亮点
在对20多种开源和闭源的多模态大语言模型进行评估时，Claude Opus 5的表现最佳，整体得分仅为45.7%。这一结果突显了在视频对话中保持上下文记忆的挑战，表明当前模型在这一任务上的能力仍有待提升。
🎯 应用场景
该研究的潜在应用领域包括智能客服、教育培训和视频内容分析等。通过提升多模态大语言模型在视频对话中的记忆能力，可以显著改善人机交互的自然性和有效性，推动相关技术的发展与应用。
📄 摘要（原文）
Multimodal large language models (MLLMs) can now process hour-long videos, making extended multi-turn dialogue over a single video a natural mode of use. Sustaining such a dialogue requires more than answering each question in isolation: the model must retrieve and reuse information established earlier in the conversation, both what it has seen and what it has said, an ability we term in-context video memory. Existing video QA benchmarks leave this ability unmeasured: their questions are mutually independent, never reference one another, and each is answerable from the video alone, so nothing ever requires carrying information across turns. We introduce VideoMemBench, in which each sample pairs a single video with a long multi-turn dialogue, whose turns are connected by typed cross-turn dependencies: an Episodic Dependency refers back to a visual episode described in an earlier turn, probing memory of what the model has seen, while an Answer Dependency builds on the model's own earlier answer, probing memory of what the model has said. Every dependency is verified considering two properties: 1) necessity, meaning the question cannot be answered without its earlier turns, and 2) non-leakage, meaning the question does not restate the information from its earlier turns. To enforce these properties, we design a construction pipeline with three LLM roles: a planner, a generator, and a judger, with each dialogue reviewed by human experts. VideoMemBench comprises 326 videos with 2,476 turns, of which 1,387 depend on earlier turns, including multi-parent dependencies and long-range call-back. Among over 20 evaluated open- and closed-source MLLMs, Claude Opus 5 performs the best with an overall score of only 45.7\%, highlighting the challenge of in-context video memory. Our dataset and evaluation are released.