MemoBench: Benchmarking World Modeling in Dynamically Changing Environments

📄 arXiv: 2606.27537 📥 PDF

作者: Haoyu Chen, Kaichen Zhou, Hang Hua, Kaile Zhang, Jingwen Qian, Wufei Ma, Haonan Chen, Chunjiang Liu, Yizhou Zhao, Xiaoyuan Wang, Weiyue Li, Alan Yuille, Paul Pu Liang, Yilun Du

分类: cs.CV

发布日期: 2026-07-05

💡 一句话要点

提出MemoBench以解决动态环境中物体记忆一致性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 动态环境 物体记忆 视频生成 基准评估 消失-重新出现 视觉问答 模型评估

📋 核心要点

  1. 现有方法主要评估物体在视野内的一致性，缺乏对动态变化环境中物体消失与重新出现的有效评估。
  2. 本文提出MemoBench基准，通过消失-重新出现的范式，评估物体在动态环境中的记忆一致性。
  3. 实验结果显示，八个最先进模型在该基准下的表现揭示了记忆一致性的重要性及其面临的挑战。

📝 摘要（中文）

视频生成模型旨在模拟动态环境，现有基准主要评估物体在视野内的一致性，而缺乏对物体消失和重新出现的动态场景的评估。为此，本文提出了MemoBench，一个围绕消失-重新出现范式构建的诊断基准，目标物体经历物理过程后消失，并在重新出现时正确恢复其更新状态。我们整理了360个真实与合成场景的地面真实视频片段，并设计了结合自动化指标与基于视觉问答的评估套件，涵盖四个诊断支柱。对八个最先进模型的评估揭示了记忆一致性在消失-重新出现范式下的关键见解与挑战。

🔬 方法详解

问题定义：本文旨在解决动态环境中物体记忆一致性的问题，现有方法在物体消失后无法有效评估其重新出现时的状态，导致评估结果不全面。

核心思路：我们提出MemoBench基准，围绕消失-重新出现的范式设计，确保模型能够在物体消失后正确恢复其状态，从而更全面地评估记忆一致性。

技术框架：MemoBench的整体架构包括数据集构建、评估指标设计和模型评估三个主要模块。数据集包含360个真实与合成场景的视频片段，评估指标结合自动化测量与视觉问答（VQA）方法。

关键创新：MemoBench的核心创新在于引入了消失-重新出现的范式，填补了现有基准在动态环境评估中的空白，使得模型在物体消失后的状态恢复成为评估重点。

关键设计：在设计中，我们设置了多种自动化评估指标，并结合VQA方法进行综合评估，确保评估结果的全面性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，八个最先进模型在MemoBench基准下的表现存在显著差异，揭示了在消失-重新出现范式下，记忆一致性的重要性和挑战。具体性能数据尚未披露，但评估结果为未来研究提供了重要的参考和方向。

🎯 应用场景

该研究的潜在应用领域包括机器人视觉、自动驾驶、虚拟现实等，能够帮助模型更好地理解和预测动态环境中的物体行为，从而提升智能系统的决策能力和交互体验。未来，MemoBench可能成为评估视频生成模型和动态场景理解的重要标准。

📄 摘要（原文）

Video generation models aspire to simulate dynamic environments, and several benchmarks now evaluate memory consistency across frames. However, most assess consistency only while the target remains in view, and the few that force objects out of view evaluate static scenes where nothing changes during occlusion. To bridge this gap, we introduce MemoBench, a diagnostic benchmark built around the disappear-and-reappear paradigm in dynamically changing environments: a target object undergoes a physical process, disappears from view, and must be correctly recovered in its updated state upon reappearance. We curate 360 ground-truth clips spanning synthetic and real-world scenes, and design an evaluation suite combining automated metrics with VQA-based assessment across four diagnostic pillars. Evaluation of eight state-of-the-art models reveals key insights and open challenges regarding memory consistency under the disappear-and-reappear paradigm.