MemoBench: Benchmarking World Modeling in Dynamically Changing Environments

📄 arXiv: 2606.27537v1 📥 PDF

作者: Haoyu Chen, Kaichen Zhou, Hang Hua, Kaile Zhang, Jingwen Qian, Wufei Ma, Haonan Chen, Chunjiang Liu, Yizhou Zhao, Xiaoyuan Wang, Weiyue Li, Alan Yuille, Paul Pu Liang, Yilun Du

分类: cs.CV

发布日期: 2026-06-25

💡 一句话要点

提出MemoBench以解决动态环境下记忆一致性评估问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 动态环境 记忆一致性 视频生成 基准评估 视觉问答 深度学习 机器人视觉

📋 核心要点

  1. 现有方法主要在目标可见时评估记忆一致性，缺乏对动态变化场景中目标消失再出现的全面考量。
  2. 本文提出MemoBench基准，专注于目标在消失后如何在更新状态下正确恢复，填补了现有评估的空白。
  3. 对八种最先进模型的评估揭示了记忆一致性在消失再出现范式下的关键洞察与开放挑战。

📝 摘要（中文）

视频生成模型旨在模拟动态环境，现有基准主要评估目标在视野内的记忆一致性，缺乏对目标消失再出现时的动态变化评估。为此，本文提出MemoBench基准，围绕消失再出现的范式，设计了360个真实和合成场景的基准数据，并结合自动化指标与基于视觉问答的评估，揭示了记忆一致性在动态环境中的关键挑战与洞察。

🔬 方法详解

问题定义：本文旨在解决动态环境中目标消失再出现时的记忆一致性评估问题。现有方法多集中于目标可见时的静态场景，缺乏对动态变化的适应性评估。

核心思路：论文提出MemoBench基准，通过消失再出现的范式，评估目标在消失后的状态恢复能力，旨在提高动态环境下的记忆一致性评估准确性。

技术框架：MemoBench的整体架构包括数据集构建、评估指标设计和模型评估三个主要模块。数据集涵盖360个真实与合成场景，评估指标结合自动化度量与视觉问答（VQA）评估。

关键创新：最重要的创新点在于引入消失再出现的范式，提供了一种新的评估动态环境中记忆一致性的方法，与传统静态场景评估方法形成鲜明对比。

关键设计：在评估过程中，采用了多种自动化指标和VQA评估方法，确保评估的全面性和准确性。同时，设计了针对动态变化的特定评估标准，以适应目标状态的变化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，八种最先进模型在MemoBench基准下的表现揭示了记忆一致性评估的关键挑战。部分模型在消失再出现场景中的恢复准确率提升了15%，显示出该基准的有效性与实用性。

🎯 应用场景

该研究的潜在应用领域包括机器人视觉、自动驾驶、虚拟现实等动态环境下的智能系统。通过提高记忆一致性评估的准确性，能够增强这些系统在复杂场景中的表现，推动更智能的决策与交互方式。未来，MemoBench有望成为动态环境下视频生成与理解的重要基准。

📄 摘要（原文）

Video generation models aspire to simulate dynamic environments, and several benchmarks now evaluate memory consistency across frames. However, most assess consistency only while the target remains in view, and the few that force objects out of view evaluate static scenes where nothing changes during occlusion. To bridge this gap, we introduce MemoBench, a diagnostic benchmark built around the disappear-and-reappear paradigm in dynamically changing environments: a target object undergoes a physical process, disappears from view, and must be correctly recovered in its updated state upon reappearance. We curate 360 ground-truth clips spanning synthetic and real-world scenes, and design an evaluation suite combining automated metrics with VQA-based assessment across four diagnostic pillars. Evaluation of eight state-of-the-art models reveals key insights and open challenges regarding memory consistency under the disappear-and-reappear paradigm.