R2M-Bench: Evaluating Revisit Memory via Relative Consistency in Interactive Video World Models

📄 arXiv: 2608.27328v1 📥 PDF

作者: Qiwen Gu, Bingjie Gao, Rui Chen, Geng Li, Jifan Li, Qishuai Wen, Li Niu, Jing Tang, Xiangxiang Chu, Junqiao Zhao

分类: cs.CV

发布日期: 2026-08-27

备注: Code: https://github.com/AMAP-ML/R2MBench

💡 一句话要点

提出R2M-Bench以解决视频世界模型记忆评估问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 视频世界模型 重访记忆 一致性评估 相对校准 动态环境理解

📋 核心要点

  1. 现有方法在评估视频世界模型的记忆能力时，容易受到渲染稳定性和内容重复性的影响，导致结果不够可靠。
  2. 论文提出R2M-Bench，通过相对重访记忆的基准评估，比较重访帧与控制帧的相似性，提供更准确的记忆评估。
  3. 实验结果显示，R2M-Bench的整体归一化记忆比率与人类一致性判断的相关性为0.547，表明其有效性和实用性。

📝 摘要（中文）

高相似度的首次访问和返回帧并不一定表明视频世界模型记住了场景，因为中间的回放可能变化很小。这种模糊性使得绝对的重访评分对渲染稳定性、重复内容和运动失败非常敏感。我们引入了R2M-Bench（相对重访记忆基准），用于评估可观察的重访选择一致性。R2M-Bench通过比较重访对与来自同一回放的两个控制对，生成重访优势和归一化记忆比率。该基准结合100个参考场景和三条离开-返回轨迹，形成300个实例，并评估外观保真度、场景和物体身份、局部几何和持久状态。结果表明，R2M-Bench能够有效区分重访特定一致性与一般时间稳定性。

🔬 方法详解

问题定义：论文要解决的问题是如何准确评估视频世界模型的重访记忆能力。现有方法的痛点在于，绝对重访评分受到渲染稳定性和内容重复性的影响，导致评估结果不够可靠。

核心思路：论文的核心解决思路是引入R2M-Bench，通过比较重访帧与同一回放中的控制帧，评估重访选择的一致性，从而提供更为准确的记忆评估。

技术框架：R2M-Bench的整体架构包括三个主要模块：重访对的选择、控制对的生成以及一致性评估。每个重访对会与两个控制对进行比较，以计算重访优势和归一化记忆比率。

关键创新：最重要的技术创新点在于相对重访记忆的评估方法，通过同一回放的相对校准，能够有效区分重访特定一致性与一般时间稳定性，克服了传统方法的局限性。

关键设计：在关键设计上，论文设置了多个参数以优化重访对和控制对的选择，并采用特定的损失函数来衡量一致性，确保评估的准确性和可靠性。具体的网络结构和参数设置在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，R2M-Bench的整体归一化记忆比率与人类一致性判断的相关性为0.547，显著高于传统方法的0.207，表明相对校准能够有效减少慢动作捷径的影响。DreamX-World-Memo在评估的视频模型中取得了最高的整体归一化记忆比率，验证了该方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括视频监控、自动驾驶、虚拟现实等场景，能够帮助系统更好地理解和记忆动态环境中的重要信息。未来，该方法有望推动视频理解和场景重建技术的发展，提高智能系统的决策能力。

📄 摘要（原文）

High similarity between first-visit and return frames does not necessarily show that a video world model remembered the scene; the intervening rollout may simply have changed very little. This ambiguity makes absolute revisit scores sensitive to rendering stability, repetitive content, and failed motion. We introduce \emph{R2M-Bench} (\textbf{R}elative \textbf{R}evisit \textbf{M}emory Benchmark), a benchmark of observable revisit-selective consistency. For every detected return, R2M-Bench compares the revisit pair with two controls from the same rollout: a gap-matched non-revisit pair that measures generic temporal stability and a short-range pair that estimates short-horizon consistency. These comparisons produce \emph{MemoryGain} (MG), the revisit advantage over the temporal baseline, and the \emph{Normalized Memory Ratio} (NMR), which normalizes this advantage by the short-to-baseline dynamic range. R2M-Bench combines 100 reference scenes with three leave-and-return trajectories to form 300 instances and evaluates appearance fidelity, scene and object identity, local geometry, and persistent state. Across seven action-conditioned video world models, Overall NMR correlates with human consistency judgments at Spearman's $ρ=0.547$ (95\% CI $[0.45,0.63]$). Its within-model correlation magnitude with generated motion is $0.072$, compared with $0.207$ for raw revisit similarity, indicating that relative calibration substantially reduces the slow-motion shortcut. DreamX-World-Memo achieves the highest Overall NMR among the evaluated video models. Together, these results support same-rollout relative calibration as a practical way to distinguish revisit-specific consistency from generic temporal stability.