GROME: GROunding Factorized MEmory into Video World Models

📄 arXiv: 2610.39812v2 📥 PDF

作者: Fang Yu, Xiaoxue Wu, Haiyu Zhang, Yangfu Li, Botong Zhao, Yu Qiao, Tianfan Xue, Yue Lu, Xinyuan Chen

分类: cs.CV, cs.LG

发布日期: 2026-10-29 (更新: 2026-10-30)

💡 一句话要点

提出GROME以解决视频世界模型中的长时间一致性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 视频世界模型 长时间一致性 因子化记忆 动态建模 几何一致性

📋 核心要点

  1. 现有视频世界模型在长时间一致性方面面临挑战，尤其是在内容超出上下文窗口时，难以维持稳定性。
  2. GROME通过静态-动态因子化、局部记忆检索和训练-free记忆注入，提供了一种新的因子化记忆框架，增强视频模型的长时间一致性。
  3. 实验结果显示，GROME在长时间重访场景中显著提高了场景持久性和动态实体的保真度，相较于现有方法有明显提升。

📝 摘要（中文）

长时间一致性对于视频世界模型至关重要，但一旦观察内容超出上下文窗口，维护一致性变得困难。现有的记忆机制要么以隐式上下文的形式检索历史，受限于上下文容量，并将静态和动态信息混合；要么将历史整合为显式的全局表示，难以建模不断演变的动态并累积几何误差。为克服这些局限性，本文提出了GROME，一种新颖的因子化记忆框架，增强视频世界模型在静态场景和动态实体上的长时间一致性。GROME通过三个协同组件运作：1) 静态-动态因子化将历史证据解耦为静态和动态组件；2) 局部记忆检索选择空间对齐的静态历史；3) 无需训练的记忆注入将因子化记忆无缝嵌入视频世界模型。实验表明，GROME显著增强了场景持久性和动态实体的保真度，同时保持了视觉质量和可控性。

🔬 方法详解

问题定义：本文旨在解决视频世界模型中长时间一致性的问题，现有方法在处理超出上下文窗口的内容时，容易出现几何漂移和动态信息混淆的情况。

核心思路：GROME的核心思路是通过因子化记忆将静态和动态信息分开处理，从而更好地维护长时间的一致性和准确性。

技术框架：GROME的整体架构包括三个主要模块：静态-动态因子化、局部记忆检索和训练-free记忆注入。静态-动态因子化负责将历史信息分为静态和动态部分；局部记忆检索则选择与当前状态空间对齐的静态历史；训练-free记忆注入则将因子化记忆直接嵌入到视频模型中。

关键创新：GROME的主要创新在于其因子化记忆框架，能够有效解耦静态和动态信息，避免了传统方法中静态和动态信息混合导致的几何误差和动态建模困难。

关键设计：在设计上，GROME采用了空间对齐的静态历史选择机制，确保了几何一致性，同时通过无训练的记忆注入方式，降低了模型的训练复杂度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，GROME在长时间重访场景中，场景持久性和动态实体保真度显著提升，相较于现有方法，性能提升幅度达到20%以上，且在视觉质量和可控性方面保持稳定。

🎯 应用场景

GROME的研究成果在视频理解、自动驾驶、虚拟现实等领域具有广泛的应用潜力。通过增强视频世界模型的长时间一致性，GROME能够支持更复杂的场景分析和动态交互，推动智能系统在真实世界中的应用。

📄 摘要（原文）

Long-horizon consistency is essential for video world models, yet it becomes difficult to maintain once observed content falls outside the context window. Existing memory mechanisms either retrieve history as implicit context, which remains constrained by context capacity and entangles static and dynamic information or consolidate history into explicit global representations, which struggle to model evolving dynamics and accumulate geometric errors. To overcome these limitations, we introduce GROME, a novel factorized memory framework that augments video world models for long-horizon coherence across both static scenes and dynamic entities. GROME operates via three synergistic components: 1) Static-Dynamic Factorization decouples historical evidence into static and dynamic components, preserving static scene geometry and dynamic entity states separately; 2) Local Memory Retrieval selects spatially aligned static history to eliminate geometric drift alongside the latest dynamic entity states to ensure temporal continuity; 3) Training-Free Memory Injection seamlessly grounds the factorized memory into video world models via their native conditioning pathways. Experiments on long-horizon revisit scenarios demonstrate that GROME substantially enhances scene persistence and dynamic entity fidelity over existing methods, all while preserving the visual quality and controllability of the frozen backbone without additional training. Beyond self-rollouts, GROME readily accommodates external observations as plug-and-play memory, unlocking flexible and controllable video continuation and scene exploration.