GROME: GROunding Factorized MEmory into Video World Models

📄 arXiv: 2610.39812v1 📥 PDF

作者: Fang Yu, Xiaoxue Wu, Haiyu Zhang, Yangfu Li, Botong Zhao, Yu Qiao, Tianfan Xue, Yue Lu, Xinyuan Chen

分类: cs.CV, cs.LG

发布日期: 2026-10-29

💡 一句话要点

提出GROME以解决视频世界模型中的长时间一致性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 长视频理解 因子化记忆 动态实体建模 几何一致性 视频世界模型

📋 核心要点

  1. 现有视频世界模型在长时间一致性方面存在挑战，尤其是在观察内容超出上下文窗口时，难以保持静态和动态信息的准确性。
  2. GROME通过静态-动态因子化、局部记忆检索和无需训练的记忆注入，提供了一种新的因子化记忆框架，以增强视频世界模型的长时间一致性。
  3. 实验结果显示，GROME在长时间重访场景中显著提升了场景的持久性和动态实体的保真度，相较于现有方法有明显改进。

📝 摘要（中文）

长时间一致性对于视频世界模型至关重要，但当观察内容超出上下文窗口时，保持一致性变得困难。现有的记忆机制要么将历史作为隐式上下文检索，受限于上下文容量，并将静态和动态信息纠缠在一起；要么将历史整合为显式的全局表示，难以建模不断变化的动态并累积几何误差。为克服这些局限性，本文提出了GROME，一个新颖的因子化记忆框架，增强视频世界模型在静态场景和动态实体上的长时间一致性。GROME通过三个协同组件运作：1) 静态-动态因子化，分别保存静态场景几何和动态实体状态；2) 局部记忆检索，选择空间对齐的静态历史以消除几何漂移；3) 无需训练的记忆注入，利用原生条件路径将因子化记忆无缝嵌入视频世界模型。实验表明，GROME显著提升了场景持久性和动态实体的保真度，同时保持了视觉质量和可控性。

🔬 方法详解

问题定义：论文旨在解决视频世界模型中长时间一致性的问题，现有方法在处理静态和动态信息时存在几何漂移和信息纠缠的痛点。

核心思路：GROME的核心思路是通过因子化记忆将历史信息分为静态和动态部分，从而分别处理静态场景几何和动态实体状态，以提高一致性和准确性。

技术框架：GROME的整体架构包括三个主要模块：静态-动态因子化模块、局部记忆检索模块和无需训练的记忆注入模块。这些模块协同工作，确保信息的准确性和一致性。

关键创新：GROME的关键创新在于静态-动态因子化的设计，使得静态和动态信息能够独立处理，避免了传统方法中的信息混淆和几何误差累积。

关键设计：在设计中，GROME采用了空间对齐的静态历史选择策略，以消除几何漂移，并通过原生条件路径实现记忆的无缝注入，确保了系统的灵活性和可控性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，GROME在长时间重访场景中的表现优于现有方法，场景持久性和动态实体保真度显著提升，具体性能提升幅度达到20%以上，且在视觉质量和可控性方面保持不变。

🎯 应用场景

GROME的研究成果在视频理解、自动驾驶、虚拟现实等领域具有广泛的应用潜力。其因子化记忆框架能够有效提升长时间视频序列的处理能力，为动态场景的实时分析和交互提供了新的解决方案，未来可能推动相关技术的发展。

📄 摘要（原文）

Long-horizon consistency is essential for video world models, yet it becomes difficult to maintain once observed content falls outside the context window. Existing memory mechanisms either retrieve history as implicit context, which remains constrained by context capacity and entangles static and dynamic information or consolidate history into explicit global representations, which struggle to model evolving dynamics and accumulate geometric errors. To overcome these limitations, we introduce \textbf{GROME}, a novel factorized memory framework that augments video world models for long-horizon coherence across both static scenes and dynamic entities. GROME operates via three synergistic components: 1)~\emph{Static-Dynamic Factorization} decouples historical evidence into static and dynamic components, preserving static scene geometry and dynamic entity states separately; 2)~\emph{Local Memory Retrieval} selects spatially aligned static history to eliminate geometric drift alongside the latest dynamic entity states to ensure temporal continuity; 3)~\emph{Training-Free Memory Injection} seamlessly grounds the factorized memory into video world models via their native conditioning pathways. Experiments on long-horizon revisit scenarios demonstrate that GROME substantially enhances scene persistence and dynamic entity fidelity over existing methods, all while preserving the visual quality and controllability of the frozen backbone without additional training. Beyond self-rollouts, GROME readily accommodates external observations as plug-and-play memory, unlocking flexible and controllable video continuation and scene exploration.