Addressable Memory for Video World Models

📄 arXiv: 2608.07408v1 📥 PDF

作者: Xindi Wu, Sven Elflein, James Lucas, Olga Russakovsky, Laura Leal-Taixé, Despoina Paschalidou, Jonathan Lorraine, Aljoša Ošep

分类: cs.CV, cs.LG

发布日期: 2026-08-07

备注: Project page: https://research.nvidia.com/labs/sil/projects/WorldTrace/

💡 一句话要点

提出WorldTrace以解决视频世界模型中的视觉持久性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 视觉持久性 视频世界模型 内存框架 长时间回忆 交互式学习 基准测试 压缩内存

📋 核心要点

  1. 现有的交互式视频世界模型在回放超出训练范围时，无法有效寻址存储的视觉信息，导致性能下降。
  2. 论文提出WorldTrace框架，通过为每个内存摘要分配独特的虚拟位置，保持压缩内存的可寻址性，解决了视觉持久性问题。
  3. 在LoopBench基准上，WorldTrace-Field和WorldTrace-Landmark分别提高了时间一致性15.5%和情节回忆19.5%，显著扩展了视觉持久生成能力。

📝 摘要（中文）

本研究探讨了交互式视频世界模型中的视觉持久性。这些模型依赖于键值（KV）缓存作为不断增长的视觉记忆，以保留先前生成的帧。然而，当回放超出训练范围时，模型无法可靠地寻址存储内容，导致注意力机制难以检索相关视觉信息。为了解决这一问题，本文提出了WorldTrace，一个无需训练的内存框架，旨在实现长时间的视觉持久性。WorldTrace通过为每个摘要槽分配独特的虚拟位置，使压缩内存可寻址。我们研究了两种内存压缩方法，并引入了LoopBench基准，评估压缩缓存在长时间偏离后重建先前场景的能力。实验结果表明，WorldTrace-Field和WorldTrace-Landmark分别提高了时间一致性和情节回忆。

🔬 方法详解

问题定义：本文旨在解决交互式视频世界模型在回放超出训练范围时，无法有效寻址存储内容的问题。现有方法在时间旋转位置嵌入（RoPE）超出训练范围时，难以检索相关视觉信息，导致性能下降。

核心思路：论文提出的WorldTrace框架通过为每个内存摘要槽分配独特的虚拟位置，确保压缩内存的可寻址性，从而实现长时间的视觉持久性。该设计避免了在RoPE旋转空间中简单压缩缓存所带来的信息损失。

技术框架：WorldTrace框架包含两个主要模块：WorldTrace-Field和WorldTrace-Landmark。前者用于压缩历史信息以保持时间一致性，后者则在检测到场景转变时存储原始场景轨迹，以实现情节回忆。

关键创新：最重要的技术创新在于通过虚拟位置的分配，使得压缩内存仍然可寻址，避免了传统方法中因位置相位不兼容而导致的记忆损坏。这一设计与现有方法的根本区别在于其无需重新训练即可扩展视觉持久性。

关键设计：在WorldTrace中，内存的压缩方法采用了两种策略，分别针对时间一致性和情节回忆进行了优化。具体的参数设置和损失函数设计未在摘要中详细说明，需参考完整论文以获取更多技术细节。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，WorldTrace-Field在LoopBench基准上提高了时间一致性15.5%，而WorldTrace-Landmark则提升了情节回忆19.5%。这些结果表明，WorldTrace框架在无需重新训练的情况下，显著扩展了视觉持久生成的能力。

🎯 应用场景

该研究的潜在应用领域包括虚拟现实、增强现实和游戏开发等需要长时间视觉记忆的场景。通过提升视频世界模型的视觉持久性，能够增强用户体验和交互性，推动智能系统在复杂环境中的应用。未来，该技术可能会影响多模态学习和人机交互的研究方向。

📄 摘要（原文）

We study visual persistence in interactive video world models. These models rely on a Key-Value (KV) cache as a growing visual memory to carry forward previously generated frames. However, we find that models can no longer reliably address stored content once rollouts extend beyond the training horizon, because temporal Rotary Positional Embeddings (RoPE) offsets then fall outside the range seen during training and the model struggles to retrieve the relevant visual information through attention. Moreover, naively compressing the cache in the RoPE-rotated space corrupts memory by averaging together incompatible positional phases. To address this, we propose WorldTrace, a training-free memory framework for long-horizon visual persistence. WorldTrace keeps compressed memory addressable by assigning each summary slot a distinct, in-distribution virtual position. Within this addressable cache, we study two memory compression approaches: WorldTrace-Field compresses history for temporal coherence, while WorldTrace-Landmark stores verbatim scene traces at detected transitions for episodic recall. We further introduce LoopBench, a benchmark evaluating whether a compressed cache can reconstruct a previously visited scene after a long detour. WorldTrace-Field improves temporal consistency by +15.5%, and WorldTrace-Landmark improves episodic recall by +19.5% on LoopBench, extending visually persistent generation without retraining.