ReWorld: An Interactive World Model with Long-Horizon Memory
作者: Zhifei Chen, Luozhou Wang, Guibao Shen, Dongyu Yan, Shuai Yang, Tianshuo Xu, Yihua Du, Wei Wang, Tianyi Gui, Lianghua Huang, Yingcong Chen
分类: cs.AI
发布日期: 2026-08-24
备注: 21 pages, 9 figures. Project page: https://zhifeichen097.github.io/ReWorld/
💡 一句话要点
提出ReWorld以解决交互式世界模型的长时记忆问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 交互式世界模型 长时记忆 混合注意力 随机头路由 分布匹配蒸馏 实时交互 虚拟现实
📋 核心要点
- 现有的交互式世界模型在长时记忆和实时控制之间存在结构性张力，难以兼顾短期和长期的需求。
- ReWorld通过分离训练中的控制与记忆，并在推理时加以限制，采用混合注意力机制和随机头路由来优化模型性能。
- 在与六个最新的交互式世界模型的对比中，ReWorld在控制精度和生成质量上均表现最佳，尤其在长时间回放中保持了视图的再生能力。
📝 摘要（中文）
交互式世界模型需要实时跟踪用户的动作，记住展示过的地点。ReWorld通过在训练期间分离控制与记忆，并在推理时加以限制，解决了这一结构性张力。该模型采用混合的注意力机制，大部分头部关注近期历史，而少数全局头部则关注整个历史。推理阶段，模型在固定预算下使用一个基于姿态索引的地标库来检索与当前姿态最近的地标。通过分布匹配蒸馏和LoRA适配器，模型在高保真和实时交互模式下实现了704x1280的视频流，展现了优异的控制精度和生成质量。
🔬 方法详解
问题定义：本论文旨在解决交互式世界模型在长时记忆与实时控制之间的矛盾。现有方法往往无法有效处理长时间的历史信息，导致控制精度下降。
核心思路：ReWorld通过在训练阶段分离控制与记忆，推理阶段使用固定的预算来管理历史信息。采用混合的注意力机制，使得模型能够在短期和长期记忆之间灵活切换。
技术框架：整体架构包括训练阶段的混合注意力机制和推理阶段的固定KV缓存。模型通过姿态索引的地标库来检索与当前姿态相关的地标，并使用分布匹配蒸馏来优化性能。
关键创新：最重要的创新在于引入了随机头路由和混合注意力机制，使得模型能够在不同的历史信息上进行有效的选择与处理，这与现有方法的固定注意力机制形成了鲜明对比。
关键设计：模型采用了LoRA适配器进行分布匹配蒸馏，压缩采样至四个步骤，确保在高保真和实时交互模式下的流畅性。
🖼️ 关键图片
📊 实验亮点
在三轴协议下，ReWorld在动作跟随、长时回忆和视频质量方面表现优异，控制精度达到$11.95^ heta$的旋转误差，且在$64$秒的回放中，固定的12块缓存仍能再生初始视图，超越了六个最新的交互式世界模型。
🎯 应用场景
ReWorld的研究成果在虚拟现实、游戏开发和机器人导航等领域具有广泛的应用潜力。通过提供高效的交互式世界模型，该技术可以提升用户体验，支持更复杂的任务执行和环境理解。
📄 摘要（原文）
An interactive world model must follow the user's actions, remember the places it has shown, and stream in real time. The tension is structural: control wants a short horizon, memory wants an unbounded one. ReWorld separates the two during training and bounds them at inference. Mixed per-head attention windows confine most heads to the recent past while a small set of global heads attends over the entire history, and random head routing keeps either capability from binding to particular heads; random chunk dropping makes sparse histories in-distribution. At inference the whole past lives under a fixed budget: a bounded KV cache backed by a pose-indexed landmark bank, from which the model retrieves the landmarks nearest the current pose. A metric-scale-aligned data engine places eight sources -- Unreal-rendered fly-throughs, game roaming, and real-world footage -- on one physical action scale, so the same key press moves the camera the same distance in every source, and palindrome trajectories supply the revisit evidence that memory training needs. Distribution-matching distillation confined to a LoRA adapter then compresses sampling to four steps: one backbone serves both a high-fidelity multi-step mode and a real-time interactive one, streaming 704x1280 video across photorealistic, game-style, and stylized worlds. Under a three-axis protocol covering action following, long-horizon recall, and video quality, against six recent interactive world models it attains the best control fidelity ($11.95^\circ$ rotation error and the best camera-motion consistency) and the best generation quality; and on minute-long out-and-back rollouts ($64$\,s, $384$ latents), its fixed 12-chunk cache still regenerates the starting view -- at rollout lengths where a sliding window has long evicted the evidence and full-KV attention runs out of memory.