Can Video World Models Track Unobserved World States?
作者: Joonghyuk Shin, Yicong Hong, Jaesik Park, Xun Huang
分类: cs.CV
发布日期: 2026-08-31
备注: Project webpage:https://joonghyuk.com/stateful-vwm-web/
💡 一句话要点
提出视频世界模型以追踪未观察到的世界状态
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 视频世界模型 状态追踪 动态环境 Transformer 线性注意力 机器学习 机器人导航
📋 核心要点
- 现有的视频世界模型在追踪隐藏状态方面存在不足，尤其是在长时间序列的外推任务中表现不佳。
- 论文提出通过引入两种机制来有效追踪和修正隐藏状态，从而解决了现有模型的局限性。
- 实验结果表明，线性注意力在允许负转移特征值时能够成功外推，且TTT通过更新特征图有效提升了模型性能。
📝 摘要（中文）
视频世界模型越来越多地被用作模拟器，但仅凭视觉逼真度并不能证明模型能够维持世界的隐藏状态。本文通过一个基于动作条件的视频壳游戏，探讨了这一差距。研究发现，双向和自回归Transformer、Mamba以及限制为非负转移特征值的线性注意力在5次交换的训练范围内表现良好，但在更长的交换链上则表现接近随机。生成的帧无法携带未观察到的隐藏状态，必须在架构内部维持该状态。论文发现两种机制能够进行外推，并在块之间传递和修正状态。进一步探讨了动态世界探索任务中的更复杂情况，并讨论了构建有状态视频世界模型的更广泛影响。
🔬 方法详解
问题定义：本文旨在解决视频世界模型在追踪未观察到的世界状态时的不足，现有方法在长时间序列的外推任务中表现不佳，无法有效维持隐藏状态。
核心思路：论文提出通过两种机制来实现状态的跨块传递和修正，旨在使模型能够在更长的时间范围内保持对隐藏状态的有效追踪。
技术框架：整体架构包括双向和自回归Transformer、Mamba以及线性注意力模块，重点在于如何处理转移特征值和状态更新。
关键创新：最重要的技术创新在于允许线性注意力的转移特征值为负，从而实现有效的状态外推，与传统方法相比，显著提升了模型在动态环境中的表现。
关键设计：论文中对参数设置进行了细致调整，损失函数设计关注于状态的准确性，网络结构则强调了特征图的更新机制，以确保模型能够实时修正其内部状态。
🖼️ 关键图片
📊 实验亮点
实验结果显示，线性注意力在允许负转移特征值时成功实现了状态外推，且TTT通过更新特征图显著提升了模型性能。与基线相比，模型在动态世界探索任务中的表现有明显提升，具体性能数据尚未披露。
🎯 应用场景
该研究的潜在应用领域包括机器人导航、游戏AI和动态环境模拟等。通过提高视频世界模型的状态追踪能力，可以在复杂场景中实现更智能的决策和行为，未来可能对自动驾驶、虚拟现实等领域产生深远影响。
📄 摘要（原文）
Video world models are increasingly used as simulators, yet visual fidelity alone does not show that a model maintains the hidden state of the world. We examine this gap with an action-conditioned video Shell Game, a visual analog of $S_5$ state tracking that decouples visual rendering from compositing the hidden state underneath. Bidirectional and autoregressive Transformers, Mamba, and linear attention restricted to nonnegative transition eigenvalues all fit the training horizon of 5 swaps and then fall toward chance on longer swap chains (extrapolation) while still rendering plausible video with additional denoising steps providing no benefit. The pixel-based diffusion target never supervises the unseen hidden state, so the generated frames cannot carry it and the state has to live inside the architecture rather than in the tokens. For a Transformer, that architectural state is only an append-only KV cache, so the model has to re-derive the hidden arrangement from the whole history at every chunk. We find two mechanisms that do extrapolate, and both carry a state across chunks and revise it in place. Linear attention succeeds once its transition eigenvalues may be negative, and TTT with a nonlinear fast weight succeeds by updating the feature map through which it reads its own state. We further examine harder cases in dynamic world exploration tasks, and discuss the broader implications for building stateful video world models.