ActSWM: Action-Sensitive World Models for Long-Horizon Planning in Open-World Games
作者: Zhenfeng Gan, ZiTong Zeng, Jiajun Cheng, Yeke Song, Yongyi Tang, Xueqian Wang
分类: cs.RO
发布日期: 2026-07-29
备注: 10 pages, 5 figures
💡 一句话要点
提出ActSWM以解决长时间规划中的上下文崩溃问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 潜在世界模型 长时间规划 动作敏感性 上下文崩溃 模型预测控制 开放世界游戏 动态模型
📋 核心要点
- 现有的潜在世界模型在长时间预测中存在上下文崩溃问题，导致不同动作序列下的未来状态几乎无法区分。
- 本文提出的ActSWM通过转移分离原则，确保潜在动态模型能够区分不同动作的未来状态，增强了模型的动作敏感性。
- 实验结果表明，ActSWM在Minecraft规划和跨游戏动作恢复中，较现有基线显著提高了任务成功率和动作依赖预测的准确性。
📝 摘要（中文）
潜在世界模型通过在潜在空间中优化未来控制序列来支持高效的模型预测控制。然而，现有的潜在预测器在长时间预测能力上往往不稳定，且预测准确性不足以确保在不同动作序列下的响应性。本文提出了ActSWM，一种基于转移分离原则的动作敏感潜在世界模型，旨在保持不同动作未来的可区分性。通过这一原则，ActSWM在长时间范围内鼓励预测未来保持动作依赖的差异，从而在多个实验中表现出比现有基线更大的动作依赖预测差距，提升了长时间交互设置中的任务成功率。
🔬 方法详解
问题定义：本文旨在解决现有潜在世界模型在长时间预测中出现的上下文崩溃问题，即在不同动作序列下生成的未来状态几乎无差异，导致模型响应性不足。
核心思路：ActSWM通过引入转移分离原则，确保潜在动态模型能够保持不同动作的未来状态可区分性，从而增强模型的动作敏感性，确保每个局部转移与其对应的动作可恢复。
技术框架：整体架构包括潜在动态模型的训练和预测两个主要阶段。在训练阶段，模型通过优化损失函数来增强动作敏感性；在预测阶段，模型生成未来状态并进行规划。
关键创新：ActSWM的核心创新在于将动作敏感性作为潜在预测的约束，而不仅仅是辅助预测目标，从而在长时间范围内保持动作依赖的差异。
关键设计：在模型设计中，采用了特定的损失函数来强化动作敏感性，并设计了适应性网络结构以支持潜在动态的有效学习与预测。具体参数设置和网络结构细节在实验部分进行了详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果显示，ActSWM在长时间交互设置中，成功率相比现有基线提高了显著的幅度，且在Minecraft规划任务中，动作依赖的预测差距比基线大，表明其在动作敏感性方面的有效性。
🎯 应用场景
该研究具有广泛的应用潜力，尤其在开放世界游戏、机器人控制和自动驾驶等领域。通过提高长时间规划的有效性，ActSWM能够帮助智能体在复杂环境中更好地进行决策，提升交互体验和任务成功率。
📄 摘要（原文）
Latent world models support efficient model-predictive control by optimizing future control sequences in latent space and replanning in a receding-horizon manner. However, existing latent predictors often lack stable long-horizon rollout ability, and prediction accuracy alone does not ensure that rollouts remain responsive to the actions being planned. We identify Context Collapse, a failure mode in which autoregressive latent predictors maintain high similarity to future states while producing nearly indistinguishable futures under different action sequences. To address this issue, we propose ActSWM, an action-sensitive latent world model grounded in a transition-separation principle: a planning-useful latent dynamics model should keep alternative-action futures distinguishable and make the action associated with each local transition recoverable. Under this principle, action sensitivity is enforced as a constraint on latent rollouts rather than treated only as an auxiliary prediction target, encouraging predicted futures to preserve action-dependent differences over long horizons. Across step-drift analysis, closed-loop Minecraft planning, and cross-game local action recovery, ActSWM preserves larger action-dependent rollout gaps than existing baselines, improves task success in long-horizon interactive settings, and enables world-model-based action recovery from offline gameplay videos.