DreamWAM: Beyond RGB Future Prediction for World Action Models

📄 arXiv: 2608.04996v1 📥 PDF

作者: Shanglin Yuan, Weiheng Zhao, Xin Shi, Haoyi Jiang, Xianda Guo, Liu Liu, Wenyu Liu, Wei Sui, Xinggang Wang

分类: cs.RO

发布日期: 2026-08-05

🔗 代码/项目: GITHUB

💡 一句话要点

提出DreamWAM以解决未来状态预测中的RGB依赖问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 世界行动模型 未来状态预测 多模态学习 结构化建模 鲁棒性提升

📋 核心要点

  1. 现有的世界行动模型主要依赖RGB空间进行未来状态预测，导致任务相关信息与干扰因素混淆，影响模型性能。
  2. DreamWAM通过超越RGB的结构化世界建模，结合外观、运动、几何和语义信息，显著提高了未来状态的预测准确性。
  3. 在LIBERO数据集上，DreamWAM在无回滚和联合视频-动作推理中均超越了RGB基线，且在实际操作中表现出更高的鲁棒性。

📝 摘要（中文）

世界行动模型（WAMs）通过预测观察到的世界如何演变来学习与动作相关的表示。现有WAMs主要依赖RGB空间进行未来预测，导致任务相关的状态转变与纹理、光照、背景和视角等干扰因素交织在一起。本文提出DreamWAM，重新定义未来预测为超越RGB的结构化世界建模，通过外观、运动、几何和语义的互补视角来表示未来状态。DreamWAM在训练过程中结合了RGB和运动的联合潜在去噪，并使用轻量级门控残差分支处理几何和语义。在推理时，所有超越RGB的监督分支被禁用，保持RGB单一输入。实验结果表明，DreamWAM在LIBERO数据集上显著提升了基线性能，并在实际操作中展现出良好的鲁棒性。

🔬 方法详解

问题定义：本文旨在解决现有世界行动模型在未来状态预测中对RGB的过度依赖问题。现有方法在处理状态转变时，容易受到纹理、光照等干扰因素的影响，导致预测不准确。

核心思路：DreamWAM的核心思路是通过结构化世界建模，结合多种视角（外观、运动、几何和语义）来进行未来状态的预测，而不仅仅依赖于RGB信息。这样的设计使得模型能够更好地捕捉与动作相关的状态变化。

技术框架：DreamWAM的整体架构包括多个模块：首先进行RGB和运动的联合潜在去噪，然后通过轻量级门控残差分支处理几何和语义信息。在训练过程中，模型通过共享注意力机制在VideoDiT和ActionDiT之间进行信息传递，而在推理时则只使用RGB输入。

关键创新：最重要的技术创新在于将未来预测从单一的RGB空间扩展到多模态的结构化表示。这一方法使得模型能够在更复杂的环境中进行鲁棒的动作学习，显著提高了预测的准确性。

关键设计：在参数设置上，DreamWAM采用了轻量级的门控残差网络结构，以降低计算复杂度。同时，损失函数设计上结合了多种监督信号，以确保模型在训练过程中能够有效学习到多模态信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，DreamWAM在LIBERO数据集上相较于RGB基线的性能提升显著，无回滚推理的准确率从97.30%提升至98.40%，联合视频-动作推理的准确率从98.00%提升至98.90%。在未见的LIBERO-Plus扰动下，性能提升更为明显，成功率从51.36%提升至63.44%。

🎯 应用场景

DreamWAM的研究成果在机器人操作、自动驾驶和智能监控等领域具有广泛的应用潜力。通过提高模型对未来状态的预测能力，能够增强系统在动态环境中的决策能力和适应性，进而提升实际操作的成功率和安全性。

📄 摘要（原文）

World Action Models (WAMs) learn action-relevant representations by predicting how the observed world will evolve. Most existing WAMs define this future in RGB space, where task-relevant state transitions are entangled with nuisance variations in texture, illumination, background, and viewpoint. We argue that WAMs should explicitly predict action-relevant future state rather than relying on RGB prediction alone. We introduce DreamWAM, which reformulates future prediction as structured world modeling beyond RGB, representing future states through complementary views of appearance, motion, geometry, and semantics. During training, DreamWAM combines joint latent denoising of RGB and motion with lightweight gated residual branches for geometry and semantics. Shared attention between VideoDiT and ActionDiT allows the action branch to learn from these future-state predictions, while all beyond-RGB supervision branches are disabled at inference and deployment remains RGB-only. Across both no-rollout and joint video-action inference, DreamWAM consistently improves the matched RGB-only baselines on LIBERO, from 97.30\% to 98.40\% and from 98.00\% to 98.90\%, respectively. The gains become larger under unseen LIBERO-Plus perturbations, from 51.36\% to 63.44\% and from 69.16\% to 75.47\%. The same robustness extends to real-world manipulation, where DreamWAM attains an average success rate of 74.4\% across unseen changes in lighting, background, and object layout, compared with 55.6\% for Fast-WAM-Joint. These results show that robust world-action learning depends not only on predicting the future, but on representing it in a form that matters for action. The code and models are publicly released at https://github.com/hustvl/DreamWAM.