DIM-WAM: World-Action Modeling with Diverse Historical Event Memory

📄 arXiv: 2606.27677v1 📥 PDF

作者: Kai Wang, Zhaopeng Gu, Yixiang Chen, Yuan Xu, Qisen Ma, Peng Su, Zhaowen Li, Yan Huang, Liang Wang

分类: cs.RO, cs.CV

发布日期: 2026-06-26

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出DIM-WAM以解决长时间依赖任务的记忆不足问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 长时间依赖 增强记忆 世界-动作模型 机器人操作 多尺度上下文 任务进展 视觉事件信息 智能系统

📋 核心要点

  1. 现有的世界-动作模型在处理长时间依赖任务时，主要依赖短期历史信息，导致任务执行效果不佳。
  2. DIM-WAM通过引入增强记忆机制，整合多尺度历史上下文和全球任务进展，有效提升了模型的长期记忆能力。
  3. 在实验中，DIM-WAM在RMBench上将成功率从28.4%提升至69.8%，在真实任务中也显著提高了成功率。

📝 摘要（中文）

世界-动作模型在机器人操作中表现出色，但现有方法主要依赖短期历史和短期预测，无法有效处理长时间依赖的任务。为了解决长期遗忘和全球任务状态感知不足的问题，本文提出了DIM-WAM，一个增强记忆的世界-动作模型，整合了多尺度历史上下文、局部未来动态和全球任务进展。通过在RMBench上进行实验，DIM-WAM的平均成功率从28.4%提升至69.8%，在四个真实世界的Franka任务中，阶段成功率从70.7%提升至91.5%。

🔬 方法详解

问题定义：本文旨在解决现有世界-动作模型在长时间依赖任务中对历史信息利用不足的问题，导致任务执行效果不佳。现有方法主要依赖短期历史和短期预测，无法有效处理复杂的长时间依赖任务。

核心思路：DIM-WAM通过引入增强记忆机制，整合多尺度历史上下文、局部未来动态和全球任务进展，旨在提升模型对长期依赖信息的利用能力，从而改善任务执行效果。

技术框架：DIM-WAM的整体架构包括多个模块：首先，记忆模块提取真实观察中的紧凑视觉事件信息；其次，通过独立的相似性合并更新多个记忆库；最后，读取嵌入时间和身份的长期上下文，以条件化视频和动作去噪。

关键创新：DIM-WAM的主要创新在于其记忆增强机制，通过多尺度历史上下文的整合和进度监督目标，显著提升了对历史事件和当前任务阶段的编码能力，与现有方法相比，能够更好地处理长时间依赖任务。

关键设计：在模型设计中，采用了相似性基础的记忆库更新机制，设置了进度监督目标，以鼓励记忆标记不仅编码已完成的历史事件，还能反映当前任务阶段及其对剩余任务的影响。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在RMBench上，DIM-WAM的平均成功率从28.4%提升至69.8%，显著超过了基线模型Mem-0的42.0%。在四个真实的Franka任务中，阶段成功率从70.7%提升至91.5%，全任务成功率从52.5%提升至80.0%，展示了其卓越的性能提升。

🎯 应用场景

DIM-WAM的研究成果在机器人操作、自动化任务执行和智能系统等领域具有广泛的应用潜力。通过提升模型对长期依赖信息的处理能力，能够更好地支持复杂任务的执行，推动智能机器人在动态环境中的应用。未来，该技术可能在智能制造、服务机器人等领域发挥重要作用。

📄 摘要（原文）

World-action models have shown promising robot-manipulation performance by jointly predicting future visual states and actions. However, existing methods mainly rely on short-term history and short-horizon future prediction, which is insufficient for long-horizon tasks whose correct execution depends on earlier observations and task progress. Such temporally dependent tasks require effective use of complementary temporal information, including recent local context, cross-stage historical events, immediate future dynamics, and global task progress. To address long-term forgetting and poor awareness of the global task state, we introduce DiM-WAM, a memory-augmented world-action model that integrates multi-scale historical context, local future dynamics, and global task progress. The memory extracts compact visual event information from real observations, updates multiple memory banks through independent similarity-based merging, and then reads the bank-identity- and time-embedded long-term context to condition video and action denoising. A progress-supervision objective further encourages memory tokens to encode not only completed historical events but also the current task stage and its implications for the remaining task. On RMBench, DiM-WAM raises average success from 28.4% with LingBot-VA to 69.8%, exceeding the explicit-memory Mem-0 baseline at 42.0%. On four real-world Franka tasks, it improves average stage success from 70.7% to 91.5% and full-task success from 52.5% to 80.0%. Project page: https://wangkai-casia.github.io/dim-wam/{\texttt{https://wangkai-casia.github.io/dim-wam/}}.