Mem-World: Memory-Augmented Action-Conditioned World Models for Persistent Robot Manipulation
作者: Zirui Zheng, Jiaqian Yu, Xiongfeng Peng, jun shi, Mingyi Li, Chao Zhang, Weiming Li, Dong Wang, Huchuan Lu, Xu Jia
分类: cs.CV, cs.RO
发布日期: 2026-06-17
💡 一句话要点
提出Mem-World以解决机器人操作中的持久世界建模问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 动作条件模型 持久建模 机器人操作 记忆增强 几何感知 策略评估 合成数据生成
📋 核心要点
- 现有的动作条件世界模型在复杂操作场景中面临持久建模的挑战，尤其是由于遮挡和快速运动导致的观察不足。
- 本文提出Mem-World，通过W-VMem实现历史观察的几何感知检索，增强了模型对未来动作的条件预测能力。
- 实验结果显示，Mem-World在复杂操作任务中生成的回放更为持久，策略评估的相关性提升14.5%，成功率显著提高。
📝 摘要（中文）
动作条件的世界模型作为机器人学习的一种新兴范式，通过生成一致的动作视频来替代昂贵的现实实验。然而，在操作中，持久世界建模面临挑战：频繁的末端执行器遮挡和快速的手腕摄像头运动使得当前观察不足以预测未来视图，导致模型遗忘或幻想早期帧中的场景细节。为了解决这一限制，本文提出了Mem-World，一个增强记忆的多视角动作条件世界模型。核心是W-VMem，一个4D手腕视角中心的表面索引记忆，通过明确建模场景元素的观察时间和位置，实现基于几何的相关历史帧检索。实验表明，Mem-World在复杂操作场景中生成持久的回放，并在策略评估中比Ctrl-World更可靠，成功率从58%提升至72%。
🔬 方法详解
问题定义：本文旨在解决机器人操作中持久世界建模的挑战，现有方法在频繁遮挡和快速运动下无法有效预测未来视图，导致模型遗忘重要信息。
核心思路：提出Mem-World，通过W-VMem实现增强记忆，明确建模场景元素的观察时间和位置，从而提高对未来动作的条件预测能力。
技术框架：Mem-World的整体架构包括多个模块，核心是W-VMem记忆模块，负责存储和检索历史观察，结合动作条件生成未来视图。
关键创新：W-VMem是本文的主要创新点，通过表面索引实现几何感知的历史帧检索，显著提高了模型在动态操作场景中的表现，与现有方法相比具有本质区别。
关键设计：在设计中，W-VMem使用了特定的损失函数和网络结构，以优化历史帧的选择和生成过程，确保生成的上下文信息既相关又不冗余。
🖼️ 关键图片
📊 实验亮点
实验结果表明，Mem-World在复杂操作场景中生成的持久回放显著优于Ctrl-World，策略评估的Pearson相关性提升了14.5%。此外，通过合成数据生成，长时间任务的成功率从58%提升至72%，显示出该方法在实际应用中的有效性。
🎯 应用场景
该研究具有广泛的应用潜力，特别是在机器人操作、自动化制造和智能家居等领域。通过提升机器人在复杂环境中的操作能力，Mem-World能够为实际应用提供更高的可靠性和效率，推动智能机器人技术的发展。未来，随着技术的进一步完善，可能会在更多动态和复杂的场景中得到应用。
📄 摘要（原文）
Action-conditioned world models have emerged as a promising paradigm for robot learning, offering a scalable alternative to costly real-world experimentation by generating action-consistent video rollouts. However, persistent world modeling remains challenging in manipulation: frequent end-effector occlusions and rapid wrist-camera motion make the current observation insufficient for predicting future views, causing models to forget or hallucinate scene details seen in earlier frames. Existing memory retrieval strategies often fail to identify informative history in dynamic manipulation scenarios. To address this limitation, we propose Mem-World, a memory-augmented multi-view action-conditioned world model. At its core, we present W-VMem, a 4D wrist-view-centered surfel-indexed memory that anchors historical observations to temporally evolving surface elements. By explicitly modeling when and where scene elements are observed, W-VMem enables geometry-aware retrieval of relevant history frames conditioned on future actions. During generation, relevant history frames are selected via surfel-based rendering and scoring, providing informative and non-redundant context for prediction. Extensive experiments show that Mem-World generates persistent rollouts in complex manipulation scenarios, enables more reliable policy evaluation than Ctrl-World, improving the Pearson correlation with real-world performance by 14.5\%, and supports effective policy improvement through synthetic data generation, increasing success rates from 58\% to 72\% on long-horizon tasks.