PrimeSim: A Generalist World Model Simulator from Large-Scale Cross-Embodiment Demonstrations
作者: Travis Davies, Wentao Ma, Lihao Guo, Tengfei Ma, Xiaowen Chang, Jiafeng Xu, Shilong Wang, Yiqi Deng, Shaowen He, Xiaoqi Li, Qian Zhu, Ran Cheng, Hao Dong
分类: cs.RO
发布日期: 2026-11-03
💡 一句话要点
提出PrimeSim以解决机器人世界模型模拟中的一致性和长时间预测问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱七：动作重定向 (Motion Retargeting)
关键词: 机器人模拟 世界模型 动作条件生成 多视角一致性 长时间预测 渐进式训练 自回归模拟器
📋 核心要点
- 现有的机器人世界模型在生成视频时常常无法准确执行指令，导致一致性和长时间预测的困难。
- 论文提出了PrimeSim，通过渐进式中训练和后训练，结合跨体现动作表示和视角感知的注意力机制来解决这些问题。
- PrimeSim在长时间的模拟任务中表现稳定，能够在100到200个梯度步骤内迁移到新的平台，并在多个基准测试中取得优异成绩。
📝 摘要（中文）
机器人世界模型作为模拟器，不仅需生成可信的视频，还需准确执行指令、保持视角一致性和支持长时间的连贯预测。本文提出了PrimeSim，一个基于动作条件的多视角世界模型模拟器，通过渐进式中训练和后训练来应对这些挑战。我们在30,110小时的机器人演示数据上进行中训练，引入统一的跨体现动作表示和帧对齐的双路径条件，以增强动作与帧之间的对应关系。此外，开发了视角感知的交错注意力机制，支持跨视角信息交换。最终，PrimeSim在多个平台上表现出色，能够在长时间的操作中保持稳定，并在多个基准测试中取得领先成绩。
🔬 方法详解
问题定义：本文旨在解决机器人世界模型在执行指令时的一致性和长时间预测的挑战。现有方法在这些方面存在明显不足，导致生成的视频缺乏连贯性和准确性。
核心思路：PrimeSim的核心思路是通过渐进式中训练和后训练来增强模型的动作跟随能力和多视角一致性。通过引入统一的跨体现动作表示和帧对齐的双路径条件，提升了动作与帧之间的对应关系。
技术框架：PrimeSim的整体架构包括预训练的视频生成器，随后在大量机器人演示数据上进行中训练，最后通过后训练框架将双向视频生成器转化为高效的自回归模拟器。主要模块包括动作条件生成、视角感知注意力机制和层次时间记忆。
关键创新：最重要的创新在于引入了视角感知的交错注意力机制和快速视频、慢记忆的后训练框架，这使得模型能够在长时间的模拟中减少误差积累，保持一致性。
关键设计：在模型设计中，采用了统一的动作表示和帧对齐策略，同时在损失函数中考虑了多视角信息的交互，确保了生成结果的高质量和一致性。
🖼️ 关键图片
📊 实验亮点
在实验中，PrimeSim以10.1 FPS的速度稳定运行，能够在长时间的刚性和可变形操作任务中保持一致性。与五个开源动作条件世界模型相比，PrimeSim在四个WorldSimProbe基准测试中领先，并在EWMBench测试中取得最佳成绩，显示出其优越的性能。
🎯 应用场景
PrimeSim的研究成果在机器人操作、自动驾驶、虚拟现实等领域具有广泛的应用潜力。其高效的模拟能力可以用于训练和优化机器人策略，提高自动化系统的可靠性和灵活性，推动智能机器人技术的发展。
📄 摘要（原文）
A robot world model that serves as a simulator must do more than generate plausible videos: it must faithfully follow commanded actions, maintain consistency across camera views, and sustain coherent long-horizon rollouts. We present PrimeSim, an action-conditioned, multiview world model simulator that addresses these challenges through progressive midtraining and posttraining. Starting from a pretrained video generator, we midtrain on 30,110 hours of robot demonstrations spanning 22 platforms. To improve action following, we introduce a unified cross-embodiment action representation and frame-aligned dual-path conditioning to strengthen action-frame correspondence. To maintain multiview consistency, we develop view-aware interleaved attention with explicit camera identities, enabling cross-view information exchange while preserving view-specific representations. We further introduce a fast-video, slow-memory posttraining framework that transforms the bidirectional video generator into an efficient autoregressive simulator. By combining fast causal generation, self-rollout training, and hierarchical temporal memory, PrimeSim mitigates error accumulation from self-generated histories and supports coherent long-horizon simulation. PrimeSim runs at 10.1 FPS, remains stable over long-horizon rollouts on rigid and deformable manipulation tasks, and transfers to held-out platforms within 100 to 200 gradient steps where the pretrained backbone does not. Against five open-source action-conditioned world models it leads four of the five WorldSimProbe suites and posts the best overall EWMBench score, while fine-grained local calibration still trails the field; its rollouts are faithful enough to support GRPO-based policy optimization. We release the model weights, inference code, and training code.