RoboWorld: Fast and Reliable Neural Simulators for Generalist Robot Policy Evaluation
作者: Byeongguk Jeon, Seonghyeon Ye, JaeHyeok Doo, Sungdong Kim, Minjoon Seo, Hyungmok Son, Kimin Lee
分类: cs.RO
发布日期: 2026-07-01
备注: ICML 2026 F2S workshop
💡 一句话要点
提出RoboWorld以解决机器人策略评估中的视频世界模型问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 视频世界模型 机器人策略评估 自回归模型 视觉-语言模型 长时间轨迹生成 自动化评估 Step Forcing 多任务学习
📋 核心要点
- 现有视频世界模型在评估机器人策略时存在误差问题，导致生成的轨迹不可靠，影响评估效果。
- 本文提出RoboWorld，通过结合快速自回归视频世界模型和任务进度感知的视觉-语言模型评分，提升评估的可靠性和效率。
- 实验结果表明，RoboWorld在多种任务和环境下与真实机器人评估高度一致，相关性指标显著提高。
📝 摘要（中文）
视频世界模型作为评估通用机器人策略的可扩展替代方案，能够绕过现实部署中的物理限制和工程负担。然而，利用视频世界模型评估策略仍面临挑战，因为世界模型的误差可能导致生成的轨迹不可靠，且慢推理限制了大规模吞吐量。本文提出RoboWorld，一个自动化评估管道，结合快速自回归视频世界模型与任务进度感知的视觉-语言模型评分。为实现可靠的长时间自回归世界模型轨迹，提出了Step Forcing方法，结合锚定和一步自前馈上下文，以减少训练与测试的不匹配，同时保持动作-观察动态。这些组件使RoboWorld在各任务和环境中与真实世界机器人评估高度一致，达到了Pearson相关系数r = 0.989和Spearman等级相关系数ρ = 0.970。
🔬 方法详解
问题定义：本文旨在解决现有视频世界模型在评估机器人策略时的误差和推理速度问题，导致生成轨迹的不可靠性和大规模评估的低效性。
核心思路：提出RoboWorld，通过结合快速自回归视频世界模型与任务进度感知的视觉-语言模型评分，来提高评估的准确性和效率。特别是引入Step Forcing方法，旨在减少训练与测试之间的差异。
技术框架：RoboWorld的整体架构包括两个主要模块：自回归视频世界模型和视觉-语言模型评分系统。自回归模型负责生成轨迹，而视觉-语言模型则根据任务进度对生成的轨迹进行评分。
关键创新：最重要的创新在于Step Forcing方法，它结合了锚定上下文和一步自前馈上下文，显著减少了训练与测试之间的匹配问题，同时保持了动作与观察之间的动态关系。
关键设计：在模型设计中，采用了特定的损失函数来优化自回归模型的输出，并通过调整上下文的锚定方式来增强模型的稳定性和可靠性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，RoboWorld在多个任务和环境中与真实机器人评估的相关性极高，Pearson相关系数达到0.989，Spearman等级相关系数为0.970，显著提升了评估的可靠性和效率。
🎯 应用场景
RoboWorld的研究成果在机器人策略评估、自动化测试和模拟环境构建等领域具有广泛的应用潜力。通过提供高效、可靠的评估工具，能够加速机器人技术的开发与部署，推动智能机器人在复杂环境中的应用。
📄 摘要（原文）
Video world models are emerging as a scalable alternative for evaluating generalist robot policies, bypassing the physical constraints and engineering burdens of real-world deployment. However, evaluating policies with video world models remains challenging, as world-model errors can make generated rollouts unreliable and slow inference limits large-scale throughput. We introduce RoboWorld, an automated evaluation pipeline that pairs a fast autoregressive video world model with a task-progress-aware vision-language model scoring. To enable reliable long-horizon autoregressive world-model rollouts, we propose Step Forcing, which combines anchored and one-step self-forwarded contexts to reduce train--test mismatch while preserving action--observation dynamics. Together, these components enable RoboWorld to align strongly with real-world robot evaluation across tasks and environments, achieving Pearson's r = 0.989 and Spearman's \r{ho} = 0.970.