Right Ranking, Wrong Scale: Reproducing the Robotic World Model's Dynamics Model and Testing the Uncertainty of Its Follow-up

📄 arXiv: 2611.02699v1 📥 PDF

作者: Joyjeet Singh

分类: cs.RO, cs.LG

发布日期: 2026-11-02

备注: 56 pages

💡 一句话要点

重现机器人世界模型的动态模型并测试不确定性估计

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 机器人控制 动态模型 不确定性估计 离线策略优化 集成学习

📋 核心要点

  1. 现有的机器人世界模型在动态模型的实现和不确定性估计方面存在不足，影响了离线策略优化的效果。
  2. 本文通过重新实现RWM的动态模型，验证了RWM-U在奖励惩罚中的不确定性估计，提出了改进的训练方法。
  3. 实验结果表明，基于模型回放的训练在长期预注册中表现优于一步训练，但在短期窗口中存在劣势。

📝 摘要（中文）

本文重新实现了机器人世界模型（RWM）的动态模型，并测试了其后续模型RWM-U在离线策略优化中用于惩罚奖励的不确定性估计。我们的实现与发布模型的梯度相匹配。在持出数据上，基于模型自身的回放训练在所有十个回合的长期预注册中优于一步训练，但在短期的一步窗口中表现不佳。RWM-U的集成不确定性在回放错误的排名上优于预测步（Spearman rho = 0.90），但其误差范围显著低估：在100步时，发布检查点的一西格玛覆盖率为4.6%，而经过校准的高斯为68%。对集成成员自身预测的滚动提升了覆盖率至33%。

🔬 方法详解

问题定义：本文旨在解决机器人世界模型动态模型的实现及其不确定性估计的不足，特别是在离线策略优化中的应用效果。现有方法在短期窗口内表现不佳，导致策略优化的效率降低。

核心思路：通过重新实现RWM的动态模型，本文验证了RWM-U在不确定性估计中的有效性，并提出了基于模型回放的训练方法，以提高长期策略优化的效果。

技术框架：整体架构包括动态模型的实现、回放数据的生成与训练、以及不确定性估计的评估。主要模块包括模型训练、集成不确定性评估和覆盖率计算。

关键创新：本文的主要创新在于通过集成不确定性评估来改进奖励惩罚机制，并通过滚动集成成员的预测来提高覆盖率，这与现有方法的单一预测机制形成对比。

关键设计：在损失函数设计上，采用了平方误差损失来驱动每个成员的方差趋向于零；在参数设置上，针对不同的时间步长进行了特定的重新缩放，以恢复一西格玛覆盖率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，基于模型自身回放的训练在长期预注册中优于一步训练，且RWM-U的集成不确定性在回放错误排名上表现优异，Spearman相关系数达到0.90。然而，其一西格玛覆盖率仅为4.6%，远低于校准高斯的68%。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶和智能制造等领域，能够为离线策略优化提供更可靠的动态模型和不确定性估计，进而提升机器人系统的决策能力和适应性。

📄 摘要（原文）

We reimplement the dynamics model of the Robotic World Model (RWM) and test the uncertainty estimate that its follow-up, RWM-U, uses to penalize reward in offline policy optimization. Our implementation matches the released model's gradients. On held-out data, training on the model's own rollouts beats one-step training at the preregistered long horizon for all ten episodes, but loses on short one-step windows. RWM-U's ensemble disagreement ranks rollout errors better than forecast step (Spearman rho = 0.90 at 100 steps), yet its spread substantially understates error: one-sigma coverage on the released checkpoint is 4.6% at 100 steps, versus 68% for a calibrated Gaussian. Rolling ensemble members on their own predictions raises coverage to 33%. The implemented squared-error loss on sampled predictions drives each member's variance toward zero. A horizon-specific rescaling restores one-sigma coverage under leave-one-episode-out evaluation, but not two-sigma coverage. We also identify two defects in the released evaluation pipeline. The study covers one robot, one gait and one dataset; it trains no policy.