$\texttt{WEAVER}$, Better, Faster, Longer: An Effective World Model for Robotic Manipulation

📄 arXiv: 2606.13672 📥 PDF

作者: Arnav Kumar Jain, Yilin Wu, Jesse Farebrother, Gokul Swamy, Andrea Bajcsy

分类: cs.RO

发布日期: 2026-06-12

💡 一句话要点

提出WEAVER以解决机器人操控中的世界模型挑战

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 世界模型 机器人操控 流匹配损失 多视角估计 策略评估 动态任务 效率提升

📋 核心要点

  1. 现有世界模型在长时间动态操控任务中存在真实度、一致性和效率不足的问题，限制了其应用。
  2. WEAVER通过多视角的世界估计架构，利用流匹配损失同时提升真实度、一致性和效率，解决了现有方法的不足。
  3. 实验结果显示，WEAVER在政策评估、政策改进和测试时规划中均显著优于以往方法，成功率和速度均有明显提升。

📝 摘要（中文）

世界模型（WMs）在机器人领域的潜在影响深远，包括策略评估、策略改进和测试时规划，均需有限的现实交互。为实现这些能力，WMs需同时满足三个要求：真实度、一致性和效率。本文提出的WEAVER（跨视角的世界估计）是一种新型WM架构，能够同时满足这三项要求，并在机器人操控任务中取得了最先进的结果。WEAVER通过流匹配损失预测未来潜在状态和奖励值，解决了以往方法在长时间动态操控任务中的不足。实验表明，WEAVER在政策评估中与现实成功率的相关性达到0.870，政策改进上提升了38%，并在测试时规划中实现了14%的成功率提升，速度比以往WM快5-10倍。

🔬 方法详解

问题定义：本文旨在解决现有世界模型在机器人操控任务中面临的真实度、一致性和效率不足的问题。这些不足限制了模型在长时间动态操控任务中的应用效果。

核心思路：WEAVER通过多视角的世界估计架构，结合流匹配损失，能够同时提升模型的真实度、一致性和效率，从而更好地适应复杂的操控任务。

技术框架：WEAVER的整体架构包括多个模块，首先是多视角输入的处理模块，然后是潜在状态和奖励值的预测模块，最后通过流匹配损失进行优化，确保模型输出的轨迹与现实高度相关。

关键创新：WEAVER的主要创新在于其多视角设计和流匹配损失的结合，使得模型能够在长时间动态操控任务中保持高效且一致的表现，这与以往单一视角的模型有本质区别。

关键设计：在设计上，WEAVER采用了特定的损失函数以优化轨迹的真实度和一致性，同时在网络结构上进行了优化，以提高预测的速度和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，WEAVER在政策评估中与现实成功率的相关性达到0.870，政策改进上实现了38%的提升，测试时规划中成功率提升14%，且速度比以往世界模型快5-10倍，展现出显著的性能优势。

🎯 应用场景

WEAVER在机器人操控领域具有广泛的应用潜力，能够用于自动化制造、服务机器人以及复杂环境下的自主导航等场景。其高效的世界模型为机器人在动态环境中的决策提供了强有力的支持，未来可能推动智能机器人技术的进一步发展。

📄 摘要（原文）

The potential impacts of world models (WMs, i.e., learned simulators) on robotics are far-reaching -- policy evaluation, policy improvement, and test-time planning -- all with limited real-world interaction. To unlock these downstream capabilities, a WM needs to jointly satisfy three desiderata: $\textit{(i)}$ fidelity (i.e., producing simulated trajectories that correlate with reality), $\textit{(ii)}$ consistency (i.e., producing simulated trajectories that are coherent over long horizons), and $\textit{(iii)}$ efficiency (i.e., producing simulated trajectories quickly). We propose $\texttt{WEAVER}$ (World Estimation Across Views for Embodied Reasoning): a WM architecture that simultaneously achieves all three desiderata, providing state-of-the-art results on robotic manipulation tasks. $\texttt{WEAVER}$ is a multi-view WM trained to predict future latents and reward values via a flow-matching loss. We distill the key design decisions across model architecture, memory, and prediction objectives required to unlock the kinds of long-horizon dynamic manipulation tasks that have confounded prior world modeling approaches. We apply $\texttt{WEAVER}$ in robotic hardware, demonstrating its effectiveness at policy evaluation ($\rho$=0.870 correlation with real-world success rate), policy improvement (real-world success rate improvement of $38\%$ on top of the $\pi_{0.5}$ robot foundation model), and test-time planning (real-world success rate improvement of $14\%$ with a $5-10\times$ speedup over prior WMs). $\texttt{WEAVER}$ also demonstrates better performance than prior WMs when evaluated on out-of-distribution scenarios. Code, models, and videos at:this https URL.