World Value Models for Robotic Manipulation

📄 arXiv: 2606.24742v1 📥 PDF

作者: Zhihao Wang, Jianxiong Li, Yu Cui, Yuan Gao, Xianyuan Zhan, Junzhi Yu, Xiao Ma

分类: cs.RO

发布日期: 2026-06-23

备注: preprint

💡 一句话要点

提出世界价值模型以提升机器人操作中的价值估计

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 机器人操作 价值估计 时间建模 世界模型 策略学习 多体现基准 数据质量评估

📋 核心要点

  1. 现有的机器人价值模型主要依赖于静态或时间稀疏的视觉观察，缺乏有效的时间建模能力，导致价值估计不准确。
  2. 论文提出了一种新的世界价值模型（WVM），通过结合世界模型与价值估计，利用历史上下文和未来规划来提升价值估计的准确性。
  3. 在标准基准测试和新引入的Suboptimal-Value-Bench上，WVM实现了最先进的性能，并在多种策略提取方法中提升了操作表现。

📝 摘要（中文）

通用价值模型在从大规模混合质量数据中扩展机器人策略学习中发挥着关键作用。准确的价值估计需要深刻的时间理解，要求模型利用历史上下文来确定当前信念，并对未来结果进行规划。然而，现有的机器人价值模型大多基于主要在静态或时间稀疏视觉观察上预训练的视觉-语言模型（VLM），缺乏进行价值估计所需的时间建模能力。与VLM不同，世界模型在时间建模和未来规划方面表现优异，成为学习可泛化价值函数的理想基础。基于这一洞察，我们将世界模型与价值估计相结合，构建了新的通用机器人价值模型——世界价值模型（WVM），能够准确评估数据质量。在标准基准测试中，WVM实现了最先进的价值顺序相关性（VOC）结果，并在引入的包含800条高保真、人工标注帧注释的次优轨迹的多体现基准Suboptimal-Value-Bench上保持了其SOTA性能。WVM在策略学习中提升了多种策略提取方法的操作性能，为从混合质量数据中学习提供了稳健的指导。

🔬 方法详解

问题定义：本论文旨在解决现有机器人价值模型在时间建模能力不足的问题，导致其在复杂任务中的价值估计不准确。现有方法主要依赖于静态视觉数据，无法有效处理动态环境中的时间信息。

核心思路：论文的核心思路是将世界模型与价值估计相结合，利用世界模型在时间建模和未来规划方面的优势，构建一个新的通用价值模型（WVM），以提高任务进展的准确性和数据质量的评估能力。

技术框架：WVM的整体架构包括历史上下文的整合模块、未来结果的预测模块和价值估计模块。通过这些模块，模型能够有效地处理时间序列数据，并进行准确的价值估计。

关键创新：WVM的主要创新在于其将世界模型的时间建模能力与价值估计相结合，克服了传统VLM在动态环境中的局限性。这一设计使得WVM能够在处理专家和次优数据时保持高性能。

关键设计：在模型设计中，WVM采用了特定的损失函数来优化价值估计的准确性，并在网络结构上进行了调整，以增强其对时间序列数据的处理能力。

📊 实验亮点

WVM在标准基准测试中实现了最先进的价值顺序相关性（VOC）结果，并在新引入的Suboptimal-Value-Bench上保持了其SOTA性能。实验表明，WVM在多种策略提取方法中提升了操作性能，显示出其在处理混合质量数据时的稳健性。

🎯 应用场景

该研究的潜在应用领域包括机器人操作、自动化制造和智能家居等场景。通过提升机器人在复杂环境中的操作性能，WVM能够为实际应用提供更为可靠的决策支持，推动智能机器人技术的发展与普及。

📄 摘要（原文）

Generalist value models play a pivotal role in scaling robotic policy learning from large-scale, mixed-quality data. Mathematically, accurate value estimation demands deep temporal understanding, requiring models to both ground the current belief using historical context and plan over future outcomes. However, most existing robotic value models are built on Vision-Language Model (VLM) backbones that are pretrained primarily on static or temporally sparse visual observations, lacking the requisite temporal modeling capabilities for value estimation. Unlike VLMs, world models naturally excel at temporal modeling and future planning, making them ideal foundations for learning generalizable value functions. Driven by this insight, we marry world models with value estimation to construct a new generalist robotic value model, World Value Model (WVM), that offers accurate task progressions to assess data quality. On standard benchmarks, WVM delivers state-of-the-art (SOTA) Value-Order Correlation (VOC) results. Complementing standard evaluation suites that contains only expert data, we further introduce Suboptimal-Value-Bench, a multi-embodiment benchmark consisting of 800 suboptimal trajectories with high-fidelity, human-labeled frame annotations. Our evaluations show that WVM maintains its SOTA performance on Suboptimal-Value-Bench, establishing its robustness in handling both expert and suboptimal data. When deployed for policy learning, WVM improves manipulation performance across various policy extraction approaches in both simulated and real-world deployment, providing robust guidance for learning from mixed-quality data.