RynnValue: Scaling Robotic Value Foundation Models with Temporal Distance

📄 arXiv: 2608.09853v1 📥 PDF

作者: Dongchi Huang, Hongyin Zhang, Bohan Hou, Siteng Huang, Zhian Su, Hang Guo, Tong Lu, Zhaofeng Xu, Jiahao Tang, Jianfei Yang, Donglin Wang, Peixi Peng, Mingxiu Chen, Deli Zhao, Xin Li

分类: cs.RO, cs.CV, cs.LG

发布日期: 2026-08-10

备注: 23 pages, 5 figures

💡 一句话要点

提出RynnValue以解决机器人学习中的奖励模型瓶颈问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人学习 奖励模型 时间距离 价值基础模型 通用机器人政策 无监督学习 模型泛化 数据扩展

📋 核心要点

  1. 现有的通用奖励模型在机器人学习中成为瓶颈，且从大规模异构数据中学习价值能力的方案尚未充分探索。
  2. 本文提出RynnValue，通过时间距离作为监督目标，避免了传统方法中对任务内部锚点的依赖，提升了模型的可扩展性。
  3. RynnValue在RBM-EVAL-OOD上实现了0.675的Kendall's tau_a，超越了完全偏好监督的最先进水平，并在真实世界政策成功率上显著提升。

📝 摘要（中文）

通用奖励模型在机器人学习中日益成为瓶颈，但从大规模异构语料中学习价值相关能力的方案仍未得到充分探索。现有方法将监督与任务内部锚点（如偏好或规范化进展）绑定，这些方法在不同的体现和数据源之间转移困难。本文提出RynnValue，一个开源的机器人操作价值基础模型，通过时间距离替代这些锚点，时间距离是从观察到语言指定目标的有向成本。RynnValue可扩展至7000小时以上和约300万条指令条件片段，且无需偏好或进展注释。通过结合随机时间采样、时间顺序洗牌和价值隔离注意力，RynnValue在规模上实现了可靠的时间价值学习。

🔬 方法详解

问题定义：本文旨在解决现有通用奖励模型在机器人学习中的瓶颈，尤其是如何从大规模异构数据中有效学习价值相关能力。现有方法依赖于任务内部锚点，导致在不同环境和数据源间的迁移困难。

核心思路：RynnValue的核心思路是用时间距离替代传统的偏好或进展锚点，时间距离是从观察到目标的有向成本，这样可以直接从时间戳中推导出标签，提升模型的可扩展性。

技术框架：RynnValue的整体架构包括数据采集、时间距离标签生成、模型训练和评估等主要模块。通过随机时间采样和时间顺序洗牌，确保模型在训练过程中能够学习到有效的时间价值信息。

关键创新：RynnValue的主要创新在于引入时间距离作为可扩展的监督目标，这一设计使得模型在没有偏好标签的情况下仍能实现优越的性能，且在多种任务和视角下具有良好的泛化能力。

关键设计：在模型训练中，采用了价值隔离注意力机制，以抑制可能导致模型对失败和回归不敏感的捷径。同时，模型的损失函数设计考虑了时间距离的有效性，确保训练过程中的稳定性和可靠性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

RynnValue在RBM-EVAL-OOD上取得了0.675的Kendall's tau_a，超越了现有的完全偏好监督模型（0.655），并且相较于仅依赖进展的模型（0.292）提升幅度超过两倍。此外，RynnValue在真实世界中的在线政策成功率从52.5%提升至72.5%，离线成功率从63.8%提升至82.5%。

🎯 应用场景

RynnValue的研究成果在机器人操作领域具有广泛的应用潜力，能够为通用机器人政策提供更为有效的奖励接口。其可扩展性和高效性使得该模型适用于多种实际场景，如家庭服务机器人、工业自动化和智能物流等，未来可能推动机器人学习的进一步发展。

📄 摘要（原文）

General-purpose reward models are increasingly the bottleneck for scaling robot learning, yet the recipe for learning value-related capabilities from large-scale heterogeneous corpora remains underexplored. Existing approaches tie supervision to task-internal anchors such as preferences or normalized progress, none of which transfer cleanly across embodiments and data sources. We introduce RynnValue, an open-source value foundation model for robotic manipulation that replaces these anchors with temporal distance, the directed cost-to-go from an observation to the language-specified goal. Because temporal-distance labels can be derived directly from timestamps, RynnValue scales to over 7,000 hours and roughly 3M instruction-conditioned clips without preference or progress annotations. To make temporal-value learning reliable at scale, we combine random temporal sampling, temporal-order shuffling, and value-isolation attention, suppressing shortcuts that would leave predictions insensitive to failures and regressions. Trained without preference labels, RynnValue attains an average Kendall's tau_a of 0.675 on RBM-EVAL-OOD, surpassing the fully preference-supervised state of the art (0.655) and more than doubling a progress-only counterpart (0.292), while generalizing zero-shot to unseen tasks, embodiments, and viewpoints. Converted into dense rewards via potential-based shaping, it raises real-world policy success from 52.5% to 72.5% online and from 63.8% to 82.5% offline. These results establish temporal distance as a scalable supervision target and practical reward interface for generalist robot policies.